技術概要：MPerS – 動的 MLLM 混合エキスパートによる知覚誘導リモートセンシングシーンセグメンテーション

1. 問題定義

リモートセンシング（RS）シーンにおける意味セグメンテーションは、多様な解釈応用において不可欠であるが、高解像度、広範な空間カバレッジ、および土地被覆オブジェクトの高密度な分布により、重大な課題に直面している。単一モダリティ画像のみに依存する従来のアプローチは、コストが高く時間のかかるピクセルレベルの手動アノテーションを必要とし、知覚能力の限界に悩まされている。テキストの意味情報を統合するマルチモーダル手法が登場しているが、既存の研究は主にテキストと視覚特徴の融合のためのアーキテクチャ最適化に焦点を当てている。それらは以下の 2 つの重要な側面を大きく軽視している：

1. 高品質な RS キャプションの生成：単純なプロンプトは、幻覚的な要素や微細な空間詳細の欠如を引き起こし、誤った知覚理解をもたらす。
2. キャプションの有効性の調査：複数の大規模言語モデル（LLM）ソースから、下流のセグメンテーションタスクを誘導するために最も効果的なテキスト意味を選択・統合する方法に関する研究は不十分である。

2. 手法

著者らは、多様な MLLM エキスパートを活用して RS シーンを知覚し、視覚セグメンテーションを誘導するフレームワークであるMPerS（動的 MLLM 混合エキスパート知覚誘導リモートセンシングシーンセグメンテーション）を提案する。ワークフローは 3 つの主要な段階から構成される：

A. 高品質な RS キャプション生成

単純な記述プロンプトの限界を克服するため、著者らは多角的なプロンプト戦略を設計する。一般的な問いかけの代わりに、RS シーンを分析して MLLM 向けに 3 つの特定のプロンプトタイプを生成する：

1. 既存カテゴリ分析：存在する特定の土地被覆クラスを特定する。
2. 割合分析：各クラスの面積占有率を推定する。
3. 位置関係分析：空間的関係と位置を記述する。

これらのプロンプトは、複数の MLLM（具体的には LLaVA、ChatGPT、Qwen）に入力され、多様なキャプションセットを生成する。有効性を検証するためにキャプション文チェック戦略が採用される：

• CLIP エンコーダを使用して、生成されたキャプションと対応する RS 画像との間に類似度行列を構築する。
• 閾値（$\tau = 0.55$）を設定し、このスコアを下回るキャプションは再生成される。
• 検証されたキャプションには、オブジェクト数、カテゴリ、および位置関係という 3 つの主要要素が含まれている必要がある。

B. 動的混合エキスパートテキストエンコーダ（DMTE）

異なる MLLM が異なるドメイン専門知識を有していることを認識し、MPerS はテキスト意味を適応的に統合するための動的混合エキスパートメカニズムを採用する。

• 異なる MLLM の検証済みキャプションから、複数のテキストトークンセットが生成される。
• ゲーティングネットワークが、現在のシーンコンテキストに基づいて各エキスパートのルーティング重み（$G_m$）を動的に計算する。
• 最終的なテキストトークン（$T_{MixExperts}$）は、エキスパートトークンの加重和であり、特定のセグメンテーションタスクに対して最も効果的なテキスト意味情報が優先されることを保証する。

C. 言語クエリ誘導アテンション（LQGA）

テキストと視覚特徴を効果的に融合するために、言語クエリ誘導アテンションモジュールが導入される。

• 視覚エンコーディング：フレームワークは、主要なビジョエンコーダとしてDINOv3（凍結）を使用し、RS 固有の詳細事前知識を捕捉するために CNN ブロックに基づく**Lite Detail Prior Encoder (LDPE)**を補完的に用いる。
• 融合メカニズム：$T_{MixExperts}$ トークンは**クエリ（$Q_{text}$）として機能し、視覚特徴はキー（$K_{vision}$）および値（$V_{vision}$）**として機能する。
• このアテンション機構は、視覚特徴を調整するためのテキスト誘導重みを生成し、テキスト意味が視覚知覚を誘導しつつ、元の視覚情報が失われないことを保証する。
• 融合された特徴は、最終的なセグメンテーションマップを生成するために、マルチステージスキップ接続デコーダ（U-Net アーキテクチャ）を通過する。

3. 主要な貢献

本論文は、3 つの主要な貢献を概説している：

1. MPerS フレームワーク：マルチモーダル高密度 RS シーンセグメンテーションを支援するために、異なる MLLM によって生成されたテキスト誘導キャプションの有効性を調査した最初の研究。
2. 動的混合エキスパートテキストエンコーダ：単一の静的テキストソースに依存するのではなく、複数の MLLM（LLaVA、ChatGPT、Qwen）を活用して最も効果的なテキスト意味情報を抽出し、動的にルーティングする新規モジュール。
3. 言語クエリ誘導アテンション：テキスト情報を完全に活用して視覚特徴を誘導し、複雑で高密度なシーンにおける精密なセグメンテーションを確保するように設計された融合メカニズム。

4. 実験結果

この手法は、3 つの公開 RS データセット：Vaihingen、Potsdam、およびSynDroneで評価された。

• 性能指標：MPerS はすべてのデータセットで最先端の性能を達成した。
  • Vaihingenにおいて、DINOv3-LVD-0.3B 重みを使用し、MPerS は mIoU 77.10%、mF1 **86.79%**を達成し、2 番目に良い単一モダリティ手法（RS3Mamba）を mIoU で 3.02%、最新のテキスト誘導手法（SegCLIP）を mIoU で 4.87% 上回った。
  • Potsdamにおいて、MPerS は mIoU 81.04%、mF1 **89.32%**を達成し、「低木」および「樹木」カテゴリで顕著な改善を示した。
  • SynDroneにおいて、この手法は少数サンプルかつ小サイズの前景オブジェクト（例：「人物」および「障害物」）のセグメンテーションにおいて堅牢性を示し、mIoU **72.17%**を達成した。
• アブレーション研究：
  • キャプション品質：多角的プロンプトは、単純な問いかけプロンプトを大幅に上回った。
  • 混合エキスパート：動的ゲーティング機構は、単一の MLLM のキャプションを使用するよりも効果的であることが示された。
  • コンポーネント：Lite Detail Prior Encoder (LDPE) と Linguistic Query Guided Attention (LQGA) の組み込みは、全体精度（OA）、mIoU、および mF1 において一貫した改善をもたらした。
• 効率性：DINOv3 と CLIP の組み込みにより、軽量 CNN に比べて推論時間が増加したが（55.52ms 対、他の手法の約 14-29ms）、著者らはこの速度が RS タスクにとって許容範囲であると指摘している。

5. 意義と主張

著者らは、MPerS がマルチモーダル大規模モデルがどのようにして RS シーンを正確に知覚できるかを探求するための新たな解決策を提供すると主張する。この研究の意義は以下の点にある：

• アーキテクチャから知覚への焦点の転換：アーキテクチャ融合を超えて、テキスト入力そのものの品質と有効性に対処する。
• モジュール設計：フレームワークはモジュール式であり、CLIP、DINOv3、および混合エキスパートなどのコンポーネントを交換または反復的に更新することが可能である。
• 実用的応用：この手法は、高品質で多角的なテキスト誘導が、高密度で複雑な土地被覆オブジェクトのセグメンテーションを大幅に強化し得ることを実証しており、大規模な手動アノテーション努力に依存しない実用的な RS 解釈への実現可能な道筋を提供する。

本論文は、効果的なキャプション生成戦略によって駆動されるマルチモーダルデータの正確な知覚と融合が、現実世界のシーンをよりよく表現し、実用的な RS 解釈に非常に適用可能であると結論付けている。