技術的概要：欠落モーダリティ下におけるマルチモーダルセグメンテーションのための潜在空間ガイド型シナリオサンプリング

1. 問題定義

リモートセンシングにおけるマルチモーダル意味セグメンテーションは、光学、SAR、DSM などの多様なセンサーからの相補的な情報を活用して、土地利用分類や環境モニタリングの精度向上を図る。しかし、現実世界の展開では、センサーの故障、大気干渉、またはデータ取得の問題により、モーダリティが欠落するケースが多発する。既存の手法は、再構成、モーダリティ不変な特徴学習、またはロバストな訓練目的を通じてこの課題に対処しているが、決定的な限界が残っている：標準的な訓練戦略は、通常、均一なランダムなモーダリティドロップアウトを採用している。

この均一サンプリングは、すべてのモーダリティ利用可能性シナリオを同等に有益であると扱う。著者らは、このアプローチが最適ではないと仮定している。なぜなら、異なる欠落モーダリティのパターンは、モデルが学習した共有潜在表現を異なる程度に攪乱するためである。その結果、均一なドロップアウトで訓練されたモデルは、微調整フェーズにおいて最も困難または有益なシナリオを十分に優先できず、モーダリティが欠落した際の頑健性が制限される。

2. 手法

本論文は、均一なランダムなドロップアウトに代わる潜在空間ガイド型のシナリオサンプリング分布を用いた新たな微調整戦略を提案する。中核的なアイデアは、事前学習済みマルチモーダルセグメンテーションモデルの挙動から直接サンプリング確率を導出することである。手法は主に 4 つの段階で進行する。

A. シナリオ歪みの定量化

著者らは、共有コンポーネントとモーダリティ固有コンポーネントに潜在空間を構造化した事前学習済みモデル（具体的には CBC-SLP アーキテクチャだが、他のモデルにも適用可能）を利用する。

1. 参照状態: 与えられた入力に対して、完全なモーダリティ利用可能性下での共有潜在表現 $\mathbf{z}_{sh, full}$ を参照とする。
2. 歪み測定: 各可能なモーダリティ利用可能性シナリオ $\mathbf{s}^{(k)}$ に対して、モデルは共有潜在表現 $\mathbf{z}_{sh}(\mathbf{X}, \mathbf{s}^{(k)})$ を生成する。「共有潜在歪み」は、そのシナリオの表現と完全モーダリティ参照との間の平均二乗ユークリッド距離として計算される：
   $$d_{sh}^{(k)}(i) = \frac{1}{|\Omega_{sh}|} \|\mathbf{z}_{sh}(\mathbf{X}_i, \mathbf{s}^{(k)}) - \mathbf{z}_{sh}(\mathbf{X}_i, \mathbf{F}_M)\|_2^2$$
3. 生重要度: 訓練セット全体での歪みの平均が、シナリオ $k$ の生重要度スコア $\eta^{(k)}$ を定義する。高いスコアは、共有潜在空間に大きな攪乱を引き起こすシナリオを示す。

B. カーネル化されたシナリオ結合

これらの生スコアを洗練させ、シナリオ間の関係を考慮するために、著者らは MaD-Mix フレームワークに着想を得た正則化カーネル平滑化アプローチを採用する。

1. カーネル定義: シナリオ記述子（生歪みスコア）上でラジアル基底関数（RBF）カーネルを定義し、シナリオ間の類似性を捉える：
   $$\kappa(\eta^{(p)}, \eta^{(q)}) = \exp\left(-\frac{(\eta^{(p)} - \eta^{(q)})^2}{2\sigma^2}\right)$$
2. 正則化最適化: 目標は、生スコアに適合しつつ、類似したシナリオ間で滑らかに変化する再帰カーネルヒルベルト空間（RKHS）内の洗練されたスコア関数 $f$ を見出すことである。これは、RKHS ノルムと生スコアに対する誤差を最小化する正則化目的関数として定式化される。
3. 閉形式解: 表現定理を用いて、最適スコアベクトル $\mathbf{r}$ は、生重要度ベクトル $\mathbf{\nu}$ に適用されるスペクトルソフトしきい値フィルタによって導出される：
   $$\mathbf{r} = \mathbf{K}(\mathbf{K} + \lambda\mathbf{I})^{-1}\mathbf{\nu}$$
   ここで、$\mathbf{K}$ はカーネル行列、$\lambda$ は正則化係数である。これにより、類似した潜在攪乱を持つシナリオは同様のスコアを受け取り、ノイズへの感度が低減される。

C. 確率分布の構築

洗練されたスコアは、微調整用のサンプリング確率分布 $p$ に変換される：

1. 標準化: スコアは標準化（平均 0、分散 1）される。
2. 温度スケーリング: 非一様な分布を生成するために、温度スケーリングされたソフトマックスが適用される。
3. 凸結合: モデルが稀なシナリオを無視するのを防ぐため、最終的な分布は、学習されたソフトマックス分布と均一分布の混合であり、混合係数 $\gamma$ によって制御される。

D. 訓練プロトコル

この手法は 2 つの段階で動作する：

1. 事前学習: モデルは、標準的な均一なランダムなモーダリティドロップアウトを用いて訓練される。
2. 微調整: モデルは数エポック追加で微調整される。このフェーズでは、モーダリティ利用可能性マスクは均一にではなく、学習された確率分布 $p$ に従ってサンプリングされる。これにより、より高い潜在歪みを誘発するシナリオへと訓練がバイアスされる。

3. 主要な貢献

本論文は、3 つの主要な貢献を概説する：

1. 新規訓練戦略: 学習された潜在空間から直接シナリオ重みを導出するマルチモーダル意味セグメンテーション手法。均一なランダムなドロップアウトを、学習された非一様な分布に置き換える。
2. 潜在歪み定式化: 共有潜在歪みに基づくシナリオ重要度の具体的な定義。これを正則化カーネル平滑化を通じてサンプリング分布に変換する。この定式化は、個々のシナリオの深刻度と、潜在記述子空間におけるそれらの間の関係構造の両方を捉える。
3. 包括的評価: 3 つのリモートセンシングデータセット（DSTL、Potsdam、Hunan）および 3 つの異なるバックボーン（CBC-SLP、CBC、CMX）を用いた広範な実験。本研究は、標準的な微調整および LoRA ベースの適応に対する一貫した改善を実証する。

4. 実験結果

提案された戦略は以下の条件で評価された：

• データセット: DSTL（均一な光学）、Potsdam（異質な RGB/IRRG/DSM）、Hunan（異質な MSI/SAR/DEM）。
• バックボーン: CBC-SLP、CBC、CMX。
• ベースライン: 微調整なし、ランダムドロップアウトによる微調整、LoRA 適応による微調整。

主要な知見:

• 一貫した改善: 提案された戦略は、すべてのデータセットおよびバックボーンにおいて、標準的なランダムドロップアウトによる微調整および LoRA ベースの適応を上回った。
• 欠落モーダリティにおける頑健性: モーダリティが欠落したシナリオで顕著な改善が観察された。例えば、Potsdam データセットの CBC-SLP において、RGB のみ利用可能な場合、ランダムドロップアウトと比較して IoU が 0.9% 向上した。
• 完全モーダリティでの性能: 注目すべきは、すべてのモーダリティが利用可能な場合、この手法は性能を低下させなかったことである。実際、多くの場合わずかな改善が見られた（例：完全モーダリティ下での Hunan データセットにおける LoRA に対する +1.3% の IoU 向上）。これは、完全なデータシナリオを損なうことなく、一般的な特徴学習を強化することを示唆している。
• 汎用性: このアプローチは、異なるアーキテクチャ設計（共有対共有 - 固有潜在空間）および異質なモーダリティの組み合わせにおいて効果的であることが証明され、潜在空間ガイドがモデルに依存しないシグナルであることを示している。
• 定性的分析: 視覚的比較により、提案手法は、ベースラインと比較して、DSM または MSI の欠落など、困難な欠落モーダリティシナリオにおいて、より正確な境界を生成し、より多くのターゲットピクセルを回復することが示された。

5. 意義と主張

著者らは、事前学習された潜在表現は、欠落モーダリティの微調整中のサンプリングのための効果的な基盤となり得ると主張している。

本論文は以下を論じている：

• 均一なランダムなドロップアウトは、異なる欠落モーダリティパターンがモデルの内部表現に与える影響の不均一性を考慮していない。
• 事前学習された潜在構造を直接利用することで、提案手法は、汎用的なパラメータ効率微調整（LoRA など）や標準的な均一サンプリングよりも、より有益でタスクに関連するガイドを提供する。
• この戦略は特定のアーキテクチャに限定されず、モーダリティが利用できない場合のマルチモーダルセグメンテーションにおける微調整性能を向上させるための一般的な枠組みを提供する。

本研究は、潜在空間からシナリオサンプリング分布を学習することで、モデルが微調整中に最も困難で有益な構成により効果的に焦点を当てることができ、センサーデータが不完全である可能性のある現実世界のリモートセンシング応用において、より頑健な性能につながることを結論付けている。