技術要約: CMS2-Fusion

1. 問題提起

赤外線画像と可視光画像の融合は、赤外線センサからの熱放射情報と、可視光カメラの豊かなテクスチャおよび空間詳細を統合し、単一の包括的な表現へと集約することを目的としている。深層学習手法はこの分野を進展させてきたが、既存のアプローチは通常、「エンコード・アンド・フューズ（符号化してから融合する）」パラダイムに従っている。これらの手法では、赤外線と可視光の各モダリティは、独立したネットワークブランチ（CNN、Transformer、またはMambaベースのエンコーダを使用）を通じて処理され、エンコーディング・フェーズにおける情報の交換は行われない。クロスモーダルな相互作用は、単純な結合（concatenation）や平均化による最終的な融合ステージまで後回しにされる。

著者らは、このような分離が、状態空間モデル（SSM）、特にMambaの潜在能力を十分に活用できていないと主張している。Mambaにおいて、隠れ状態（hidden states）は状態遷移を通じて自然に空間的コンテキストを捉える。エンコーディング中にモダリティを隔離しておくことで、既存の手法は、状態遷移レベルでの意味的な結合表現を学習する機会を逃しており、それがモデルの能力（例えば、赤外線の低解像度と、照度不足時における可視光の低視認性の間の本質的な差異を解決する能力）を制限する可能性がある。

2. 手法: CMS2-Fusion

本論文では、パラダイムを「エンコード・アンド・フューズ」から「エンコーディング・アズ・カップリング（符号化としての結合）」へと転換するフレームワークであるCMS2-Fusion（Cross-Modal State Space Coupling）を提案している。核心となる革新は、Mambaブロック内のエンコーディング・プロセスにおいて、両モダリティの隠れ状態が動的に相互作用することを可能にするメカニズムである。

主要構成要素:

• CoupledVisionMambaBlock:

  • 独立したパイプラインではなく、赤外線（$I_{IR}$）と可視光（$I_{VIS}$）の特徴マップを共有された状態空間へと投影する。
  • 各モダリティの状態更新は、もう一方のモダリティからの項を含み、それは**学習可能な結合係数（$\lambda$）**によってスケール調整されるよう修正されている。
  • 更新式は以下の通りである：
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • ここで、$\lambda$ は0.3に初期化され、相互作用の強度を適応的に制御するために学習される。$P$ は学習可能な投影行列を表す。
  • この設計は、標準的なMambaと比較してわずかな定数オーバーヘッドを加えるのみであり、線形計算量 $O(L)$ を維持している。

• パラメータ共有:

  • 各ブロック内において、2つのモダリティはコアとなるMambaのSSMパラメータ（状態遷移行列 $A$ および選択的投影パラメータ）を共有する。
  • 入力投影（$P_{IR}, P_{VIS}$）およびクロスモーダル投影（$P_{VIS \to IR}, P_{IR \to VIS}$）は、モダリティ固有のまま維持される。
  • この戦略により、デカップル（分離型）のベースラインと比較して、総パラメータ数を13%削減している。

• アーキテクチャ:

  • エンコーダ: 各ステージが結合されたMambaブロックで構成される3段階のピラミッド構造。パッチマージングにより、空間解像度を下げつつチャネル深度を増加させる。
  • 融合モジュール: 最も深い特徴レベル（16x16解像度）に位置し、局所的な「活性度」（特徴ベクトルのL2ノルム）に基づいて特徴に重み付けを行う空間アテンション機構を使用する。これにより、赤外線の熱的顕著領域と可視光のテクスチャ豊かな領域に対して自動的に高い重みを割り当てる。
  • デコーダ: スキップ接続を備えたデコーダが、元の解像度へと画像を再構成する。スキップ接続には、エンコーディング中にすでに意味的な整合が行われているため、結合された特徴の単純な平均化が用いられる。

• 損失関数:

  • モデルは、複合損失を用いて訓練される：$\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$。
  • $\mathcal{L}_{L1}$ は明るさとコントラストを保持する。
  • $\mathcal{L}_{edge}$ は勾配の大きさを保持することを保証する。
  • $\mathcal{L}_{SSIM}$ は構造的類似性を強制する。

3. 主な貢献

1. クロスモーダル状態空間結合: 本論文は、Mambaエンコーディングブロック内でのクロスモーダル結合メカニズムを導入し、融合ステージまで相互作用を遅延させるのではなく、エンコーディング中の隠れ状態レベルでの相互作用を可能にした。先行するMambaベースの融合手法（例：CrossMamba）も存在するが、それらは独立したエンコーディング・パラダイムに従っている。本研究は、エンコーディング・フェーズにおける状態空間レベルの結合を明確にターゲットとしている。
2. パラメータ効率の高い設計: SSMパラメータをモダリティ間で共有することにより、本モデルはデカップルされたMambaベースラインと比較して、パラメータ数を13%削減（8.4M 対 9.6M）しつつ、過学習のリスクを低減している。
3. パラダイムシフト: 本研究は、独立したエンコーディングから結合されたエンコーディングへの転換を提案し、状態遷移を用いることで熱的特性とテクスチャの依存関係を直接モデル化できることを示した。

4. 実験結果

実験はMSRSデータセット（訓練ペア1,083、テストペア361）を用いて行われた。

• 定量的性能:

  • $Q_{abf}$ (融合品質): CMS2-Fusionは0.7704を達成し、古典的なCNN手法であるDenseFuse（0.4525）を70.3%、デカップルされたMambaベースライン（0.7589）を**1.51%**上回った。
  • 情報指標: 相互情報量（MI）はDenseFuseと比較して9.2%（3.0548）増加し、エントロピー（EN）は11.2%（6.6281）増加した。
  • 詳細保持: 空間周波数（SF）はDenseFuseに対して87.7%向上し、平均勾配（AG）は85.2%向上しており、優れたエッジおよびテクスチャの保持能力を示している。
  • SSIM: この指標は、0.6693（DenseFuse）から0.6562へと微減した。著者らは、これを熱的顕著性と可視光の構造的忠実度の保持との間に存在する固有のトレードオフによるものと考えており、値自体は高い範囲に留まっていると述べている。デカップルされたベースラインと比較すると、SSIMは0.94%（0.6501から0.6562へ）向上している。

• アブレーション研究:

  • パラメータ共有: 相互作用のないデカップルされたベースラインから結合されたモデルへ移行することで、$Q_{abf}$ が0.0085向上し、パラメータが13%削減された。
  • 相互作用: 学習可能な結合係数（$\lambda$）を有効にすることで、さらに0.0030の$Q_{abf}$利得が得られた。
  • 係数の収束: 学習可能な $\lambda$ は約0.3646に収束し、これはモダリティ固有の保持とクロスモーダルな相互作用の間の最適なバランスを示している。

• 効率性:

  • 推論時間: NVIDIA RTX 4090上で画像あたり41.3 ms（ベースラインの42.7 msと同等）。
  • FLOPs: 46.1Gであり、ベースライン（48.3G）よりも低い。

5. 意義と主張

本論文は、CMS2-Fusionがマルチモーダル融合におけるパラダイムシフトを象徴すると主張している。状態遷移レベルでのクロスモーダル結合を導入することで、本手法は「エンコード・アンド・フューズ」アーキテクチャの限界を超えている。著者らは、このアプローチによってネットワークがパイプラインのより早い段階で、より意味的に結合された表現を学習できることが可能となり、その結果、熱的顕著性とテクスチャの忠実度の両方をより良く保持する融合画像が得られると断言している。

著者らが示唆する今後の課題には、層適応型および空間適応型の結合、ならびに医療画像融合のような他のマルチモーダルタスクへのフレームワークの拡張が含まれる。