MMIF-MESFusion：Coupling Modality-Specific Enhancement and Statistics- Guided Adaptive Fusion for Medical Image Fusion

技術要約：MMIF-MESFusion

問題提起
マルチモーダル医療画像融合は、解剖学的詳細（CT/MRIから）と機能的な代謝情報（PET/SPECTから）を単一の画像に合成し、臨床診断における「情報の空白領域」を排除することを目的としている。しかし、既存のディープラーニング手法は、主に3つの課題に直面している：

1. 異種特徴の不一致： 異なるモダリティは、異なる物理的な撮像メカニズム（例：MRIの高周波な解剖学的テクスチャと、PETの低周波な代謝強度）を有しており、標準的な統一エンコーダではこれらを効果的に対処できない。
2. 不十分な長距離モデリング： Transformerはグローバルなモデリングを提供するが、その二次的な計算複雑性は高解像度の医療画像に対して過度である。一方、標準的なCNNは局所的な受容野に制限されている。また、Mamba（状態空間モデル）を直接適用する場合、2D/3D画像の非因果的な空間構造に苦慮することがあり、空間的な連続性が損なわれる原因となる。
3. 非効率な融合戦略： 現在の融合手法は、計算負荷の高いアテンション機構や単純な結合に依存することが多く、特徴マップの全体的な統計的性質に基づいて構造情報と機能情報のバランスを動的に調整できていない。

手法：MESFusionフレームワーク
著者らは、モダリティ固有の強調と統計ガイドによる適応的融合を結合するように設計された、軽量でエンドツーエンドのフレームワークであるMESFusionを提案している。このアーキテクチャは、エンコーダ・融合・デコーダのパラダイムに従い、以下の4つの主要なステージで構成される：

1. モダリティ認識型強調 (Modality-Aware Enhancement: MAE):

   • 共通の前処理モジュールを用いる代わりに、MAEは解剖学的画像（MRI）と機能的画像（PET/SPECT/CT）に対して差別化された戦略を採用する。
   • MRIに対しては、多スケール勾配抽出（3×3および5×5畳み込み）と構造認識アテンションを利用して、高周波な解剖学的テクスチャを強化する。
   • 機能的画像に対しては、チャネルベースの統計モデリング（グローバルな平均と標準偏差の算出）を行い、エネルギー認識アテンション重みを生成することで、強度分布を保持しつつ代謝領域を強調する。

2. 空間ゲート付きMamba (Spatial Gated Mamba: SGMam) バックボーン:

   • 2D医療画像における標準的なMambaの限界に対処するため、著者らは局所的な特徴抽出と線形なグローバルモデリングを統合したSGMamを導入している。
   • これは、背景の冗長性を抑制し、顕著な構造的詳細を強化するための、7×7の深度別畳み込み（depth-wise convolution）を用いた空間ゲート (Spatial Gating: SPG) ブランチを備えている。
   • また、マルチパススキャニング戦略を備えた2D選択的スキャン (2D Selective Scan: SS2D) メカニズムを採用し、線形な計算複雑性を維持しながら、きめ細かな解剖学的連続性を保持しつつ、長距離の依存関係とグローバルなコンテキストを捉える。

3. 統計ガイド型適応的融合 (Statistical-Guided Adaptive Fusion: SDAF):

   • このモジュールは、重いアテンション機構を、軽量で分布認識型の融合戦略に置き換えるものである。
   • 両モダリティの特徴チャネルから、一次統計量（平均）および二次統計量（標準偏差）を抽出する。
   • これらの統計量を結合し、ボトルネックネットワークを通じて処理することで、動的なチャネル単位の重みを生成し、入力画像の特定の内容に基づいて構造情報と機能情報のバランスを適応的に調整させる。

4. デコーダおよび損失関数:

   • ヒエラルキー構造を持つデコーダは、放射線学的忠実度を確保するためにSiLUおよびTanh活性化関数を用いたカスケード畳み込みを使用して、融合画像を再構成する。
   • 学習には、強度損失 (Intensity Loss)（グローバルなバランスとターゲットの強調のため）、勾配損失 (Gradient Loss)（エッジ保持のため）、および構造的類似性損失 (MS-SSIM)（知覚的一貫性のため）を組み合わせた複合損失関数を使用する。

主な貢献

1. 問題駆動型アーキテクチャ： 本論文は、汎用的なモジュールの積み重ねではなく、テーラーメイドのエンコーダ・融合・デコーダ・アプローチを用いることで、異種医療モダリティ向けに特別に設計されたフレームワークを導入している。
2. モダリティ固有の強調： MAEモジュールは、深い相互作用の前に異なる強調戦略を適用することで、解剖学的画像と機能的画像の間の表現のギャップを埋める。
3. 軽量な空間ゲート付きMamba： SGMamモジュールは、局所的な帰納バイアスとグローバルなコンテキストモデリングを組み合わせながら、線形な計算複雑性を維持しつつ、Mambaアーキテクチャを2D医療画像に適応させることに成功した。
4. 統計ガイド型融合： SDAF層は、アテンションベースの融合に代わる効率的な選択肢を提供し、チャネル単位の統計的事前分布を利用して、大きな計算オーバーヘッドなしに動的に重みを較正する。

実験結果
著者らは、3つの公開データセット（CT-MRI, PET-MRI, SPECT-MRI）および外部のクロスデータセットテスト（NAF-PROSTATE PET/CT）を用いてMESFusionを評価した。

• 定量的性能： MESFusionは、視覚情報忠実度 (VIF)、相関係数 (CC)、エッジベース融合品質 (QAB/F)、およびマルチスケール構造的類似性 (MS-SSIM) を含む複数の指標において、競争力のある、あるいは優れた結果を達成した。特に、PSNRとMS-SSIMにおいて高い性能を示しており、これは優れた構造保存能力を示唆している。
• アブレーション研究： コアコンポーネント（MAE、SGMam、またはSDAF）のいずれかを除去すると、視覚的品質と指標スコアに測定可能な低下が見られ、提案された各モジュールの相乗効果が確認された。SDAFにおいて、平均のみを使用する場合よりも、平均と標準偏差の両方を使用する場合の方が優れていることが示された。
• 汎化性能： 未知のNAF-PROSTATEデータセットにおいて、本手法は分布の変化にもかかわらず、病変のコントラストと解剖学的境界を保持する上で、他の手法を上回る堅牢な融合品質を維持した。
• 効率性： 提案手法は非常に効率的であり、DDBFusionやDM-FNetのような最先端の手法と比較して、大幅に低いFLOPs (3.511G) とパラメータ数 (31.6K) を実現しつつ、より高速な推論時間 (0.056s) を達成している。

意義と主張
本論文は、特徴分布の異質性とグローバルモデリングの計算コストを効果的に解決することにより、MESFusionがマルチモーダル医療画像融合のための堅牢かつ効率的なソリューションを提供すると主張している。著者らは、本アプローチが構造保存、機能情報の保持、および計算効率の間で良好なトレードオフを実現していることを強調している。このフレームワークは、明確な解剖学的輪郭と正確な機能表現を伴う視覚的に一貫した結果を提供し、リソース制約のある臨床環境において実行可能な選択肢として提示されている。なお、現在の損失関数の重み付けは手動チューニングに依存しており、適応的な損失重みの最適化が今後の研究方向であることを著者らは認めている。