技術要約: AdaFuse

1. 問題提起

赤外線（IR）画像と可視光（VIS）画像のクロスモーダル画像融合、特にその間における融合は、主に2つの課題に直面している：

1. 不均衡な特徴量の寄与: 融合された画像は、しばしば一方のモダリティ（通常は高エネルギーの赤外線）がプロセスを支配してしまい、色の歪み、彩度の過剰、および可視光のテクスチャ詳細の喪失を招く。
2. 計算の非効率性: 残差接続や高密度な結合（dense concatenation）を用いる既存のディープラーニング手法は、中間テンソルの次元を大幅に増加させることが多い。これは、融合の質を必ずしも向上させることなく、高い計算コストと複雑なチャネル結合操作をもたらし、効率性を阻害する。

さらに、従来のメソッドは「ハイライト汚染（highlight contamination）」に苦慮している。これは、高温領域からの熱エネルギーが無差別に周囲の非熱領域へと拡散し、擬似的なハロー（光輪）アーティファクトを生成し、ターゲットの鮮明度を弱めてしまう現象である。

2. 手法: AdaFuse

著者らは、負の値校正（Negative Value Calibration）と適応的階層型活性化（Adaptive Hierarchical Activation）に基づくクロスモーダル画像融合アルゴリズムであるAdaFuseを提案している。このフレームワークは、計算リソースを動的に割り当て、熱的特徴の拡散を精密に制御するように設計されている。

2.1 適応的階層型活性化

すべての画像特徴を一様なディープネットワークで処理する代わりに、AdaFuseは階層的な特徴知覚戦略を採用している：

• チャネル分析: アルゴリズムは、可視画像におけるRGBチャネルの平均強度偏差を分析する。
• 動的ルーティング:
  • ディープパス（Deep Path）: 平均偏差が高いチャネル（顕著なグレースケール情報または潜在的なカラーキャストを示す）は、高レベルのセマンティック特徴抽出のためのディープネットワーク・ブランチへとルーティングされる。
  • シャローパス（Shallow Path）: 偏差が低いチャネルは、基礎的な詳細を保持するためにシャローネットワークによって処理される。
• 残差接続: シャローネットワークの出力は、深く処理された特徴と整列した結合層として機能する。この設計は従来のResNetレイヤーを置き換え、チャネル結合を簡素化し、中間テンソルの数を削減する。

2.2 負の値校正と拡散制御

熱エネルギーの拡散（ハイライト汚染）の問題に対処するため、本論文では負の値校正メカニズムを導入している：

• 熱的セグメンテーション: しきい値セグメンテーションにより、赤外線画像から熱的ターゲットマスク（$M_{IR}$）を抽出する。
• 対称的校正: 高温ピクセルに対して、アルゴリズムは熱的ウィンドウと対称的な非熱的背景ウィンドウを定義する。ここでは、熱的応答の強化がターゲット領域内に限定されるよう、**距離減衰変調（Distance-Decay Modulation）**を適用する。
• 抑制: 周囲の非熱的背景のピクセルには、対称的な抑制応答（$1 - \beta \cdot F_{IR}$）が適用される。ここで、$\beta$は熱的境界からの距離に基づく学習可能な抑制係数である。これにより、「ハロー」効果を防ぎ、熱的領域と非熱的領域の間の明確な勾配コントラストを維持する。

2.3 ネットワークアーキテクチャと識別器

• PTS生成器: 精密熱源（PTS）モジュールは、局所ウィンドウ内で軽量な畳み込みブロックアテンションモジュール（CBAM）を使用し、熱的鮮明度マスクを生成して融合プロセスをガイドする。
• CA-Net識別器: RGBブランチと勾配認識ブランチからなるデュアルブランチ識別器は、**クロスモーダル・アテンション（CA-Net）**メカニズムを組み込んでいる。
  • 可視光のグレースケール特徴がクエリ（$Q$）として機能し、赤外線特徴がキー（$K$）およびバリュー（$V$）として機能する。
  • これにより、識別器は、赤外線優位の領域（例：熱的エッジ）における勾配制約を適応的に重み付けしつつ、可視光優位の領域におけるテクスチャ詳細を保持することができる。

2.4 損失関数

学習目標は、包括的な損失システムによって導かれる：

• 適応的活性化損失（$L_{AAM}$）: ローカルコンテンツウェイト（$\alpha$）に基づき、赤外線と可視光の特徴間の出力を動的にバランスさせる。
• 精密熱源セグメンテーション損失（$L_{mod}$）: 以下の3つの項で構成される：
  • 中心制約: 熱的ターゲットが赤外線応答と一致し続けることを保証する。
  • 近傍制約: ターゲット周囲の遷移構造を管理し、急激な変化を防ぐ。
  • 背景制約: 不自然な暗化や過度な強調を防ぐため、遠方の背景領域が主に可視光特徴に依存するようにする。
• エッジ損失: 熱的境界における勾配コントラストを明示的に強化する。

3. 主な貢献

1. 適応的な計算割り当て: 情報密度に基づいて特徴をルーティングする階層的活性化戦略の導入により、すべてのチャネルを一様に処理する手法と比較して、計算負荷（FLOPs）を大幅に削減した。
2. 負の値校正: 熱エネルギーの制御不能な拡散を抑制し、擬似的なハローアーティファクトを効果的に排除して背景の忠実度を保持する新しいメカニズム。
3. クロスモーダル識別器（CA-Net）: モダリティ固有の監督を提供するためにクロスモーダル・アテンションを利用する識別器設計により、構造的忠実度とテクスチャ保持の両方を強化した。
4. 包括的な損失フレームワーク: 熱的鮮明度、勾配保持、およびカラーバランスを共同で最適化するマルチターム損失関数。

4. 実験結果

本手法は、DDcGAN、SwinFusion、CrossFusion、DenseFusion、FreeFusionを含む最新の手法と比較するために、MSRSおよびM3FDデータセットを用いて評価された。

• 定量的性能:
  • MSRSデータセットにおいて、AdaFuseは最高のベースラインと比較してエントロピー（EN）が7.83%向上した。
  • 構造的類似度（SSIM）は4.23%向上し、勾配ベースの融合性能（$Q_{AB/F}$）は14.96%増加した。
  • M3FDデータセットにおいて、本手法は優れた汎用性を示した。個別の画像の結果としては、画像04037でSSIM 0.8916、画像01443でSSIM 0.8932を記録し、VIFスコアはそれぞれ0.8463および0.8584であった。
• 定性的性能:
  • 視覚的な結果は、熱的ターゲットの強化と可視光の詳細保持の間のより良いバランスを示している。
  • 本手法は、カラーキャスト（例：過度な緑チャネルの支配）を効果的に軽減し、他の手法で見られる「ハロー」アーティファクトを防いでいる。
  • 煙や低照度のシナリオにおいて、AdaFuseは競合手法よりも背景の構造的詳細を保持しながら、ターゲットの識別性を維持した。
• 効率性:
  • 適応的ルーティングメカニズムにより、計算コストは入力の複雑さに応じて変化する。チャネル間の偏差が低い画像では、コストは大幅に低くなる。
  • 平均推論時間は画像あたり0.0065秒であり、SwinFusion（0.0344s）のようないくつかの重量級のベースラインを上回った。

5. 重要性と主張

論文は、階層的知覚と精密な制御のフレームワークにより、AdaFuseがハイパースペクトルや医療画像融合などのより広範なタスクに対する方法論的なリファレンスを提供すると主張している。

著者らは、自らのアプローチが以下を実現すると断言している：

• 計算効率と融合の質の両面において、既存の手法を大幅に凌駕すること。
• 不均衡なモーダル寄与および中間テンソルの肥大化という特定の問題を解決すること。
• 熱的ターゲットの拡散を犠牲にすることなく、可視光のテクスチャを保持することで、複雑な環境（夜間、霧、雨）に対する堅牢なソリューションを提供すること。
• 赤外線の鮮明度強化と可視光のテクスチャ保持の間に良好なバランスを提供し、明確なターゲット輪郭と背景の忠実度が極めて重要となる物体検出などのダウンストリームのビジョンタスクに適していること。

本研究は、提案されたフレームワークが構造的な明瞭さと視覚的な品質を効果的に向上させ、インテリジェントな知覚システムにおける実用的なアプリケーションを強力にサポートすることを結論づけている。