FDCNet: Frequency-Aware and Dynamic Curve Network for Adversarially Robust Infrared and Visible Image Fusion

技術要約：敵対的攻撃に対して堅牢な赤外線・可視光画像融合のためのFDCNet

問題提起
赤外線・可視光画像融合（IVIF）は、相補的なマルチモーダル情報を統合することで単一センサーの限界を克服するものであり、自動運転、物体追跡、顕著物体検出などの重要な役割を担っている。しかし、既存のIVIF手法は主に干渉のない入力を前提としており、意図的な敵対的攻撃に対して脆弱である。古典的な敵対的アルゴリズム（例：FGSM、PGD、C&W）は、知覚不可能な摂動を注入することで、モデルの推論に深刻な劣化を引き起こす可能性がある。敵対的学習は堅牢性を高めるために探索されてきたが、多くの場合、本質的なトレードオフを生じさせる。すなわち、高周波の敵対的ノイズを抑制するように設計された戦略は、過度に保守的な特徴抑制を招き、結果として構造的な平滑化、微細なディテールの喪失、およびダイナミックレンジの縮小を引き起こすことが多い。この劣化は、複雑な条件下におけるダウンストリームのビジョンタスクの性能安定性を根本的に制限する。

手法
敵対的防御と特徴の忠実度（フィデリティ）の間の矛盾に対処するため、著者らはFDCNet（Frequency-Aware and Dynamic Curve Network）を提案する。このフレームワークは、U-Netバックボーンを利用したエンドツーエンドの敵対的学習システムとして機能し、防御性能と視覚的品質を相乗的にバランスさせるために3つのコアコンポーネントを統合している。

1. 空間・周波数動的敵対的損失 (LSFDA):
   最適化レベルで提案されるこの損失関数は、構造的忠実度と高周波特徴の制約を適応的にバランスさせることで、堅牢な学習を導く。これは、内側の最大化プロセスで疑似ラベルに対する敵対的摂動（PGD経由）を生成し、外側の最小化プロセスでネットワークパラメータを更新するという、min-max最適化戦略を採用している。この損失は、ベースラインとなる構造的空間忠実度項と、正規化された周波数認識許容項で構成される。後者は離散ウェーブレット変換（DWT）を用いて低周波成分と高周波成分をデカップリングし、高周波成分に対して「ソフトな上限」制約を課すことで、ディテールの喪失を防ぎつつ過剰なノイズを抑制する。マルチレベルの動的重み付けシステムが、学習プロセス全体を通じて構造再構成と抗干渉能力の間の焦点を図的に調整する。

2. 周波数認識防御モジュール (FADM):
   U-Netバックボーンのマルチスケール・スキップ接続内に組み込まれたこのモジュールは、フロントエンドの抗干渉アーキテクチャとして機能する。これは、一連の5つの周波数デカップリング・アテンション・ブロック (FDAB) を介して、層間を伝播するノイズの浸透を遮断する。各FDABユニットは以下の処理を行う：

   • 空間平滑化とウェーブレット・デカップリング: 深度分離畳み込みとDWTを使用し、特徴を低周波（LL）と高周波（LH, HL, HH）のサブバンドに分離する。
   • アフィン可逆周波数生成 (AIFG): アフィン結合ブロック（ACB）を利用して、厳密な数学的可逆性を通じて高周波の詳細を保持しながら特徴を抽出することで、前方伝播中の情報損失を防ぐ。
   • 可逆方向双方向アテンション (IDDA): マクロな特徴平滑化のためのマーサー・グローバル・アテンション（MGA）ブランチ（複雑性を低減するためのカーネルマッピングを使用）と、局所的な高周波異常を扱うローカル・ウィンドウ・アテンション（LWA）ブランチを組み合わせる。
   • 残差再構成: ピクセルシャッフルと残差接続を介して浄化されたサブバンドを再組み立て、堅牢な特徴を出力する。

3. 極値誘導型動的トーンカーブモジュール (EDTC):
   バックエンドの事後補償メカニズムとして設計されたEDTCは、LSFDAとFADMの間の相互制約に対処する。Retinex理論とカーブ推定戦略に着想を得たこのモジュールは、予備的な堅牢な特徴を、マルチソースの極値分布（ソース画像の画素ごとの最大エンベロープ）といった空間事前分布と結合させる。このモジュールは、軽量なネットワークを介して画素ごとの高次非線形マッピングパラメータを予測し、反復的な二次曲線再構成を実行する。このプロセスは、画素分布を効果的に復元し、ダイナミックレンジの縮小を緩和し、基礎となる防御システムを損なうことなく視覚的な鋭さを回復させる。

主な貢献

• LSFDA: 構造的忠実度と高周波制約の間の重みを動的に調整する新しい損失関数であり、従来の敵対的防御に伴うディテール喪失を軽減する。
• FADM: スキップ接続内に周波数デカップリング・アテンション・ブロックをカスケード接続することで、可逆変換を通じて低レベルの空間詳細を保持しながら、高周波の敵対的ノイズを遮断・フィルタリングするフロントエンド・アーキテクチャ。
• EDTC: マルチソースの極値事前分布を利用して非線形な画素マッピングを行うバックエンド補償メカニメントであり、防御モジュールと忠実度の間の性能トレードオフを効果的に解決し、画像の視覚的品質を復元する。
• 統一フレームワーク: これらのコンポーネントをFDCNetに統合することで、敵対的堅牢性と特徴の忠実度の相乗的なバランスを実現し、客観的指標とダウンストリームタスクの安定性の両面において、最先端（SOTA）の手法を凌駕する。

実験結果
M³FDおよびMFNetデータセットを用いて、FDCNetを8つのSOTA融合モデル（SeAFusion、TarDAL、PAIF、A²RNetを含む）と比較する広範な実験が行われた。

• 融合品質: 敵対的攻撃（PGD）下において、FDCNetは5つの客観的指標（エントロピー(EN)、標準偏差(SD)、ピーク信号対雑音比(PSNS)、相関係数(CC)、および構造的差分和(SCD)）において、一貫してベースラインを上回った。定性的分析では、他の手法が深刻なノイズ、歪み、または構造的崩壊を示すのに対し、FDCNetは赤外線の熱的顕著性と可視光のテクスチャの詳細を、クリーンな状態と攻撃された状態の間で信号波形の偏差を最小限に抑えつつ保持していることが示された。
• ダウンストリームタスクの安定性: 融合画像が事前学習済みの物体検出およびセマンティックセグメンテーションネットワークに入力された際、FDCNetは優れた堅牢性を示した。M³FDおよびMFNetデータセットにおいて、FDCNetは攻撃条件下で最高の平均適合率（mAP）および平均IoU（mIoU）を達成し、他の手法と比較して性能低下が最も小さかった（例：M³FDにおけるmAPの低下はわずか0.012）。視覚的な検出結果は、他のモデルが検出漏れや断片的なセグメンテーションに苦しむ中で、FDCNetが高い信頼度で全てのターゲット（歩行者および車両）を正常に検出したことを裏付けている。
• アブレーション研究: 実験により、個々のモジュール（LSFDA、FADM、EDDT）が性能を向上させる一方で、EDTCなしでは相反する最適化目的のために性能が制約を受けることが検証された。3つのコンポーネントすべてを組み込んだフルモデル（M6）が最適な結果を達成し、防御と忠実度を調停するためのEDTCの必要性を確認した。

意義
本論文は、FDCNetが、これまでこのような攻撃に対して脆弱であった領域であるIVIFタスクにおける敵対的摂動の悪影響を効果的に軽減することを主張している。周波数認識型の防御戦略と動的トーンカーブ補償メカニズムを導入することで、本手法は抗干渉免疫と画像忠実度の間の伝統的なトレードオフを克服することに成功した。結果は、FDCNetが高度な忠実度の融合結果を維持するだけでなく、敵対的環境下における重要なダウンストリームビジョンタスク（物体検出およびセマンティックセグメンテーション）の性能を大幅に安定させることを示している。著者らは、マルチスケール周波数デカップリングと非線形反復が計算複雑性を増大させることを認めており、今後の課題として、実用的なエンジニアリング展開のための軽量設計と推論効率の最適化に焦点を当てることを示唆している。