技術的概要：DPOFusion

問題定義

赤外線画像と可視光画像の融合（IVIF）は、補完的なスペクトル情報を統合して人間の知覚を向上させ、下流のビジョンタスクを改善することを目的としています。しかし、既存の手法は重要な限界に直面しています：すなわち、多様な要求に柔軟に対応することが困難であるという点です。異なるユーザーやアプリケーションは、全体的な画像品質、自然な外観、あるいは物体検出やセグメンテーションのような機械ビジョンタスクへの特定の適合性など、互いに矛盾する目的を優先します。現在の学習ベースのアプローチは、通常、各特定の要求に対して個別のモデルと複雑な学習戦略を必要とし、多様な人間および機械の嗜好に合致する適応的な融合を可能にする統一的なフレームワークを欠いています。

手法

著者は、画像融合を多様な要求に整合させるために直接嗜好最適化（DPO）を活用するフレームワークDPOFusionを提案します。このフレームワークは、2 つの主要なコンポーネントとデータ収集パイプラインで構成されます：

1. 属性整合潜在拡散モデル（PALDM）

PALDM は候補生成器として機能します。これは、多様な属性を持つ多様で高品質な融合結果を生成するように設計されています。

• 事前潜在融合：まず、生成プロセスを誘導するために、結合融合損失を用いて事前潜在融合モデル（$\epsilon_{lfm}$）を訓練します。
• 結合条件損失：多様な候補を生成するために、PALDM は結合条件損失を採用します。これは、標準的な融合潜在変数と、ソース潜在変数と事前融合潜在変数を線形補間して作成された属性補間潜在変数の両方をノイズ除去するように潜在拡散モデルを訓練します。これにより、モデルは生成された出力を特定の属性記述テキストプロンプト（例：「主に赤外線情報」）に整合させることができます。

2. 嗜好制御潜在拡散モデル（PCLDM）

PCLDM は、特定の嗜好信号に基づいて融合結果を調整する微調整モジュールです。

• アーキテクチャ：これは凍結された PALDM（$\epsilon_{ref}$）から初期化され、ゼロ初期化された 1$\times$1 畳み込みを介して接続された学習可能なブランチを導入します。この構造は、基礎的な融合能力を維持しつつ、新しい嗜好への迅速な適応を可能にします。
• インスタンス直接嗜好最適化（IDPO）：これが中核的な革新です。標準的な DPO がグローバルに最適化するのとは異なり、IDPO はマスクされた関心領域内でのみ嗜好の監督を適用し、他の場所では厳密なピクセルレベルの一貫性を強制します。
  • 損失関数：IDPO 損失（$L_{IDPO}$）は、マスク領域に対する嗜好整合損失（モデルが「敗者」サンプルよりも「勝者」サンプルを好むように促す）と、マスクされていない領域に対する一貫性損失（出力が凍結された参照モデルに近づくことを保証する）を組み合わせます。これにより、局所的な適応とグローバルな忠実性のバランスが取られます。

3. 嗜好データ収集

このフレームワークは、対応するマスク（$I_m$）を持つトレーニングペア（$I_w^0 \succ I_l^0$）を作成するために、3 つのソースから多様な嗜好データを収集します：

• 人間のフィードバック（RLHF）：人間の注釈者が候補画像から好ましい領域を選択します。
• 視覚言語モデル（RLVF）：VLM（具体的には QWEN3-Omni-Think）は、技術的な画像品質（鮮明さ、アーティファクトなど）に基づいて候補をランク付けします。
• タスク駆動モデル（RLDF）：下流モデル（検出用 YOLOv11、セグメンテーション用 SegFormer）が候補を評価します。好ましい/却下されたサンプルは、タスク性能指標（mAP、mIoU）によって決定され、マスクはターゲット領域または検出パッチから導出されます。

主要な貢献

1. 統一的なフレームワーク：DPOFusion は、各タスクごとに個別のモデルを必要とすることなく、多様なユーザーの嗜好（人間、VLM）および機械ビジョンタスク（検出、セグメンテーション）に適応可能な単一のフレームワークを提示します。
2. インスタンス直接嗜好最適化（IDPO）：著者は、画像融合のための DPO の新規適応である IDPO を導入します。嗜好最適化を特定のマスク領域に制限することで、IDPO はグローバルな画像構造や整合性を劣化させることなく、正確な局所的整合を達成します。
3. 属性整合生成：結合条件損失を備えた PALDM の統合により、多様な候補の豊富なプールを生成することが可能となり、効果的な嗜好注釈と微調整を促進します。
4. タスク指向の適応性：このフレームワークは、視覚品質を維持しつつ、下流タスクのパフォーマンスを向上させるために（例えば、小さなターゲットのセグメンテーション改善や高密度な物体の検出など）、融合出力を具体的に微調整する能力を実証しています。

実験結果

著者は、9 つの最先端手法（U2Fusion、DDFM、SHIP、Text-IF など）に対して、実世界のデータセット（LLVIP、MSRS、RoadScene、M3FD）で DPOFusion を評価しました。

• 人間および VLM との整合：定量的指標（エントロピー、標準偏差、平均勾配、MUSIQ、CNNIQA）は、DPOFusion のバリエーション（RLHF および RLVF）が最先端のパフォーマンスを達成することを示しています。定性的な結果は、特に低照度および複雑な照明シナリオにおいて、優れたテクスチャの保持と自然な外観を示しています。
• 下流タスクのパフォーマンス：
  • セマンティックセグメンテーション：RLDF-Seg バリエーションは、ベースラインと比較してmIoU で 0.5% の改善を達成し、定性的な結果は小さなターゲットのより良いセグメンテーションを示しています。
  • 物体検出：RLDF-OD バリエーションは、mAP で 4.2% の改善を達成し、高密度かつ小さなターゲットに対する効果的な特徴捕捉を実証しています。
• アブレーション研究：実験は、PALDM における結合条件損失が高品質な候補を生み出し、IDPO がグローバルな一貫性を維持しながら嗜好への整合において標準的な DPO や対照損失を大幅に上回ることを確認しました。
• 効率性：拡散ベースであるにもかかわらず、DPOFusion は圧縮された潜在空間で動作し、画像あたりの推論時間を1.7 秒に短縮しています（DDFM の 7.8 秒と比較）。これにより、他の生成型融合手法よりも効率的になっています。

意義と主張

本論文は、人間および機械ビジョンからの多様な嗜好に整合する適応的融合を実現するという「開かれたかつ挑戦的な問題」に対して、DPOFusion が成功裏に対処したと主張しています。DPO を活用することで、このフレームワークは明示的な報酬モデルや下流タスクとの複雑な結合最適化パイプラインの必要性を排除します。

著者は、DPOFusion を「あなた方自身の方法での融合」のための統一的かつ柔軟なソリューションとして位置付けています。これは、人間の視覚知覚、言語指示、または下流タスク指標によって駆動されるかどうかにかかわらず、最小限の微調整を通じて特定の要件を満たすために基礎モデルを微調整する能力を持っています。この研究は、赤外線および可視光画像融合の分野において、適応的融合の品質とタスク指向の転移可能性に関する新たなベンチマークを設定しています。