技術要約: InfraNet: 高効率な赤外線物体検出のための品質認識型RGBガイダンス

1. 問題提起

悪条件下（低照度、グレア、霧など）における堅牢な物体検出は、マルチモーダル知覚システムにとって依然として大きな課題である。赤外線（IR）センシングは、周囲の光に依存せずに熱放射を捉えることで堅牢性を提供するが、既存の融合ベースの手法は、通常、学習時と推論時の両方においてRGBとIRの両方のモダリティを等しく扱う。この「等価な扱い」という仮定は、劣化した条件下におけるRGBモダリティの信頼性の欠如という決定的な欠陥を見落としている。

RGB画像が激しく劣化した場合（例：暗黒化やノイズの増加）、それらを信頼性の高いIR特徴量と無差別に融合させると、無関係または有害な情報が混入し、「ネガティブ転移（negative transfer）」を引き起こして全体の検出精度を損なう可能性がある。さらに、現在の最先端（SOTA）の融合手法の多くは、推論時にデュアルモーダル入力を必須とするため、RGBセンサーが利用できない、あるいは破損している場合には実用的ではない。RGBを学習中のガイダンス信号として活用してIRの学習を強化しつつ、効率的で高精度なIR単独でのデプロイを可能にするフレームワークが必要とされている。

2. 手法

コアフレームワーク: InfraNet

著者らは、InfraNetを提案する。これは、学習時にはRGBガイダンスを制御し、推論時にはRGB–IRまたはIR単独のいずれのモードでも柔軟なデプロイをサポートするように設計された、IR中心の品質認識型フレームワークである。InfraNetは、以下の非対称アーキテクチャで構成される：

1. 主要IRパスウェイ: 予測のためのマルチスケール赤外線特徴量を抽出する。
2. 補助RGBパスウェイ: 学習中に信頼性が制御された監督信号を提供する。

主要コンポーネント: QualGate

InfraNetの核心的な革新は、ネットワーク内の複数のスケールに配置された品質認識型融合モジュールであるQualGateである。QualGateは、クロスモーダルな相互作用を動的に制御するための、タスク指向の制御信号を学習する。その動作には、2つの並行したメカニズムが含まれる：

• 信頼性制御スコア ($q$): 補助的なRGB特徴量 ($A_{in}$) から、軽量なMLPを用いてスカラー値 $q \in (0, 1)$ を予測する。このスコアは、手作りの画像品質指標としてではなく、検出目的のために最適化される。
• RGB抑制ゲート: 補助的な寄与は、$w_{rgb}(q) = q$ によって重み付けされる。RGBの品質が低い（$q$ が低い）場合、ノイズ注入を防ぐためにRGBガイダンスの重みが下げられる。
• IR増幅ゲート: 同時に、逆信頼性ゲイン $\alpha(q)$ がIRストリームに適用される。$\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$ と定義されるこのメカニズムは、RGBガイダンスが弱いときにIR特徴量の寄与を増加させ、IR表現の堅牢性を確保する。
• 融合: 最終的な出力 $A_{out}$ は、抑制された補助項と増幅されたIR注入の融合である：
  $$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$$
  ここで、$F_k$ は整合されたIR特徴量、$g_k$ はコンテンツゲートを表す。

アーキテクチャのバリエーション

InfraNetに基づき、2つの特定のアーキテクチャが設計されている：

1. InfraNet-IR: 計算効率に最適化された、軽量なシングルブランチ・ネットワーク。ペアとなるRGB–IR入力を用いて学習されるが（特権的な補助的監督としてRGBを使用）、IR単独の推論でデプロイされる。テスト時にはRGBブランチとすべての融合モジュールが削除され、追加のオーバーヘッドは発生しない。
2. InfraNet-RGB-IR: 学習時および推論時の両方でRGBとIRの両方の入力を処理し、QualGateを利用して信頼性が制御されたクロスモーダル融合を行う、より高容量なデュアルブランチ構造。

学習戦略

本フレームワークは、以下の非対称損失関数を使用する：
$$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$$
ここで、補助損失の重み $w_{\text{aux}}$ は0.25に設定されている。これにより、最適化は赤外線パスウェイによって支配される一方で、補助ブランチが適応的なガイダンスを提供してIR表現を強化することを保証する。

3. 主な貢献

• InfraNetフレームワーク: RGBを信頼性が制御された補助信号として扱うことで、IR単独のデプロイを可能にし、赤外線物体検出のための品質認識型RGBガイダンス・フレームワークを実現した。
• QualGateモジュール: 不信頼なRGBガイダンスを抑制し、IR特徴量を補償するために、タスク指向の制御信号を学習する新しい融合メカニズを提案した。これにより、劣化したRGBデータからのネガティブ転移のリスクを軽減する。
• デュアルモード・デプロイ: 効率的なシングルモーダル推論と高容量のデュアルモーダル融合の両方において、競争力のある性能を実現する2つのバリアント（InfraNet-IRおよびInfraNet-RGB-IR）を設計した。

4. 実験結果

本手法は、4つのベンチマークデータセット（LLVIP、FLIR-Aligned、M3FD、DroneVehicle）で評価された。

• 性能: InfraNetは、すべてのデータセットにおいて強力または競争力のある精度を達成した。
  • LLVIPにおいて、RGB–IRバリアント（YOLOv8）は70.5% mAPを達成し、SOTAであるWaveMamba（66.0%）を上回った。IR単独バリアントは、推論オーバーヘッドなしで68.8% mAPを達成した。
  • FLIR-Alignedにおいて、IR単独バリアント（ResNet50）は、競争力のある精度を維持しながら、デュアルモーダル競合モデルよりも大幅に速い9.4msの推論時間を達成した。
  • DroneVehicleにおいて、IR単独のYOLOv12バリアントは84.7% mAP50を達成し、WaveMambaを+4.9%絶対値で上回り、特に小型物体（車、バスなど）の検出において顕著な改善が見られた。
  • M3FDにおいて、本手法は、RGBの視認性が著しく低下する夜間およびチャレンジ・サブセットにおいて堅牢性を示した。
• 効率性: InfraNet-IRは、デプロイ時にRGBブランチと融合モジュールを完全に削除することで、IR単独推論において高い効率性を維持している。
• アブレーション研究: 両方の実験により、QualGateのRGB抑制およびIR増幅の両方のブランチが必要であることが確認された。どちらか一方を削除すると、性能低下を招く。学習された制御スコア $q$ は、明示的な品質アノテーションなしに、制御されたRGB劣化（霧、明るさの変化）に対して効果的に適応することが示された。

5. 意義と主張

本論文は、InfraNetが「等価な融合」から「IR中心の品質認識型ガイダンス」へとパラダイムをシフトさせることで、劣悪な条件下におけるRGBの信頼性という長年の問題に対処していると主張している。

• 堅牢性: 不信頼なRGBの手がかりを抑制し、IR特徴量を増幅することで、IR表現の汚染を防ぎ、低照度や悪天候下でのより安定した検出を実現する。
• デプロイの柔軟性: 推論時にデュアルモーダル入力を必要とする既存の融合手法とは異なり、InfraNet-IRは、RGBセンサーが利用できない、あるいは破損しているシナリオに対する実用的なソリューションを提供し、実行時の計算コストをかけることなく高い精度を実現する。
• 効率性: 本フレームワークは、学習中の補助的な監督が、デプロイ時のオーバーヘッドなしにIR単独の性能を大幅に向上させ得ることを示しており、自動運転やUAV監視のようなリソース制約のあるアプリケーションに適している。