技術概要：UNIV – 赤外線および可視光モダリティのための統合基盤モデル

1. 問題定義

基盤モデルの最近の進歩は、可視光（RGB）および赤外線（IR）の両方のドメインにおける単一モダリティタスクで印象的な結果をもたらしました。しかし、これらのモデルをモダリティ間で適用する際、顕著な「クロスドメインギャップ」が依然として存在します。著者らは、その根本原因を「パターンショートカット」と特定しています。単一モダリティで訓練されたモデルは、色や明るさ（RGB の場合）や熱強度（IR の場合）といった表面的なセンサー固有の手がかりに依存する傾向があり、背後にある意味的構造には依存しないためです。

その結果、IR で訓練されたモデルを RGB データに適用すると、明るさの手がかりに基づいて注意が誤って局所化されることが多く、その逆も同様です。既存のアプローチは、両方のモダリティに対して意味的に一貫した特徴を生成する統合エンコーダーを欠いており、多様な知覚設定（RGB のみ、IR のみ、または RGB-IR 併用シナリオ）における汎化能力を制限しています。

2. 手法

本論文は、赤外線と可視光モダリティ間のギャップを埋めるために設計された統合基盤モデル「UNIV」を提案します。UNIV の核心は、「パッチクロスモーダル対比学習（PCCL）」と呼ばれる自己教師あり戦略です。

2.1. 中核アーキテクチャ

UNIV は、学習可能なエンコーダー（$E_{train}$）と、ImageNet で事前学習されたモデル（具体的には MCMAE）から初期化された凍結された事前学習済み RGB エンコーダー（$E_{frozen}$）を利用します。

• 入力: 対になった可視光 RGB 画像と赤外線画像。
• 特徴抽出: 学習可能なエンコーダーが、両方のモダリティに対して特徴（可視光用$F^V$、赤外線用$F^I$）を抽出します。
• 目的: 同じ意味クラスの特徴がモダリティ間で集まり、異なるクラスの特徴が離れるような統合特徴空間を学習することです。

2.2. 注意誘導パッチアンカー

ラベルなしで学習を誘導するために、UNIV は凍結された RGB エンコーダー（$E_{frozen}$）に符号化された意味的プリオリティを利用します。

• 疑似ラベル生成: 可視光モダリティに適用された$E_{frozen}$の最終層の注意マップを用いて、画像パッチ間の意味的類似性を決定します。
• バイナリマスキング: この注意マップは、3 つの規則を用いてバイナリ疑似ラベル行列（$M^A$）に変換されます。
  1. 自己類似性: 対角要素は 1 に設定されます。
  2. 相関選択: 各パッチについて、注意スコアに基づいて最も相関の高い上位$m$個のパッチが、累積閾値$\gamma$に達するまで正（1）としてマークされます。
  3. 非類似性抑制: その他のすべてのエントリは 0 に設定されます。
• アンカー: 凍結されたエンコーダーからの特徴は、学習可能なエンコーダーの出力を整合させるための意味的アンカー（$F^A$）として機能します。

2.3. パッチクロスモーダル対比学習（PCCL）

最適化戦略は、$M^A$によって定義された意味的アンカーと、学習可能なエンコーダーの表現を整合させます。

• 目的: モデルは、異なるクラス間の負のペア間の非類似性を最小化し、同じクラス間の正のペア間の類似性をモダリティ間で最大化します。
• 損失関数: 著者らは、疑似ラベル行列$M^A$と、学習可能な特徴から導出された類似度行列のシグモイド関数との間の二値交差エントロピー（BCE）損失として損失を定式化します。
  • $L_{IA}$: 赤外線特徴をアンカーに整合させます。
  • $L_{VA}$: 可視光特徴をアンカーに整合させます（RGB 性能の破滅的忘却を防ぐため）。
  • 総損失: $L_{PCCL} = \alpha \cdot L_{IA} + \beta \cdot L_{VA}$。
• メカニズム: このプロセスは、モダリティ間で意味的に関連するパッチを引き寄せ、無関係なものを押し離すことで、センサー固有のパターンよりも意味的構造を優先する統合特徴空間を効果的に再構築します。

2.4. MVIP データセット

このクロスモーダル学習を支援するために、著者らは**MVIP（Multi-scene Visible Infrared Pairs）**を導入しました。これは、98,992 組の正確に整列した画像ペアを含む包括的なベンチマークです。

• ソース: FLIR-Align、KAIST、DroneVehicle、LLVIP、LasHeR の 5 つの公開データセットからキュレーションされました。
• カバレッジ: 都市部の運転、監視、航空ドローン視点など多様なシナリオを網羅し、昼間および夜間の両方の条件をカバーしています。

3. 主要な貢献

1. パッチクロスモーダル対比学習（PCCL）: 注意誘導の疑似ラベルを使用することで、クロスモーダル特徴ギャップを適応的に減少させつつ、クラス間識別性を高める自己教師あり手法。
2. MVIP データセット: 現在までの最大規模の可視光 - 赤外線ベンチマークであり、約 10 万組の整列ペアを備えた堅牢なクロスモーダル研究の基盤を提供します。
3. 最先端のパフォーマンス: UNIV は、赤外線タスクにおいて優れた結果を達成しながら、RGB タスクでも競争力のある精度を維持しています。

4. 実験結果

セマンティックセグメンテーションおよび物体検出タスクにおいて、広範な実験が行われました。

4.1. 赤外線セマンティックセグメンテーション（MSRS-IR）

• 性能: UNIV（LoRA 変種）は76.0 mIoUを達成し、以前の最先端（InfMAE）を**+1.7 mIoU**上回りました。
• 効率性: この改善は、LoRA を通じて総パラメータ数 88.7M の約 2% に相当する1.8M のパラメータのみを更新することで達成されました。
• フル事前学習: フルパラメータ変種は76.6 mIoUに達しました。

4.2. 赤外線物体検出（M3FD-IR）

• 性能: UNIV（LoRA）は56.9 mAPおよび88.7 AP50を達成し、InfMAE を**+0.7 mAP**上回りました。
• 観察: 著者らは、フルパラメータ事前学習が LoRA に比べて検出結果がわずかに最適でないことを指摘し、これは個々のパッチ内の意味的豊かさ（検出に不可欠）を犠牲にしてパッチ類似性の最適化が行き過ぎたことに起因すると述べています。

4.3. RGB 下流タスク

• RGB 性能の維持: UNIV は RGB タスクで競争力のある性能を維持し、MSRS-RGB で79.0 mIoU（ベースラインと同等）を達成し、ADE20K では51.2 mIoU（元の MCMAE 機能の 99% を維持）を達成しました。
• 意義: これは、UNIV が「モダリティの崩壊」や元の RGB 機能の破滅的忘却を引き起こすことなく、統合空間を正常に構築したことを示しています。

4.4. 特徴空間分析

• 整合性: Earth Mover's Distance（EMD）分析により、UNIV がクロスモーダル整合性を大幅に改善し、同じカテゴリの特徴が異なるカテゴリの特徴よりも密にクラスタリングすることが示されました。
• 分離性: t-SNE 可視化により、UNIV が MCMAE や InfMAE などの単一モダリティモデルと比較して、より優れたクラス間分離性を達成することが確認されました。

5. 意義と主張

本論文は、UNIV が統合されたクロスモーダル意味特徴空間を構築するための一般的でスケーラブルな解決策を提供すると主張しています。その主な意義は、モデルが表面的なセンサーの手がかりへの依存によりモダリティ間で汎化できない「パターンショートカット」問題に対処することにあります。

PCCL を統合することで、UNIV は以下のことを達成する効果的な統合意味特徴空間を再構築します。

1. 堅牢なクロスモーダル整合性: センサーモダリティに関係なく、同じ意味オブジェクトに対して一貫した特徴表現を確保します。
2. 強力なクラス間意味分離性: 異なるオブジェクトクラスを区別するモデルの能力を強化します。

著者らは、このアプローチが可視光タスクにおけるモデルの元の能力を犠牲にすることなく、LoRA を通じた赤外線タスクへの効率的な適応を可能にし、多様な気象および照明条件下での堅牢な知覚システムの展開への実用的な道筋を提供することを強調しています。また、MVIP データセットの導入は、この分野の将来の研究にとって重要なリソースであることも強調されています。