技術概要：Thermo-VL

問題定義

ビジョン・ランゲージモデル（VLM）は、大規模な RGB データセットにおける指示チューニングを通じて、オープンエンドな画像理解や視覚的質問応答（VQA）で顕著な成功を収めています。しかし、これらのモデルは可視光スペクトルセンシングの失敗モードを引き継いでいます。低照度、まぶしさ、靄、または煙の下では、RGB 画像はしばしば重要なシーン証拠を失い、夜間運転、捜索・救助、低視認性検査などの安全性が重要なシナリオにおいて、標準的な VLM を脆くします。

熱赤外線（IR）画像は、可視手がかりが劣化する際にも（人間、動物、暖かい車両などの）補完的なシーン構造を保持しますが、熱データを VLM に統合する現在のアプローチは最適ではありません。一般的な回避策は、熱画像を疑似 RGB に変換してから RGB 向けにトレーニングされた VLM に投入するというものです。この変換ベースのパイプラインは、生成ボトルネックを導入し、可視スタイルの詳細を幻覚させるリスクを伴い、RGB 空間に自然に表現されないモダリティ固有の情報を抑制します。さらに、既存の RGB-熱赤外線データセット（KAIST、FLIR-ADAS など）は、主に検出や追跡のために設計されており、指示チューニングやオープンエンドな推論に必要な言語監督を欠いています。

手法

著者は、Molmo-7B-Dを基盤とした波長認識型 VLM であるThermo-VLを提示します。このアーキテクチャは、事前学習済みの RGB-言語インターフェースを不安定化させたり、基盤全体の高価な再トレーニングを必要としたりすることなく、整列した RGB と熱赤外入力を統合するように設計されています。

アーキテクチャ

1. 二重視覚エンコーダ:

   • RGB ストリーム: 凍結された Molmo 事前学習ビジョントワー（$\phi_R$）を使用します。
   • 熱赤外ストリーム: マスク付きオートエンコーダ（MAE）で事前学習された ViT-L/14 エンコーダ（$\phi_T$）を使用します。この MAE は、KAIST、FLIR-ADAS、OSU/OTCBVS、NIRSCENE からなるプールされたマルチバンド赤外線コーパスで事前学習されています。Molmo の 3 チャンネル入力期待値との互換性を維持するため、単一チャンネルの熱赤外画像は 3 チャンネルに複製されます。
   • パラメータ効率: 訓練中、RGB エンコーダと言語モデル（LLM）は凍結されたままです。熱赤外エンコーダの最後の $N_\ell=4$ 個のトランスフォーマーブロック、熱赤外レイヤーノーマライズ、および融合モジュールのみが更新されます。

2. テキストガイド二重アテンション融合モジュール:
   中核的な革新は、凍結された RGB ストリームに注入する前に、言語プロンプトと RGB 文脈の両方に条件付けられた熱赤外特徴を融合する融合ブロックです。

   • 入力: 整列された RGB トークン（$R$）、熱赤外トークン（$T$）、およびプロンプト埋め込み（$P$）。
   • 二重アテンション: 熱赤外トークンは、2 つの並列アテンション経路を通じて洗練されます。
     • テキストガイド経路: $T_{txt} = \text{MHA}(\bar{T}, \bar{P}, \bar{P})$
     • RGB ガイド経路: $T_{rgb} = \text{MHA}(\bar{T}, \bar{R}, \bar{R})$
   • 洗練: これらの経路は、元の熱赤外特徴とマージされ、洗練された表現 $\hat{T}$ を生成します。
   • ゲート付き残差注入: RGB トークンを置換するのではなく、モデルは $\hat{T}$ から残差 $\Delta R$ を予測し、トークンごとのゲート $\alpha$ でこれを調整します。最終的な融合トークンは以下のように計算されます。
     $$R^\dagger = R + \alpha \odot \Delta R$$
     この設計により、融合がクエリ認識型となり、事前学習済みの RGB-言語インターフェースを維持しつつ、標的とした熱赤外証拠の注入を可能にします。

訓練目的

モデルは、複合損失関数を用いて最適化されます。
$$L = L_{LM} + \lambda_{align}L_{align} + \lambda_{contr}L_{contr} + \lambda_{gate}L_{gate}$$

• $L_{LM}$: 言語モデリングタスクのための標準的な自己回帰交差エントロピー損失。
• $L_{align}$: RGB と熱赤外特徴間のトークンレベルの L2 整合性。クロスモーダル一貫性を強制します。
• $L_{contr}$: RGB、熱赤外、およびテキストのグローバル意味表現を整合させるためのコントラスト損失（InfoNCE）。
• $L_{gate}$: ゲート飽和（すなわち、モデルが完全に一方のモダリティを無視すること）を防ぐためのゲートメカニズムに対するエントロピー正則化。
• 拡張: 訓練中にブロック単位 RGB マスキング戦略が採用され、RGB 画像領域の 10% をランダムにマスキングして可視スペクトルへの過剰依存を軽減します。

主要な貢献

1. 波長認識型 VLM: 対になった RGB と熱赤外入力を、トークンごとのゲート付き残差注入を備えたテキストガイド二重アテンション融合モジュールを通じて統合する Thermo-VL の導入。RGB トワーと LLM を凍結したままにします。
2. パラメータ効率型適応: 熱赤外エンコーダの最後の数ブロックと融合パラメータのみを更新し、トークンレベル整合性、コントラスト監督、およびゲートエントロピーによって正則化されたファインチューニング戦略。
3. 統合 RGB-熱赤外言語監督:
   • データセット: 公開データセットと PixMo-cap-qa データ上の合成熱赤外拡張（F-ViTA 使用）から構築された、約 19,500 組の画像ペアと約 54K 組の QA ペアを含むピクセル整列 RGB-熱赤外指示チューニングデータセット。
   • ベンチマーク: 低照度およびクロススペクトル推論用に設計された、手動スクリーニングされたバイナリ VQA ベンチマークであるThermo-VL-Bench（約 3,148 組の画像ペアと約 15K 組の QA ペア）。

実験結果

実験はThermo-VL-Benchおよび外部ベンチマークRGB-Th Benchで行われました。

• Thermo-VL-Bench:

  • RGB+ 熱赤外: 両方のモダリティが提供された場合、Thermo-VL は**88.96%**の精度を達成し、Molmo ベースライン（75.79%）を大幅に上回りました。
  • 熱赤外のみ: 81.20%（Molmo）から**82.23%**に向上しました。
  • RGB のみ: 性能は**88.67%**で維持され、ベースラインと一致しました。これは、融合メカニズムが既存の RGB 能力を劣化させないことを示しています。
  • 全体: Thermo-VL は、比較対象のすべてのモデル（InternVL、Qwen2.5-VL、LLaVA-Next などを含む）の中で最高となる総合スコア（86.37%）を達成しました。

• RGB-Th Bench:

  • Thermo-VL は、RGB のみのテキストタスクでは Molmo ベースライン（77.25%）と一致しましたが、RGB-熱赤外テキストタスクでは性能を大幅に向上させ、60.84% から**69.15%**に上昇しました。

• アブレーション研究:

  • テキストガイドアテンションを除去すると、最も大きな性能低下（88.96% $\to$ 82.34%）が生じ、質問認識型融合の重要性が確認されました。
  • ゲート付き残差または RGB ガイドアテンションを除去しても性能が低下し、熱赤外データを統合しながら RGB インターフェースを維持する設計の役割が実証されました。
  • 補助損失（$L_{contr}$ および $L_{gate}$）は、クロスモーダル一貫性とモダリティ崩壊の防止に不可欠であることが示されました。

意義と主張

本論文は、明示的かつプロンプト条件付きのマルチスペクトル融合により、入力レベルで付加したり疑似 RGB に変換したりするのではなく、モデル内部で融合された場合、熱赤外手がかりが RGB データを効果的に補完できることを主張しています。Thermo-VL は、事前学習済みの RGB-言語インターフェースを不安定化させることなく、強力な事前学習済み VLM を熱赤外知覚に拡張することが可能であることを実証しています。

著者は、Thermo-VL を展開準備完了システムではなく、研究プロトタイプとして位置付けています。彼らは、空間的に整列した入力を前提としていること、アーティファクトを導入する可能性があるモデル生成 QA 監督の使用、および Thermo-VL-Bench が完全な人間作成ではなく手動スクリーニングされたモデル生成ベンチマークであることなどの限界を認識しています。この研究は、安全性が重要な意思決定の単独の基盤として機能するのではなく、低照度条件下でのマルチスペクトルビジョン・ランゲージ学習および指示チューニングの研究を支援することを意図しています。