技術要約: AnyThermal および TartanRGBT

1. 問題提起

熱画像（サーマルイメージング）は、照明条件や天候に対する堅牢性を提供するため、捜索救助、自動運転、および監視におけるレジリエントな自律走行において極めて重要である。しかし、RGBデータとは異なり、熱データは大規模かつ多様なデータセットの深刻な不足に直面している。既存の熱特徴抽出器は、小規模なデータを用いたタスク固有の学習に依存するか、事前学習済みのRGBバックボーンを適応させる手法に依存している。これらのアプローチは、特定の環境やタスクに限定されたモデルを生み出す結果となる。さらに、視覚基盤モデル（例：DINOv2）から熱ドメインへの知識蒸留の研究も行われてきたが、これまでの研究は多様な学習データの欠如によって制約されており、単一環境のデータセットに依存することが多く、その結果として得られる熱エンコーダの汎用性を制限している。

2. 手法

A. AnyThermal: タスク非依存の熱エンコーダ

核心となる貢献は、堅牢でタスク非依存の特徴を捉えるように設計された熱バックボーンであるAnyThermalである。

• アーキテクチャ: AnyThermalは、DINOv2 Vision Transformer (ViT-B/14) に基づいている。
• 学習戦略 (知識蒸留): 著者らは、教師・生徒（teacher-student）型の蒸留フレームワークを採用している。
  • 教師 (Teacher): 事前学習済みの重みで初期化され、RGB画像を処理する凍結されたDINOv2ネットワーク。
  • 生徒 (Student): 同様の重みで初期化され、熱画像（グレースケールから3チャンネルへ変換）を処理する学習可能なDINOv2ネットワーク（AnyThermal）。
  • 損失関数: 最終層のCLSトークン特徴に対してコントラスト損失が適用される。これにより、色のような低レベルのキューを必要とせずに、対応するRGB-熱ペアのグローバルなセマンティクスを整合させる。このアプローチは、厳密な画像の整合や同期に関する制約を緩和するため、完全なレジストレーション（位置合わせ）が利用できないデータセットにも適している。
• 学習データ: 蒸留には、4つの異なる環境にわたる5つのデータセット（Urban: ViVID++, STheReO, Freiburg; Aerial: Boson Nighttime; Indoor; Off-road）の組み合わせが利用される。

B. TartanRGBT プラットフォームおよびデータセット

既存のRGB-熱（RGB-T）データの多様性のギャップに対処するため、著者らは以下を開発した。

• TartanRGBT プラットフォーム: オープンソースの、ハードウェア同期されたデータ収集ペイロードである。これは、キャプチャカードからのトリガーパルスを介してすべて時刻同期された、ZEDx ステレオRGBカメラと2台の FLIR Boson 640+ ステレオ熱カメラを統合している。システムは NVIDIA Jetson AGX Orin 上で動作し、アクティブ冷却を備えたカスタム3Dプリントケースに収められている。
• TartanRGBT データセット: 住宅地/キャンパス（urban）、屋内（indoor）、オフロード（off-road）、およびトレイル/公園（trails/parks）の4つの環境で収集された、16,943組の同期されたRGB-Tペアを含む、多様でバランスの取れたデータセットである。
• データ処理: データセットには、ステレオRGB、ステレオ熱、およびIMUデータが含まれる。学習用には、RGBから高密度深度を推定するために FoundationStereo を使用して登録されたRGB-Tペアを生成し、それを用いて熱ピクセルを逆投影および整列させる。

C. ダウンストリームタスクへの適応

AnyThermalは、タスク固有のヘッドと組み合わされた特徴抽出器として評価される。

• クロスモーダル場所認識 (VPR): 三つ組マージン損失（triplet margin loss）で学習されたSALADヘッドを使用する。
• 熱セグメンテーション: Dice損失で学習された2層の非線形MLPヘッドを使用する。
• 単眼熱深度推定: MiDaSフレームワークを適応させ、EfficientNetバックボーンをAnyThermalに置き換え、マルチスケールパッチ特徴を利用する。

3. 主な貢献

1. AnyThermal: バックボーンのタスク固有の事前学習なしに、多様な環境とタスクにわたって最先端の性能を達成する、タスク非依存の熱特徴抽出器。
2. TartanRGBT プラットフォーム: 同時に同期されたステレオRGBおよびステレオ熱画像をキャプチャするための、初のオープンソースのデータ収集プラットフォーム。
3. TartanRGBT データセット: 熱研究のためのデータ多様性のギャップを埋めるために設計された、屋内、航空、オフロード、および都市の設定をカバーする、多様でバランスの取れたデータセット。

4. 結果

著者らは、ゼロショットおよびタスク固有のベンチマークにおいてAnyThermalを評価し、既存のベースラインに対して大幅な改善を示した。

• クロスモーダル場所認識: 多様なゼロショットデータセット（CART, MS2, OdomBeyondVision）において、VPRヘッドを備えたAnyThermalは、凍結されたDINOv2、ImageBind、およびSGMを含むすべてのベースラインを上回った。特筆すべきは、特定の環境においてベースラインと比較して Recall@1 で最大36%の向上を達成したことである。この結果は、凍結されたRGB抽出器が熱クエリに対して最適ではないこと、および多様なデータによる蒸留が極めて重要であることを強調している。
• 熱セグメンテーション: MF-Netデータセットにおいて、AnyThermalは 53.47% の mIoU を達成し、従来の最高値（MCNETの51.95%）を上回ると同時に、NVIDIA ORIN AGX上で 3.6倍高速（6.79 FPS 対 1.88 FPS）に動作した。
• 単眼深度推定: MS2データセットにおいて、AnyThermalはEfficientNet-lite3および凍結されたDINOv2バックボーンと比較して、最も低い誤差指標（AbsRel: 0.0883）を達成した。
• データの多様性 vs スケール: 学習データのスケーリングに関するアブレーション研究により、単に類似したドメイン（例：より多くの都市データ）のデータを追加しても収穫逓減が生じることが明らかになった。対照的に、多様な TartanRGBT データセットを追加することは、すべてのタスクと環境において一貫して性能を向上させた。これは、堅牢な熱特徴抽出器を構築するためには、データのスケールよりもデータの多様性がより重要であることを裏付けている。

5. 意義と主張

本論文は、AnyThermal が、豊富なRGB基盤モデルと不足している熱データの間のギャップをうまく埋めることに成功したと主張している。多様な環境にわたる知識蒸留を活用することで、著者らは、バックボーン自体のタスク固有の学習を必要とせずに、単一の熱バックボーンが場所認識、セグメンテーション、深度推定といったタスクに効果的に汎用できることを実証した。

TartanRGBT プラットフォームおよびデータセットの導入は、高品質で同期されたRGB-Tデータを収集するための研究コミュニティの障壁を下げるための基礎的なステップとして提示されている。著者らは、自らの研究が、環境固有の狭いモデルから、ユニバーサルで堅牢な表現へと熱知覚のパラダイムを移行させる新たな標準を確立するものであると断言している。結論として、データのスケーリングによる性能向上は存在するものの、汎用性の主要な推進力は学習環境の多様性であり、これはTartanRGBTを含む多様なデータセットで学習されたモデルの優れた性能によって検証された原則であるとしている。