技術概要：深度推定によるサーマルガウススプラッティングの大幅強化

問題定義

自律走行、ロボティクス、監視における応用にとって、効率的かつ頑健な 3 次元シーン表現は不可欠である。3D ガウススプラッティング（GS）は RGB データを用いた新規視点合成（NVS）において最先端のパフォーマンスを達成しているが、可視光への依存性により、低照度、霧、煙などの劣悪な環境では脆弱である。既存のマルチモーダルアプローチは頑健性を向上させるためにサーマルデータを統合しようとするが、これらの手法は往々にして RGB とサーマルのモーダルを融合することに依存している。この融合は以下のような重大な課題をもたらす：

1. 複雑性と速度： マルチモーダルデータを組み合わせることでトレーニングプロセスが低速化し、パイプラインが複雑化する。
2. アライメント問題： サーマルカメラと RGB カメラの正確な共登録が必要であり、これを達成するのは困難である。
3. 依存性： 現在のサーマルベースの GS フレームワークは、教師信号または共同最適化のために依然として RGB 画像に依存することが多く、真に独立したサーマル表現システムの確立に失敗している。
4. データ特性： サーマル画像は本質的にコントラストの低さ、テクスチャの希薄さ、不均一な輝度に悩まされており、幾何学的制約なしに純粋なサーマル教師信号を不安定にする。

著者らは、文献において以下のギャップを特定している：高品質かつ効率的を維持しつつ、単一のサーマル赤外線データ（単一モーダル）のみを使用して 3 次元再構成を成功裡に行う既存のフレームワークは存在しない。

手法：サーマルから深度へのガウススプラッティング（TDg）

本論文は、可視光への依存を排除し、サーマル画像と深度推定のみから放射場を導出する、自己完結型のフレームワークTDgを提案する。中核的な革新は、二重ラスタライゼーションを通じて最適化される統合された 3D ガウス表現である。

中核アーキテクチャ

TDg は、異なるモーダルごとに別々のモデルを維持するのではなく、シーンを表現するために単一の 3D ガウス集合 $G = \{\mu_i, \Sigma_i, \alpha_i, c_i\}$ を利用する。

• 統合表現： 各ガウスは、位置（$\mu$）、共分散（$\Sigma$）、不透明度（$\alpha$）、およびサーマル放射特性（$c$）によってパラメータ化される。
• 二重レンダリング： 最適化中、統合モデルは 2 つの出力にレンダリングされる：
  1. サーマル画像： 放射特性 $c_i$ を使用。
  2. 深度マップ： カメラ空間におけるガウス中心の Z 座標を使用。

主要コンポーネント

1. サーマルから深度への推定：

   • サーマル誘導型深度推定器（$f_\theta$）、具体的には Marigold モデルが、入力サーマル画像（$I_{Th}$）から直接密な深度マップ（$D$）を予測する。
   • これにより、テクスチャの希薄な領域における純粋なサーマル教師信号の不安定性に対処するため、サーマル放射場の 3 次元分布を制約する幾何学的事前分布が提供される。

2. 損失関数：

   • サーマル損失（$L_{thermal}$）： ピクセル忠実度（$L_1$）、構造的類似性（SSIM）、および滑らかさ項（$L_{smooth}$）を組み合わせる。滑らかさ項は、ほとんどのサーマルシーンが緩やかな温度勾配を示すという物理的特性を活用し、不自然な急激な温度変化にペナルティを課す。
   • 深度損失（$L_{depth}$）： 単眼深度推定はスケールとシフトの曖昧さに悩まされるため、予測深度とレンダリング深度の両方を $[0, 1]$ に Min-Max 正規化する。損失は、正規化されたマップ間の $L_1$ 距離と SSIM の組み合わせである。

3. 逐次共同最適化：

   • 希薄なサーマルテクスチャに起因するトレーニングの不安定性に対処するため、著者らは逐次戦略を採用する。
   • トレーニング初期： 推定された深度事前分布に基づく構造的正確性を強制するため、深度損失の重みは高い。
   • トレーニング後期： 深度損失の重みが線形に減衰（$w_{decay}$）し、モデルが光度忠実度と微細なサーマル詳細に集中できるようにする。
   • 総損失は以下のように定式化される：$L_{total} = L_{thermal} + w_{decay}(t) \cdot \lambda_{depth} \cdot L_{depth}$。

初期化に関する注記

中核的なレンダリングと最適化はサーマルデータのみに依存しているが、著者らは、初期の疎な点群が現在、構造から運動（SfM/COLMAP）を使用して RGB 画像から導出されていることを認めている。これは、標準的な SfM 特徴抽出に必要な高周波特徴がサーマル画像に欠如しているため必要である。ただし、最適化および放射場の導出は純粋にサーマルである。

主要な貢献

1. サーマルから深度へのガウススプラッティング（TDg）： 深度推定をアーキテクチャに直接統合した、新規かつ純粋にサーマルベースの GS アプローチ。
2. サーマル誘導型深度モジュール： 推定されたサーマル画像からの深度を使用して幾何学的分布を制約し、主要な最適化段階における RGB 教師信号の必要性を排除する、GS 内に統合されたモジュール。
3. 包括的な評価： 最先端の 2 つのデータセットRGBT-ScenesおよびThermalMixにおけるMSMG（Multiple Single-Modal Gaussians）ベースラインに対する TDg の厳密なベンチマーク。

実験結果

著者らは、RGBT-Scenes および ThermalMix データセットの 14 シーンで TDg を評価し、MSMG ベースラインとの性能を比較した。

• レンダリング品質：

  • PSNR： TDg は平均27.42を達成し、ベースライン（27.18）を**0.01%**上回った。
  • SSIM： TDg は0.8899を達成し、ベースラインに対して**0.034%**の改善を示した。
  • LPIPS： TDg は0.175を達成し、ベースラインに対して**1.12%**の改善（低いほど良い）を示した。
  • 定性的な結果は、特に低照度条件（「暗いシーン」）において、より良い解像度とより少ないアーティファクトを示した。

• トレーニング効率：

  • TDg は、シーンあたりのトレーニング時間を平均12 分 47 秒大幅に削減した。
  • これはベースラインと比較して**55%**の速度向上を表す。
  • 効率の向上は、明示的な空間勾配を提供することでベースラインで一般的であった「浮遊物」（空の空間における過剰で非効率的な増密）を防ぐ深度誘導型教師信号に起因する。

• 失敗事例：

  • ランダム初期化： COLMAP ベースの幾何学的事前分布なしでは、モデルは新規視点に一般化できず、重度の過学習（PSNR が約 9.6 まで低下）を引き起こす。
  • 遮蔽領域： 360 度のサーマル撮影が不可能な大規模構造（例：建物）において、この手法は困難に直面し、観測されていない背面ファサードの再構成が不十分になる。

意義と主張

本論文は、TDg が、中核的な放射場の導出における RGB データへの依存を排除することで、サーマルイメージングと効率的な 3 次元再構成の間のギャップを成功裡に埋めたと主張している。

• 頑健性： この手法は可視光に依存しない 3 次元シーン表現を可能にし、照明条件が劣悪または変動する監視、捜索救助、産業検査に適している。
• 効率性： 単一モーダルと深度誘導型最適化を活用することで、マルチモーダル融合アプローチと比較して収束を加速し、処理パイプラインを簡素化する。
• 応用可能性： 生成されたサーマル放射場はデジタルツインとして機能するか、既存のものを拡張し、マルチモーダルハードウェアの同期なしに、新規視点から熱源（人、機械）の特定および熱移動挙動の分析を可能にする。

著者らは結論として、サーマル画像のみが強力な構造的シグナルを提供する一方で、推定された深度の統合は最適化プロセスを導くために不可欠であり、単一モーダルフレームワークにおいて幾何学的正確性と光度忠実度を効果的にバランスさせることを述べている。