技術要約: LIT-GS

問題提起

既存のLiDAR–Inertial–Visual（LIV）Gaussian Splattingパイプラインによる3Dマッピングは、初期化と最適化においてRGBのフォトメトリックな手がかりに大きく依存している。この依存性は、劇的な照度変化（例：極端な日光、夜間）やテクスチャが乏しい環境において、フォトメトリックな対応関係の品質が低下し、ポーズ推定のエラーや構造的なドリフトを招くため、脆弱である。熱画像は照度に依存しない教師信号を提供するが、既存の熱画像を用いた3D Gaussian Splatting手法は主に新規視点合成に焦点を当てており、密結合されたポーズ/構造の精緻化ループや明示的な幾何学的制約を欠いていることが多く、その結果、メトリックな一貫性を欠くマップや表面の厚みが増すアーティファクトが生じる。

手法

本論文では、LiDAR由来の幾何学を、ポーズ/構造の精緻化とGaussian最適化の両段階において、明示的かつ持続的な制約として強制するように設計された、LiDAR–Inertial–Thermal Gaussian SplattingフレームワークであるLIT-GSを提案する。本システムは、同期されたLiDAR、IMU、および熱データ上で動作し、統一された幾何学認識型最適化フレームワークを利用する。

1. システムアーキテクチャと前処理

• ハードウェア: システムは、PPSトリガーを介して同期されたLiDAR（内蔵IMU付き）、RGBカメラ、および長波赤外線熱カメラを統合する。
• 熱画像の前処理: 長波赤外線熱画像の勾配を強化するために、CLAHE（コントラスト制限適応ヒストグラム平坦化）を適用する。センサーの非一様性補正（NUC）によって生じる重複フレームはスキップされる。
• 特徴量マッチング: キーポイント検出とコンテキスト認識型マッチングのために、SuperPointおよびSuperGlueを採用する。これらはRGB用に学習されたモデルであるが、色彩ではなく構造的勾配に焦ップすることで熱画像に適応させている。

2. 信頼度を考慮したクロスモーダル・アンカリング

LIT-GSは、2種類の視覚的ポイントを区別する：

• アンカー (Anchors): 上流のFAST-LIVO2 LiDAR-inertial-visualエスティメータから派生した、不確実性がタグ付けされた視覚的マップポイント。これらはLiDAR幾何学と密結合しているため、高信頼度の幾何学的アンカーとして機能する。
• 非アンカー (Non-Anchors): 空間的なカバレッジを向上させるために、SuperPoint+SuperGlueのマッチングによって生成される追加のポイント。
  システムはアンカーにより高い重みを割り当て、プラットフォームの線速度および角速度に基づいて、アンカーと非アンカーの寄与のバランスを取るための運動適応型重み付けスキームを使用する。

3. LiDAR平面制約による精緻化

Gaussian最適化の前に、カメラのポーズと三角測量された3Dポイントを共同で精緻化するために、**LiDAR平面制約付きバンドル調整（BA）**が実行される。

• 目的: BAは、熱再投影誤差と重み付けされたLiDAR点対平面残差を組み合わせた統一コスト関数を最小化する。
• メカニズム: 幾何学的項は、3Dポイントと局所的なLiDAR由来の平面との距離にペナルティを課し、熱的な教師信号が弱い状況下でのスケールドリフトと構造的な不整合を効果的に低減する。

4. 幾何学的に正則化されたGaussian最適化

コアとなるレンダリング最適化は、熱的なフォトメトリック忠実度と幾何学的整合性を結合する新しい目的関数を導入する。

• 表現: 3D Gaussianは精緻化された構造から初期化され、アンカーポイントの共分散推定を利用して異方性プリミティブを定義する。
• 放射輝度モデリング: 視点依存の熱放射輝度は、第3次球面調和関数（SH）を用いてモデリングされる。
• 損失関数: 全体の損失 $L$ は、フォトメトリック損失（$Loss_{pho}$）と幾何学的損失（$Loss_{geo}$）の加重和である：
  $$L = (1 - \lambda)Loss_{pho} + \lambda Loss_{geo}$$
  幾何学的損失は、レンダリングされた3Dポイント（レンダリングされた深度から逆投影されたもの）と、関連するLiDAR表面法線との間の点対平面距離に対して具体的にペナルティを課す。
• 適応的制御: 局所的なLiDAR平面から大きく逸脱するGaussian（幾何学的アウトライア）を除去したり、残差の高い領域でプリミティブを分割したりする、プルーニングおよび高密度化戦略を採用する。

主な貢献

1. LIT-GSフレームワーク: LiDARの平面制約をポーズ/構造の精緻化段階とGaussian最適化段階の両方に注入し、照明の変化やテクスチャが困難な条件下でのメトリックな一貫性を向上させる、新しいLiDAR-inertial-thermal Gaussian Splattingシステム。
2. クロスモーダル・アンカリングと精緻化: 不確実性が注釈されたLIVマップポイントを幾何学的アンカーとして利用する、信頼度を考慮したスキーム。このアプローチは、学習された熱的対応関係を、運動適応型重み付けおよびLiDARの点対平面残差を含むバンドル調整フレームワーク内で融合させ、熱とLiDARのアライメントを安定させる。
3. LiDAR平面正則化スプラッティング: 訓練中に局所的なLiDAR平面の一貫性を強制する、微分可能なスプラッティング目的関数。これにより、低コントラストの熱画像で一般的な表面の厚みや構造的ドリフトを抑制しつつ、高いレンダリング忠実度を維持する。

実験結果

著者らは、5つの独自のシーケンスとM2DGRベンチマークからの5つの公開シーケンスを用いて、LIV-GaussMap（RGB-LiDAR）およびThermal3D-GS（熱のみ）と比較してLIT-GSを評価した。

• 定性的性能:

  • LIV-GaussMap: 不安定なRGBフォトメトリックな手がかりにより、低照度または高グレア条件下で構造の喪失やぼけが発生した。
  • Thermal3D-GS: 照明の変化下でも構造を維持したが、明示的な幾何学的正則化を欠いているため、熱的に均質な領域においてエッジのぼけ、表面の歪み、および「表面の厚み」を示した。
  • LIT-GS: すべての照明条件（昼、夜、強い日光）において、一貫してシャープな境界、明確な構造的詳細、および幾何学的に一貫した平面領域を生成した。

• 定量的性能:

  • 幾何学的精度: LIT-GSはほとんどのデータセットで最も低いEarth Mover's Distance（EMD）を達成し、ベースラインと比較して優れた幾何学的一貫性を示した。
  • レンダリング品質: LIT-GSはより高いSSIMとより低いLPIPSスコアを達成し、優れた知覚的品質と構造的忠実度を反映した。
  • アブレーション研究:
    • データ精緻化モジュールを除去すると、PSNR、SSIM、およびEMDが著しく低下し、LiDAR平面制約付きBAの必要性が確認された。
    • 学習された特徴量（SuperPoint+SuperGlue）とCLAHE前処理を使用することは、インライア比およびポーズ精度（ATE）の観点から、手作業による特徴量（ORB, SIFT）よりも優れていた。

重要性と主張

本論文は、LIT-GSが堅牢な熱的教師信号とメトリックな幾何学的一貫性の間のギャップを埋めるものであると主張している。LiDARの幾何学を単なる初期化ツールとしてではなく、Gaussian学習中の持続的な制約として扱うことで、本手法はRGB駆動のマッピングにおける脆弱性と、純粋な熱マッピングの構造的不確定性を克服している。著者らは、LIT-GSを、動的で視覚的に困難な環境における信頼性の高い3D再構成を必要とするロボティクスアプリケーション向けの、軽量で幾何学認識型のソリューションとして位置づけている。この研究は、RGB-LiDARマッピングは良好な照明条件下では優れているが、全照明スペクトルにわたる堅牢性を実現するためには、熱的な手がかりを統合したLiDAR正則化Gaussianフレームワークが不可欠であることを示唆している。