Look Up and Look Back: Hidden Attention and Latent Orientation in a Frozen Foundation Model for Panoramic SLAM

技術要約: HALO-SLAM

問題提起
単眼パノラマ同時自己位置推定および地図作成（SLAM）は、大きなカメラ回転下での大幅な視覚的重複を通じて、場所の認識やループクローズを支援するという大きな利点を提供します。しかし、既存のシステムは主に3つの課題に直面しています。

1. 幾何学的歪み: 正距円筒図法（ERP）は空間的に変化する歪みを導入します。カメラの傾き（ロールおよびピッチ）は、シーンのコンテンツを異なるサンプリングパターンを持つ領域へと移動させ、局所的な幾何学予測を不安定にします。
2. ドリフトと一貫性: 長い単眼シーケンスは、ポーズおよびスケールのドリフトに対して脆弱です。既存の手法は、長期間にわたるグローバルな一貫性を維持することに苦慮する、手作業による設計または学習された記述子に依存することがよくあります。
3. ループクローズの限界: 外観ベースの検索は、冗長的または知覚的な曖昧さ（perceptually aliased）を持つ候補を生じさせることがあります。すべての候補を密な幾何学で検証することは計算コストが高く、また、フィードフォワード再構成モデル（PanoVGGTなど）は、通常、持続的な長期状態やループクローズの決定メカニズムを欠いています。

近年の幾何学基盤モデル（PanoVGGTなど）は、位置情報のない画像からカメラのポーズやシーンの幾何学を予測できますが、これらを長シーケンスSLAMに適応させるには、方位の正規化（canonicalization）、保守的なループ検証、および独立して再構成されたサブマップのグローバルな整合を実現する必要があります。

手法: HALO-SLAM
著者らは、凍結された（frozen） PanoVGGTバックボーンを再利用するオフライン・パノラマSLAMシステムであるHALO-SLAM（"Look Up and Look Back"）を提案しています。基盤モデルをファインチューニングする代わりに、本システムは明示的な幾何学的出力を超えた有用な内部キューを抽出します。パイプラインは主に4つのステージで構成されます。

1. 重力誘導による垂直正規化 ("Look Up"):

   • 概念: 著者らは、PanoVGGTの中間トークンが、パノラマ幾何学推論に必要な重力の手がかり（水平線、地面、垂直構造物）をエンコードしているという仮説を立てています。
   • 実装: 凍結されたバックボーンに、軽量で学習可能な「重力ヘッド」を付加します。これは、レイヤー34のパッチ・トークンを処理し、カメラフレーム内における正規化された下方への重力方向を予測します。
   • 効果: これにより、IMUフリーの球面垂直正規化が可能になります。カメラフレームを標準的な下方軸に合わせることで（角度偏差によって閾値設定）、ERP入力を正規化し、基盤モデルへの入力を安定させ、ロールおよびピッチに対する感度を低減します。

2. カスケード型ループ検証 ("Look Back"):
   計算コストと堅牢性のバランスをとるため、システムはループクローズのために3段階のカスケードを採用しています。

   • ステージ1: イベントレベルの検索: DBoW2を使用して時間的に離れたキーフレームのペアを検索し、続いてERP球面方位角を用いた回転のみのRANSACにより、ペアを「ループイベント」へとグループ化します。
   • ステージ2: アテンションに基づくフィルタリング: 保持されたペアは、デコーダーのレイヤー34まで共同で処理されます（完全な幾何学予測なし）。中間トークンを用いて、相互アテンション適合度スコアが計算されます。高い相互アテンションスコア（$\alpha_{match} \ge 0.95$）を持つ候補のみが保持されます。これは、高価な幾何学的検証を行う前に、知覚的な曖昧さを除去するための保守的なフィルタとして機能します。
   • ステージ3: 密な幾何学的検証: 生き残ったペアは、対称的なサブマップ拡張が行われます。各キーフレームを反対側のサブマップに挿入し、両方のローカルゲージで再構成します。これにより、ピクセル単位で整合した3D–3D対応関係が得られます。ERPのサンプリング歪みを考慮した**立体角（solid angle）**によって重み付けされたロバストな指標を用い、インライア比率を検証します。

3. グローバルSim(3)レジストレーションおよび最適化:

   • 受理された再訪（revisits）は、ロバストな相対的**Sim(3)**制約へと変換されます。
   • システムは、ノードがグローバルなSim(3)ゲージ内のサブマップを表すグローバル・ポーズグラフを構築します。
   • 連続的な制約およびループ制約は、グローバルに一貫した軌道と整合されたローカルサブマップを復元するために、ロバストな損失関数を用いてGTSAMによって共同で最適化されます。

主な貢献

1. 基盤モデルを用いた初の長シーケンス・フレームワーク: HALO-SLAMは、長シーケンスのグローバルな一貫性のために、フィードフォワード・パノラマ幾何学基盤モデル（PanoVGGT）上に構築された、最初の堅牢なパノラマSLAMフレームワークです。
2. IMUフリーの重力デコーディング: 凍刻されたパノラマ幾何学表現からカメラフレームの重力をデコードするメカニズムを導入し、バックボーンの適応やIMUセンサーなしでのERP正規化を実現しました。
3. コスト意識型のループ・パイプライン: イベントレベルの検索、中間トークンのアテンション・フィルタリング、対称的な密な幾何学検証、および立体角に整合したSim(3)レジストレーションを組み合わせた、新しいループクローズ・パイプラインを提示しています。

実験結果
本手法は、5つのベンチマーク（Holo360D, PanoVILD, PAIR360, 360-VIO, 360Loc）にわたる125の現実世界の単眼ERPシーケンスで評価されました。

• 成功率: HALO-SLAMは、規定の基準の下で**100%のシーケンス成功率（125/125）**を達成し、すべてのベースラインを上回りました。
• 精度: すべての5つのベンチマークにおいて、最も低い絶対軌跡誤差（ATE）を達成しました。
  • 最良のERPネイティブ・ベースライン（360DVO）と比較して、HALO-SLAMはATEを30～88%削減しました。
  • PanoVGGT-SLAM（基盤モデルの最小限の適応版）と比較して、HALO-SLAMは、PanoVGGT-SLAMが成功したサブセットにおいてATEを14.25mから0.73mに減少させ、さらにPanoVGGT-SLAMが失敗したすべてのシーケンスにおいて成功しました。
• 重力推定: 重力出力は平均角度誤差**2.55°**を達成し、専用の重力推定ベースライン（例：VectorUp, DPF-angle）を上回り、グラウンドトゥルースの重力を用いるオラクル性能の86～90%を回復しました。
• アブレーション研究:
  • 重力正規化を除去すると、全体でATEが24.6%増加し、高傾斜シーケンスでは57.2%増加しました。
  • アテンション・フィルタを除去すると、ATEが90%増加（1.35mから2.57mへ）し、ループの精度が98.6%から94.6%に低下しました。
  • 対称的な拡張は、片側拡張と比較してATEを15.1%改善しました。
  • RANSACおよびUmeyama適合における立体角整合的な重み付けは、最適な精度を得るために極めて重要でした。

意義と主張
本論文は、凍結された基盤モデルには、バックボーンのファインチューニングなしでも、堅牢な長シーケンスSLAMシステムを構築するのに十分な潜在的キュー（重力方向および相互アテンション）が含まれていることを、HALO-SLAMが実証していると主張しています。本システムは、パノラマSLAMの失敗モードに対処しています。

• 局所的不安定性: IMUフリーの重力正規化によって解決。
• グローバルなドリフト: 早期に偽陽性を排除し、幾何学的整合性を密に検証する、コスト意識の高いループクローズ・パイプラインによって解決。
• スケールおよび方位の曖昧さ: 立体角整合的な制約を用いたSim(3)最適化によって解決。

著者らは、HALO-SLAMを、幾何学的事前知識を活用して堅牢でグローバルに一貫したロボット知覚を実現するためのステップとして位置づけており、特に「Look Up」（重力のデコード）と「Look Back」（アテンションによるフィルタリング）が、フィードフォワードモデルを逐次的なタスクに適応させるための重要なメカニズムであることを強調しています。