FVO: Fast Visual Odometry with Transformers

技術的概要：トランスフォーマーを用いた高速視覚オドメトリ（FVO）

問題定義
視覚オドメトリ（VO）は、ビデオシーケンスからカメラの軌跡を推定することを目的としている。深層学習と古典的な最適化（例えば、バンドル調整）を組み合わせるハイブリッドパイプラインは高い精度を達成しているが、重大な制限を伴う。これらの手法は、しばしば大規模で事前学習された 3D バックボーンに依存しており、これらは凍結されておりスケール不確定性を有するため、絶対スケールの推定不能という欠点を継承する。さらに、バンドル調整や特徴量マッチングなどの後処理工程への依存は、推論速度におけるボトルネックを生み出し、既知のカメラ内部パラメータを必要とするが、これは実世界の展開においてしばしば利用できない。純粋なエンドツーエンドアプローチは高速であるが、歴史的に精度と頑健性の面で遅れをとってきた。課題は、カメラ内部パラメータやテスト時の最適化を必要とせず、重厚な後処理なしで正確にメトリックスケールを推定でき、かつ高速でスケーラブルな単眼 VO システムを開発することにある。

手法
著者らは、従来の後処理をトランスフォーマーベースのアーキテクチャに置き換える直接相対姿勢回帰フレームワークである**Fast Visual Odometry（FVO）**を提案する。

• アーキテクチャ: FVO の核心は、エンドツーエンドの構造化予測のために設計されたトランスフォーマーモデルである。これは、DUSt3R フレームワーク内の CroCo アーキテクチャに基づく凍結された事前学習済み画像エンコーダーを用いて、入力フレームから視覚特徴を抽出する。これらの特徴は、$L$個の反復ブロックからなる時空間デコーダーによって処理される。
  • 時空間アテンション: デコーダーは、因数分解されたアテンション機構を採用する。まず、時間的アテンションが、同じ空間位置におけるフレーム間での情報を集約する。その後、空間的アテンションが、フレーム内の異なる空間位置間での通信を可能にする。
  • カメラ埋め込み: 姿勢推定のために特に情報を集約するための学習可能なカメラ埋め込みが導入される。重要なのは、これらの埋め込みは時間的アテンションへの注入が性能を低下させることが判明したため、空間的アテンション層内でのみ統合される点である。
• 相対姿勢回帰: モデルは、連続するフレーム間の相対カメラ変換（$SE(3)$）を直接予測する。出力には、回転行列、並進ベクトル、およびそれらに対する信頼度スカラーが含まれる。
  • 回転の処理: 有効な回転を確保するため、予測された生回転行列は、特殊直交プロクラステス問題を用いて$SO(3)$多様体上に射影される。
  • 不確実性認識学習: ピクセルごとの信頼度ラベルを使用する代わりに、FVO はヘテロスケダスティックな不確実性定式化を採用する。ネットワークは、自己教師あり学習の手法で回転と並進に対する信頼度スコア（$c_R, c_t$）を予測することを学習する。損失関数は、過信した低精度の予測にペナルティを課し、不確実な残差の重みを下げることで、明示的なラベルなしにモデルが信頼度を学習することを可能にする。
• 推論モジュール: 単眼 VO における誤差蓄積の問題に対処するため、FVO は重なり合うウィンドウ方式を利用する。入力ビデオは重なり合うウィンドウに分解され、モデルはそれぞれに対して相対姿勢を予測する。信頼度認識型推論モジュールがこれらの重なり合う予測を集約する。予測は、学習された信頼度スコア（softmax 正規化を介して重みに変換されたもの）によって重み付けされ、平均化される。回転は$SO(3)$上の重み付きフレシェ平均を用いて平均化され、並進は線形的に平均化される。このプロセスは外れ値の影響を軽減し、大域的最適化なしに滑らかで大域的に整合性の取れた軌跡を生成する。

主な貢献

1. FVO パイプライン: 複数のベンチマークで競争力のある性能を達成しつつ、最速のベースラインと比較してほぼ$2$倍高速に動作する、効率的なエンドツーエンドの単眼視覚オドメトリパイプライン。
2. トランスフォーマーベースの直接回帰: 画像シーケンスから直接相対カメラ姿勢と信頼度推定値を予測する新規ネットワークアーキテクチャ。信頼度は姿勢注釈のみを必要とする自己教師あり学習で学習される。
3. 信頼度認識型推論: 学習された信頼度重みを用いて重なり合う姿勢予測を集約し、バンドル調整やカメラ較正を必要とせずに誤った予測を効果的に軽減する、頑健な軌跡復元モジュール。

実験結果
本手法は、ARKitScenes、ScanNet、KITTI、TUM_RGBD（ゼロショット）を含む多様な屋内および屋外データセットで評価された。

• 精度: FVO は、整列済みおよび未整列の絶対並進誤差（ATE）において、最先端または競争力のある性能を達成する。特に、未整列の指標において、大規模 3D モデル（VGGT や CUT3R など）や最適化ベースの手法（DPVO など）を上回り、優れたスケール推定能力を示している。
• 速度: 市販のハードウェア（NVIDIA RTX 3090）において、FVO は既存のベースラインと比較してほぼ$2$倍高速な実行時間を達成する。この効率性は、高価な後処理工程の欠如と、合理化されたトランスフォーマーアーキテクチャに起因する。
• スケーリング: 消融実験により、モデルはトレーニングデータの増加（例：ScanNet への ARKitScenes の追加）およびモデル容量の増加（デコーダー層数の増加）の両方に対して堅牢にスケーリングすることが確認された。
• 設計選択: 空間層におけるカメラトークン付きの特定の時空間アテンション機構、回転のための$SO(3)$射影、およびヘテロスケダスティックな不確実性損失が、性能にとって決定的であることが実験で検証された。

意義と主張
本論文は、十分なデータと組み合わせた際、合理化されたエンドツーエンドアーキテクチャが複雑なハイブリッドパイプラインを代替し得ることを実証することで、FVO が重要な前進を遂げたと主張している。テスト時の最適化、カメラ内部パラメータ、手作業によるコンポーネントの必要性を排除することで、FVO は従来の手法が失敗するか、または遅すぎる状況において、リアルタイムかつ大規模な展開を可能にする。著者らは、自らのアプローチが多様なデータを効果的に活用し、視覚的手がかりから直接単眼スケール不確定性を解決することに成功し、自動運転やロボティクスなどの実用的な応用におけるリアルタイム視覚オドメトリへの堅牢な道筋を提供していると強調している。ただし、モデルは主に静的環境でトレーニングされており、極めて動的な環境では限界に直面する可能性があり、データ選定とモデルのスケーリングに関する将来の作業を提案している。