技術要約: NoDrift3R

問題提起

フィードフォワード型の3D Gaussian Splatting (3DGS) は、高速なシーン再構成のためのパラダイムとして台頭しているが、**ポーズフリー（pose-free）**なバリアントは、長い画像シーケンスを処理する際に決定的なボトルネックに直面している。主な問題は、累積的なカメラポーズ推定のドリフトである。既存のポーズフリーのフレームワークでは、ポーズ推定の誤差が幾何学的モデリングへと伝播して3D表現を歪ませる一方で、シーン構造の不正確さがポーズ予測をさらに劣化させる。このフィードバックループによりドリフトが蓄積され、時間の経過とともにレンダリングの忠実度と幾何学的整合性を著しく制限することになる。

さらに、本論文はポーズフリーのパラダイムに固有の学習の不安定性についても指摘している。Structure-from-Motion (SfM) に基づく疑似グラウンドトゥルースのポーズはセンサーノイズを導入するが、純粋なレンダリングベースの教師あり学習は、幾何学とポーズの結合された最適化により、最適化の不安定性と局所解をもたらすことが多い。これを安定化させようとする既存の手法（例：ティーチャーフォーシングやカリキュラム学習）は、特に広い時間的範囲やオーバーラップの少ない視点へと拡張する場合において、安定性と微細な精度のバランスを取ることに苦慮している。

手法

著者らは、ドリフトを抑制するために幾何学と外観を明示的に結合するように設計された、相乗的なポーズフリーフレームワークである NoDrift3R を提案している。その手法は、以下の3つのコアコンポーネントで構成される。

1. Raymap-Guided Coupling (RGC) モジュール

画像から直接Gaussian表現を予測する（ポーズを無視する）手法や、低次元のポーズパラメータに条件付ける（情報のボトルネックを生む）手法とは異なり、NoDrift3RはRaymap-Guided Coupling Moduleを導入している。

• メカニズム: モデルは各ビューに対して、各ピクセルのレイ方向 ($r$) と原点 ($o$) をエンコードした高密度なレイマップ ($R \in \mathbb{R}^{H \times W \times 6}$) を予測する。
• 幾何学的アンカリング: Gaussianの中心 ($p_j$) は、予測されたレイマップと深度マップ ($D$) を用いて、2Dピクセルから3D空間へと明示的にリフトアップされる：$p_j = o_j + D_j \cdot r_j$。
• 相乗的最適化: この設計は、双方向のフィードバックループを作成する：
  • 外観 $\to$ 幾何学: RGB再構成損失がレンダリングプロセスを通じて逆伝播し、レイマップと深度を洗練させ、幾何学をシャープにする。
  • 幾何学 $\to$ 外観: レイマップ損失がレイ方向を制約し、Gaussianの空間分布が幾何学的に一貫していることを保証し、それが結果としてレンダリング品質を向上させる。
• 目的関数: 全体の損失は、RGB再構成 (MSE + LPIPS)、カメラ正則化 (Huber loss)、およびレイマップの一貫性 (L1 loss) を組み合わせたものであり、幾何学と外観が互いに強化し合う統一された目的関数を形成する。

2. Dual-Frequency Viewpoint Scheduling

広い時間的範囲における学習の不安定性に対処するため、著者らは「容易な（オーバーラップが高い）」ペアと「困難な（オーバーラップが低い）」ペアのバランスを取る、カリキュラムベースのサンプリング戦略を導入している。

• 境界付きオーバーラップ認識カリキュラム: ターゲットとなるオーバーラップの閾値を徐々に変化させることで、モデルをより広い視点間隔（高オーバーラップから低オーバーラップへ）に段階的に露出させる。過度に疎な教師あり学習を防ぐために、スパース性の上限 ($g_{max}=15$) が適用される。
• Stochastic Replay Regularization: 線形拡張戦略における一般的な失敗点である、小間隔（高オーバーラップ）サンプルでの性能低下を防ぐため、スケジューラにはリプレイメカニズムが含まれている。学習の後半では、50%の確率で小間隔のペア ($g \in [6, 10]$) をサンプリングする。これにより、モデルが長距離の依存関係を学習しながら、局所的な幾何学的一貫性を維持することを保証する。

3. アーキテクチャ

フレームワークは、ビュー・トークンを処理するために単一のマルチビュー・トランスフォーマー・バックボーン（DINOv2に基づく）を利用する。これは、レイマップ、深度マップ、およびカメラパラメータを共同で予測するDual-DPTヘッドを採用し、続いてリフトアップされた3D位置にアンカリングされた属性（不透明度、色、スケール、回転）を予測するGaussianヘッドへと続く。

主な貢献

1. 長シーケンスのボトルネックの特定: 本論文は、累積的なポーズドリフトが長シーケンスにおける再構成品質を制限する主要因であることを確立し、純粋なレンダリングベースの教師あり学習が不安定性を招くことを示している。
2. Dual-Frequency Viewpoint Scheduling: 容易な間隔から困難な間隔への拡張と、小間隔サンプルに対するリプレイメカニズムを組み合わせた新しい学習スケジュールであり、任意のフレーム間隔にわたって最適化を安定させる。
3. 相乗的な「レンダリングから幾何学へのゲイン」: 3DGSのレンダリングによる教師あり学習と、明示的なレイマップ制約を密接に結合させたフレームワーク。この双方向の結合は、複雑な補助損失なしにパラメータの曖昧さを解消し、ドリフトを抑制し、レンダリングの忠実度とカメラポーズ精度の両方において最先端（SOTA）の性能を達成する。

実験結果

DL3DV、RealEstate10K (RE10K)、および ScanNet++ データセットを用いて広範な実験が行われた。

• 新規視点合成 (NVS): DL3DVにおいて、NoDrift3Rは既存のポーズ依存型（MVSplat, DepthSplat）およびポーズフリー型（NoPoSplat, AnySplat, YoNoSplat）の手法を一貫して上回った。24ビューの設定において、従来の最高性能のポーズフリー手法（YoNoSplat）に対し、PSNRを1.6 dB向上させた。
• ポーズ推定: 本手法は、すべてのビュー設定において優れたカメラポーズ推定精度（AUC@5°, 10°, 20°で測定）を達成した。この改善は長シーケンス（12v/24v）で最も顕著であり、効果的なドリフト抑制を証明している。
• 汎化性能:
  • クロスデータセット: DL3DVで学習されたモデルは、ファインチューニングなしでScanNet++においてSOTAの性能を達成した。
  • ゼロショット: DL3DVで学習しRE10Kでテストした場合、5°および10°のポーズ誤差閾値において最高の性能を達成し、強力な転移可能性を示した。
• アブレーション研究:
  • レイマップによる幾何学ガイドまたはレイマップ損失を除去すると、ポーズ精度とレンダリング品質が著しく低下し、双方向結合の必要性が確認された。
  • スケジューラにおけるリプレイメカニズムを除去すると、長距離の性能が向上する一方で短距離の一貫性が犠牲になるというトレードオフが発生したが、リプレイメカニズムによって両者のバランスが取れることが示された。

意義と主張

本論文は、**明示的に設計された幾何学と外観のシナジー（相乗効果）**こそが、スケーラブルでドリフトに強いポーズフリーのフィードフォワード3D再構成の鍵であると主張している。Gaussianの中心をレイマップ由来の幾何学にアンカリングすることで、フレームワークは自己強化的な学習ダイナミクスを生み出し、長いシーケンスや広い視点間隔にわたって最適化を安定させる。著者らは、このアプローチがポーズフリー3DGSにおける安定性と精度の根本的なトレードオフを解決し、カメラポーズが利用できないシナリオにおいても高忠実度の再構成を可能にすると断言している。

本研究は、累積的なドリフトや最適化の不安定性に悩まされる現在の手法の限界を超え、長時間のポーズのないシーケンスにおけるフィードフォワード3D再構成を実用的なものにするための重要な一歩として提示されている。