4RC: 4D Reconstruction via Conditional Querying Anytime and Anywhere

4RC の技術的概要：条件付きクエリによる任意の場所・任意の時刻での 4 次元再構成

問題定義
近年の学習ベースのアプローチは、単眼動画からの 3 次元再構成を進展させてきた（例：DUSt3R、VGGT）が、それらの多くは静的な幾何学に焦点を当てている。現実世界のシーンには本質的に動的な性質があり、3 次元構造と時間的進化を同時に推論できるシステムが必要とされる。既存の 4 次元再構成手法には重大な限界が存在する：多くの手法は運動推定と幾何学再構成を分離しており、多段階パイプラインや反復的洗練に依存している（例：SpatialTracker、MonST3R）。他の手法は、ペアワイズ視点に限定されている（ST4RTrack）、正準フレームに対する相対的な運動のみを予測する（Any4D）、あるいは長距離の軌道モデリングのために幾何学的精度を犠牲にしている（TraceAnything）。さらに、V-DPM などの手法は、推論中のグローバル集約により高い計算コストを伴うことが多い。密なシーン幾何学と運動ダイナミクスを条件付きクエリ機能で柔軟に統合的にモデル化できる、統一されたフィードフォワードフレームワークが存在しない。

手法
著者らは、単眼動画から 1 回のパスで完全な 4 次元属性（3 次元幾何学＋運動）を再構成するように設計された、統一されたフィードフォワードトランスフォーマーフレームワークである4RCを提案する。

• 中核的パラダイム：4RC は、「一度符号化し、任意の場所・任意の時刻でクエリ可能」というパラダイムを導入する。トランスフォーマーバックボーンが動画シーケンス全体をコンパクトな時空間潜在空間に符号化する。条件付きデコーダは、動画を再符号化することなく、任意のソースフレームから任意のターゲット時刻までの 3 次元幾何学と運動を効率的にクエリする。
• アーキテクチャ：
  • エンコーダ：ビジョントランスフォーマー（ViT）に基づき、幾何学用の専用カメラトークンと時間的条件付け用の時間トークンで拡張されたパッチ化された動画フレームを処理する。これにより、統合された 4 次元潜在表現 $\mathcal{F}$ が生成される。
  • 条件付きデコーダ：デコーダは 2 つのヘッドに分割される：
    • 幾何学ヘッド：デュアル DPT 設計を採用し、任意の入力フレームに対するフレームごとの深度、レイマップ、カメラパラメータを予測して、基本となる 3 次元幾何学（$P_i^{t_i}$）を再構成する。
    • 運動ヘッド：軽量なトランスフォーマーデコーダであり、クエリフレーム $i$ からターゲット時刻 $\tau$ までの密な 3 次元変位場（$\Delta P_i^{t_i \to \tau}$）を予測する。これは、自己注意、ターゲット空間トークンへのクロス注意、および時間埋め込みで条件付けられた適応的レイヤー正規化（AdaLN）を利用して、複雑な時間的ダイナミクスをモデル化する。
• 因数分解された表現：すべての時間ステップに対して完全な 3 次元点群を予測する代わりに、4RC は最小限に因数分解された出力を採用する。各フレームは、視点不変の基本幾何学と時間依存の相対運動（3 次元変位）として表現される。これにより、静的な形状と動的な運動が分離され、時間的整合性が保証されるとともに、計算上の冗長性が削減される。
• 学習：モデルは、幾何学と運動に対する共同監督によりエンドツーエンドで学習される。損失関数には深度、レイ、カメラ、運動の項が含まれ、アレイロトリック不確実性重み付けおよび勾配ベースの制約（空間的および時間的）を利用して、滑らかさと整合性を強制する。

主要な貢献

1. 統一されたフィードフォワードフレームワーク：単一のネットワークが単眼動画から 3 次元幾何学と運動を共同モデル化し、補助推定器やシーンごとの最適化の必要性を排除する。
2. 柔軟なクエリパラダイム：任意のソースフレームから任意のターゲット時刻までの密な 3 次元幾何学と運動の取得を可能にする、新しい「一度符号化し、任意の場所・任意の時刻でクエリ可能」というメカニズム。
3. 最小限に因数分解された表現：4 次元属性を基本幾何学と相対運動に分解し、各ステップで幾何学を再予測することなく、動的シーンの効率的かつ統合的な再構成を可能にする。

実験結果
広範な実験により、4RC が各種ベンチマークにおいて先行および同時代の手法を上回る性能を示すことが実証された：

• 密な 3 次元トラッキング：Kubric および Waymo データセットにおいて、4RC は平均ポイントパーセンテージ（APD）および終点誤差（EPE）において最先端の性能を達成し、特にオクルージョンや非剛体運動の処理において、V-DPM や St4RTrack などの同時代の手法を大幅に上回る。
• 疎なポイントトラッキング：WorldTrack ベンチマーク（ADT、PStudio、PointOdyssey、Dynamic Replica）において、4RC は専門的なトラッキング手法（例：SpatialTrackerV2）および同時代の 4 次元アプローチを上回る。
• カメラ姿勢およびマルチビュー再構成：4RC は TUM-dynamics および ScanNet におけるカメラ姿勢推定（ATE、RPE）でトップクラスの性能を達成し、7-Scenes および NRGBD におけるマルチビュー 3 次元再構成においても精度と完全性の面で優れており、Pi3 などの専門的な 3 次元再構成モデルと競合する。
• 深度推定：このモデルは、Bonn および Sintel データセットにおいて競争力のある動画深度推定結果を達成し、大規模な 3 次元データセットに専ら学習されていないにもかかわらず、専門的な 3 次元再構成手法に匹敵する。

意義と主張
本論文は、4RC がグローバルな時空間モデル化と柔軟なオンデマンド再構成の間のギャップを埋めると主張している。包括的な 4 次元表現を学習することで、この手法は、物体の軌道、変形、相互作用に関する推論を必要とするアプリケーション（動画合成、シーン理解、ロボティクスなど）を、反復的最適化の計算オーバーヘッドやペアワイズ制約の硬直性なしに実現可能にする。著者らは、幾何学と運動を共同推論できる統一モデルが、より汎用的な知覚システムに向けた有望な方向性を表していると位置づけている。