TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

技術サマリー：TrackCraft3R

問題定義
単眼動画からの密な 3 次元トラッキングは、動的なシーン理解、ロボティクス操作、制御可能な動画生成に不可欠である。この分野における根本的な課題は、カメラの自己運動を実質的に相殺しつつ、3 次元世界座標系内での物体運動を復元することである。最近の 3 次元基盤モデルは信頼性の高いフレームごとの幾何学情報を提供するが、時間を超えた一貫した物体運動の復元は依然として困難である。既存の 3 次元トラッカーは一般的に 2 つのカテゴリに分類される：(1) 合成 4 次元データからゼロから訓練される反復型パラダイムであり、現実世界の運動事前知識を欠いている；(2) 静的なマルチビュー画像から学習された事前訓練済み 3 次元復元モデルを微調整するフィードフォワード型アプローチであり、現実世界の動画ダイナミクスから得られる豊かな時間的事前知識を欠いている。

一方、事前訓練済み動画拡散トランスフォーマ（動画 DiT）は、インターネット規模の動画から強力な空間的・時間的事前知識を符号化している。しかし、根本的な不一致が存在する：動画 DiT は通常、フレームアンカー型の出力（各フレームに対して独立してコンテンツを予測する）を生成するのに対し、密な 3 次元トラッキングには参照フレームアンカー型の出力（時間を通じて参照フレームからの同一物理点を追跡する）が必要である。MotionCrafter のような 4 次元復元への拡散モデルの以前の試みは、隣接フレーム間のフレームアンカー型シーンフローに依存しており、特に遮蔽下で誤差蓄積を招く時間的連鎖を必要とする。

手法：TrackCraft3R
TrackCraft3R は、動画拡散トランスフォーマをフィードフォワード型の密な 3 次元トラッカーとして転用する最初の手法である。単眼動画とそのフレームアンカー型復元ポイントマップ（世界座標における 3 次元幾何学を提供する）が与えられた場合、TrackCraft3R は単一のフォワードパスで参照フレームアンカー型のトラッキングポイントマップを予測する。この出力は、最初のフレームのすべてのピクセルとその可視性を時間を通じて追跡する。

中核的な革新は、動画 DiT のフレームごとの生成パラダイムを、2 つの主要な設計を通じて参照フレームアンカー型トラッキング定式化に変換することにある：

1. デュアル潜空間表現：モデルは、動画 DiT への入力として 2 種類の潜空間を利用する：

   • 幾何学潜空間（$g_j$）：各時刻 $t_j$ の RGB フレームと復元ポイントマップから符号化される。これらは各特定の時点におけるシーンの 3 次元幾何学を表す。
   • トラッキング潜空間（$r_j$）：参照フレーム（$I_0$）にアンカーされている。これらは、最初のフレームの幾何学潜空間（$g_0$）をすべての時刻に複製することで生成される。これらは参照フレームで定義された密なクエリ点として機能する。
   • モデルは、これらの潜空間の連結を完全な 3 次元アテンションを用いて処理する。直感的には、トラッキング潜空間は、ターゲット時刻における対応する物理点の 3 次元位置を決定するために、フレームを超えて幾何学潜空間にアテンションを向ける。

2. 時間的 RoPE 整合：各トラッキング潜空間が正しい時刻の幾何学潜空間にアテンションを向けることを保証するため、本手法は 3 次元回転位置符号（RoPE）を採用する。トラッキング潜空間 $r_j$ と幾何学潜空間 $g_j$ の両方に同じ時間インデックス $t_j$ を割り当てることで、アテンション機構が時間的に整合した幾何学に焦点を当てるようにバイアスがかかる。これにより、モデルは参照フレームから時刻 $t_j$ まで追跡された点の正しい 3 次元位置を復元できる。

モデルは、動画 DiT（具体的には Wan 2.1-T2V）に対する LoRA（低ランク適応）微調整を用いて訓練される。絶対的な 3 次元ポイントマップを直接回帰する代わりに、モデルは参照フレームに対する残差トラッキング（$\Delta_j = P_0(t_j) - P_0(t_0)$）を予測し、訓練を安定させる。可視性も同時に予測される。

主要な貢献

1. 3 次元トラッキングへの初の動画 DiT 転用：TrackCraft3R は、標準的なフレームアンカー型生成パラダイムを超えて、動画拡散トランスフォーマをフィードフォワード型の密な 3 次元トラッキングに適応させた最初の手法である。
2. 新規アーキテクチャ設計：本論文は、生成動画モデルと参照フレームアンカー型トラッキングタスクの間のギャップを埋めるために、デュアル潜空間表現と時間的 RoPE 整合を導入する。
3. 最先端の性能と効率性：本手法は、標準的な疎および密な 3 次元トラッキングベンチマークにおいて最先端の結果を達成する。特に、最も強力な先行する反復型手法（DELTAv2）と比較して、1.3 倍高速に動作し、ピークメモリを 4.6 倍削減する。
4. 頑健性：本アプローチは、大きな運動や長尺動画に対して頑健であり、時間的連鎖エラーなしに訓練シーケンス長を超えて汎化する。

結果
ADT、PStudio、Dynamic Replica、Point Odyssey、Kubric などのベンチマークでの評価において、TrackCraft3R は平均 AJ（Average Jaccard）、APD3D（$\delta_{3D}$ 以内の平均点の割合）、OA（遮蔽精度）において最良の結果を達成した。

• 性能：DA3 幾何学推定器を用いる場合、TrackCraft3R は DELTAv2 + DA3 および他のすべてのフィードフォワードベースラインを大幅に上回る。
• 効率性：単一の NVIDIA A6000 GPU において、TrackCraft3R は 12 フレームクリップを 3.91 秒で処理し、ピークメモリは 7.63 GB である。これに対し、DELTAv2 は 5.00 秒、35.46 GB である。
• 長尺動画への頑健性：実験により、時間的ストライドまたは動画長が増加するにつれて、TrackCraft3R の性能低下が反復型手法よりもはるかに緩やかであることが示され、学習された運動事前知識の有効性が確認された。

意義と主張
本論文は、TrackCraft3R が、合成 4 次元データのみ、または静的なマルチビュー復元のみで訓練されたモデルでは通常欠如している、インターネット規模の動画データに内在する豊かな空間的・時間的事前知識を成功裡に活用したと主張する。動画 DiT を転用することで、本手法はフレームアンカー型フロー手法で使用される時間的連鎖に固有の誤差蓄積と、従来のトラッカーの反復計算コストを回避する。

著者は、本手法が任意の 3 次元幾何学推定器（ViPE、DA3 など）と互換性があり、外部の幾何学推定モデルが進展するにつれてトラッカー自体の再訓練なしに性能を向上させ得ると強調している。本手法は外部の幾何学入力に依存するが、生成動画の事前知識と密な 4 次元知覚を統合する重要な一歩を表しており、ロボティクス操作や動的シーン復元への応用における基盤を提供する。論文は控えめに、現在の精度は入力幾何学の品質によって制限されていると指摘し、将来の研究としては単一の統合モデル内で動画と 3 次元トラッキングを共同生成することが考えられると示唆している。