技術要約：ビデオ拡散トランスフォーマーの特徴量の探索と活用によるロバストなポイントトラッキング

1. 問題提起

現在のポイントトラッキング手法は、標準的なベンチマークでは効果的であるものの、本質的に時間的一貫性に欠ける特徴バックボーン（例：ResNet）に依存していることが多く、モーションブラー、高速移動、頻繁なオクルージョンを伴う実世界のシナリオにおいて性能が低下するという課題がある。近年の研究では、DINOv2のような視覚基盤モデル（VFM）を取り入れ始めてはいるが、どのVFMアーキテクチャや学習目的が、高密度な時間的トラッキングに対して最もロバストな表現をもたらすのかを決定付ける系統的な分析は行われていない。さらに、既存のアプローチは、高い性能を達成するために大規模な実世界ビデオデータセットに対する広範な教師あり学習を必要とするのが一般的である。

2. 手法

2.1. VFMの系統的分析

著者らは、ポイントトラッキングに最もロバストなバックボーンを特定するために、多様なVFMのゼロショット評価を実施した。この研究では、以下の観点からモデルを比較した：

• 事前学習モダリティ： 画像のみ vs. ビデオ。
• アーキテクチャ： UNet vs. Transformer。
• 学習目的： 自己教師あり学習（MAE, DINO） vs. 拡散（Diffusion）。
• ベンチマーク： 標準（TAP-Vid-DAVIS）、モーションブラーによる破損（TAP-Vid-DAVIS + ImageNet-C）、および困難な実世界シナリオ（ITTO-MOSE）。

分析からの主要な知見：

• **ビデオ拡散トランスフォーマー（DiT）**は、画像学習モデル（DINOv2, SD3）や、分解されたアテンションを用いるビデオモデル（SVD）、またはMAE目的関数を持つモデル（V-JEPA）を含む、他のすべてのVFMを一貫して上回った。
• CogVideoX-5Bは、トラッキングデータで明示的に教師あり学習されたResNetバックボーンさえも凌駕し、最高の性能を達成した。
• 要因の帰属： ビデオDiTの優位性は、以下の3つの特性に起因する：
  1. 大規模な実世界のビデオ事前学習： 多様な動きや外観の変化への露出。
  2. 完全な3D時空間アテンション： 分解されたアテンションメカニズムとは異なり、空間と時間の両方におけるグローバルな相互作用を可能にする。
  3. 拡散学習目的： ノイズレベル全体にわたってすべてのトークンを再構成するため、MAEのような空間のみの目的関数と比較して、より豊かな対応関係（correspondence）表現を生み出す。
• スケーリング則： 同一のモデルファミリー内において、より大きなモデル（例：WAN-14B vs. WAN-1.3B）は、特に困難な条件下において、一貫して優れたトラッキング性能を示した。

2.2. DiTrackerフレームワーク

この分析に基づき、著者らは、既存のトラッキングパイプライン（具体的にはCoTracker3のヘッドを使用）にビデオDiTの特徴を統合するフレームワークであるDiTrackerを提案する。これは、以下の3つのコアコンポーネントを通じて構成される：

1. クエリ・キー・マッチングコストの計算： ディーパート（DiTracker）は、隠れ状態を使用する代わりに、ビデオDiTのフル3Dアテンション層から直接、クエリ（$Q$）およびキー（$K$）の射影を抽出する。これらの射影は、フレーム間の対応関係を本質的にエンコードしている。マッチングコストは、以下のスケールド・ドットプロダクト・アテンションを介して計算される：
   $$C_{DiT} = \text{Softmax}\left(\frac{q_i k_j^\top}{\sqrt{d_{head}}}\right)$$
2. コストレベルの融合： ビデオDiTは空間的に圧縮された潜在空間（例：$H/16 \times W/16$）で動作するため、標準的なトラッキングヘッドが必要とする微細な空間詳細が不足している。DiTrackerは、DiTのマッチングコストを、より高解像度の特徴を提供する軽量なResNetブランチと融合させる。コストはフラット化され、連結された後、MLPを介してコスト埋め込みへと投影される：
   $$E_j = \text{MLP}([\text{Flatten}(C_{DiT}), \text{Flatten}(C_{ResNet})])$$
   これにより、DiTの事前学習されたマッチング分布を保持しながら、空間の詳細を回復させる。
3. LoRA適応： 生成的な特徴をトラッキングタスクへ効率的に転移するために、著者らは低ランク適応（LoRA）を採用している。凍結されたビデオDiTバックボーンのアテンション層に、学習可能な低ランク行列を挿入する。モデルは、軌跡回帰、可視性分類、および信頼度損失の組み合わせた目的関数を用いて学習される。

3. 主要な貢献

1. 初の系統的分析： 本論文は、ロバストなポイントトラッキングのためのVFM表現に関する初の包括的な研究を提示し、ビデオDiTが、教師あり学習されたResNetバックボーンをも上回る最もロバストなバックボーンであることを特定した。
2. DiTrackerフレームワーク： クエリ・キー・マッチング、ResNetブランチとのコストレベル融合、およびLoRA適応を介して、ビデオDiTの特徴を教師ありトラッキングに活用する手法を導入した。
3. データ効率とロバスト性： DiTrackerは、合成データ（Kubric）のみで、大幅に少ないイテレーション数で学習されたにもかかわらず、同じトラッキングヘッドを用いて訓練されたCoTracker3（追加の実世界ビデオを使用）を上回ることを示した。また、破損したシナリオや困難なシナリオにおいて最大の性能向上を示した。
4. 汎用性とスケーラビリティ： ビデオDiT特徴の利点が異なるトラッキングヘッド（例：AllTracker）間で汎用すること、およびバックボーンのサイズに応じてスケールすることを検証し、ビデオDiTがロバストでデータ効率が高く、ヘッドに依存しないバックボーンであることを確認した。

4. 実験結果

• 標準ベンチマーク： TAP-Vid-DAVISおよびITTO-MOSEにおいて、15,000の実世界ビデオで訓練されたCoTracker3を、合成データのみで訓練されたDiTrackerが上回った。例えば、ITTO-MOSEにおいて、DiTrackerはCoTracker3よりも$\delta^x_{avg}$を2.7%改善した。
• ロバスト性ベンチマーク： ImageNet-Cの破損（ノイズ、ブラー、天候）の下で、DiTrackerは最高平均スコア（71.1%）を達成し、実世界の訓練を受けているCoTracker3（69.2%）を上回った。
• アブレーション研究：
  • 特徴選択： クエリ・キー射影（52.6% AJ）は、隠れ状態（45.7% AJ）を大幅に上回った。
  • 融合戦略： DiTとResNetのコストを連結する方法（72.2% $\delta^x_{avg}$）は、単純なアップサンプリングや特徴の連結よりも優れていた。
  • LoRA： 適応は不可欠であった。凍結されたDiT特徴は低い性能しか示さなかった（41.0% AJ）。より高いランク（128）を用いたフルレイヤーLoRAが最高の性能を提供した。
• スケーリング： より大きなバックボーン（WAN-14B）は、すべての指標において、より小さなバリアント（WAN-1.3B）を一貫して上回った。

5. 意義と主張

本論文は、生成的なビデオ事前学習が、対応関係に関する強力な実世界の事前知識（プライア）を提供し、結果としてポイントトラッキングにおける大規模な実データによる教師あり学習への依存を効果的に軽減できると主張している。ビデオDiTを活用することで、著者らは以下を実証した：

• ロバストなトラッキングに必要な時間的一貫性は、拡散目的関数とフル3Dアテンションで訓練された生成ビデオモデルに内在している。
• 実世界のビデオによる教師あり学習に頼る手法と比較して、合成データのみを用い、より少ない学習イテレーション数で最先端のロバスト性を達成することが可能である。
• ビデオ生成の将来的な進歩は、ポイントトラッキングタスクに直接的な利益をもたらすことができ、生成的な理解と識別的な理解の収束を示唆している。