Probing into Camera Control of Video Models

技術的サマリー：ビデオモデルのカメラ制御の探求

問題定義
ビデオ生成モデルは空間構造と時間的ダイナミクスに関する豊富な事前知識を有しているが、制御可能なカメラ運動の実現は依然として重大な課題である。既存のアプローチは通常、追加のカメラモジュール（アダプター、埋め込み、またはアテンションの修正など）を用いて、カメラ姿勢がペアリングされたデータセット上でビデオモデルを微調整することに依存している。著者らは、このパラダイムには以下の 3 つの根本的な限界が存在すると特定している：

1. 暗黙的かつ解釈不可能なマッピング：カメラ運動とコンテンツの間の関係は暗黙的に符号化されており、しばしば基礎的な幾何学ではなく、データセット固有の相関関係を学習してしまう。
2. データの限界：利用可能なカメラ注釈付きデータセットは、規模、多様性、ダイナミクスにおいてしばしば限られており（通常は合成データまたは構造からの復元（Structure-from-Motion）に由来する）、現実的な運動パターンや複雑なシーンへの汎化を制限している。
3. 事前知識の劣化：専門的なデータセットでの微調整は、モデルをより狭い出力分布へと偏らせ、大規模な事前学習中に学習された多様な事前知識を覆い、視覚品質を劣化させる傾向がある。

さらに、既存の学習不要な手法は、点群再構成やインペインティングなどの微分不可能な操作に依存することが多く、エンドツーエンドの最適化を困難にしている。

手法：CamProbe
本論文は、CamProbeを提案する。これは学習不要な手法であり、カメラ制御を生成学習問題としてではなく、変位場を介して適用される幾何学的ガイダンスの形態として再定式化するものである。

• 変位場の定式化：カメラ軌道からビデオへのマッピングを学習する代わりに、この手法は与えられたカメラ軌道に対して変位場（$\mathcal{F}$）の集合を構築する。カメラ軌道 $T_f = (R_f, t_f)$ が与えられたとき、この手法は最初のフレームに対する相対変換を計算する。既存の深度推定器（$D_f$）を用いて潜在ピクセル座標を疑似 3 次元点にリフトし、カメラ変換を適用した後、画像平面に投影して密なワーピンググリッド（変位場）を導出する。
• 拡散モデルにおける微分可能なリサンプリング：これらの変位場は、ビデオ拡散モデルのノイズ除去プロセスに統合される。各タイムステップ $t$（特に初期段階 $t \in [T, 0.8T]$ において）、推定されたクリーンな潜在変数 $\hat{z}_0$ が、微分可能なリサンプリング演算子（$\circ$）を介して変位場を用いてワーピングされる。
  • 更新は分類器フリーガイダンスの形式に従う：$\hat{z}'_{0,f} = \hat{z}_{0,f} + \omega (\mathcal{F}_f \circ \hat{z}_{0,f} - \hat{z}_{0,f})$。
  • 修正された推定値は、次のサンプリングステップの前に、ノイズの混じった潜在変数 $z_t$（またはフローマッチングにおける速度 $v_t$）を更新するために使用される。
• 学習不要な性質：この手法は、追加のモジュール、微調整、またはペアリングされたデータを必要としない。変位場は、この論文で深度に基づくワーピングを用いて行われたように、ヒューリスティックに定義されるか、学習されうる。

主要な貢献

1. カメラ制御の再定式化：著者らは、カメラ制御をノイズ除去中の微分可能なリサンプリングを介して適用される変位場の集合として扱うことを提案し、学習やアーキテクチャの変更なしに制御を可能にする。
2. モデル分析のためのプローブ：この手法は、ベースのビデオ基盤モデルの固有のカメラ制御能力を分離・分析するための標準化されたプローブとして機能し、テキスト条件付けや特定のトレーニングデータセットによって引き起こされるアーティファクトからモデルの振る舞いを分離する。
3. 普遍的なバイアスの特定：プローブを用いて、著者らは代表的なビデオモデルにわたる体系的な振る舞いを特定している：
   • 能力の過小評価：モデルはテキストプロンプトよりも幾何学的ガイダンス下でより良好に動作することが多く、限界はモデル自体ではなくガイダンス機構にあることを示唆している。
   • 非対称なリーク：並進運動は回転運動よりも生成しやすい。回転コマンドは並進にリークすることが多いが、その逆はあまり一般的ではない。
   • 方向性の好み：モデルは垂直運動よりも水平運動に対してバイアスを示す。
   • モードシフト：制御強度が過剰になると、滑らかな運動が急激な遷移に劣化する「モードシフト」が発生する。
4. マルチビューベンチマーク：本論文は、マルチビューの一貫性を評価するためのマルチレベル評価プロトコル（2D、2.5D、および 3D）を導入し、軌道カメラ運動の下で 5 つのビデオモデルをベンチマークしている。

結果

• 微調整ベースラインとのパフォーマンス比較：最先端の微調整手法（Gen3C、TrajectoryCrafter、ReCamMaster など）と比較して、CamProbe はカメラ制御精度（相対姿勢誤差で測定）のわずかな低下のみで、競合する視覚品質を達成する。重要なのは、ベースモデルの生成事前知識を維持しており、微調整アプローチに比べて画像品質や運動の滑らかさの劣化が少ないことである。
• 効率性：この手法は、GPU メモリオーバーヘッドをほとんど増加させない。主な実行時間コストは深度推定と潜在リサンプリングに由来するが、一定の深度を使用するか、特定のリサンプリングステップをスキップすることで削減可能である。
• プローブの知見：
  • 単一ビュー：モデルは運動強度と品質の間のトレードオフを示す。HunyuanVideo-1.5 と Wan2.2-I2V-A14B が最良のバランスを示している。
  • マルチビュー：一部のモデル（LTX-2.3 など）は高品質な静止ビューを生成する一方、他のモデル（HunyuanVideo-1.5 など）は幾何学的整合性と運動アライメントの間のより良いバランスを達成しており、3D/4D タスクに対する潜在能力が高いことを示している。
  • CamTrol との比較：CamProbe は、学習不要な手法である CamTrol よりも強力なダイナミクスを生成しつつ、同程度の視覚品質を維持する。これは、単一の静的参照を伝播させるのではなく、モデル固有のダイナミクスを保持していることに起因する。

意義と主張
本論文は、ビデオ生成におけるカメラ制御を、莫大なデータセットと微調整を必要とする暗黙的な学習問題として扱う必要はないと主張している。代わりに、変位場ガイダンス付き生成を通じて効果的に解決可能である。著者らは、ヒューリスティックに定義された変位場さえも、ベースモデルの品質を損なうことなくカメラ運動を誘発するのに十分な強力なシグナルとして機能すると主張している。

この研究の意義は以下の 2 点にある：

1. 実用的有用性：既存のビデオモデルにおいて、その高忠実度の生成能力を維持しながら、カメラ運動を制御するためのシンプルで学習不要なメカニズムを提供する。
2. 分析的洞察：基盤モデルの潜在能力を「探る」ためのツールを提供し、多くのモデルが現在の評価手法（テキストプロンプトに依存）やトレーニングパラダイムによってしばしば隠蔽されている固有の幾何学的理解を有していることを明らかにする。これらの知見は、現在のカメラ制御における限界は、モデルが幾何学的に整合性のあるコンテンツを生成できないことではなく、誘導メカニズムに起因することが多いことを示唆している。

著者らは限界を認め、現在のヒューリスティックな変位場は複雑な空間関係を持つシーンでは信頼性が低くなる可能性があり、幾何学的ガイダンスは粗いものであると指摘している。今後の研究としては、変位場の学習や、さらなる精度向上のための拡散更新戦略の洗練に焦点を当てるべきであると提案している。