CT-1: 視覚言語カメラモデルによる空間推論知識のカメラ制御型動画生成への転移

本論文は、CT-1 (Camera Transformer 1) と呼ばれる新しい「Vision-Language-Camera (VLC) モデル」を提案し、ユーザーの意図とシーン文脈に基づいた高精度なカメラ軌道の推定と、それに基づく高品質なカメラ制御型動画生成を実現するフレームワークを提示しています。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、結果、意義の観点から詳細にまとめます。

1. 問題定義と背景

既存のカメラ制御型動画生成手法には、以下の 2 つの大きな課題がありました。

• テキストプロンプトによる制御の精度不足: 高レベルな意味制御（例：「カメラが前進する」）のみを行う手法は、意図したカメラ運動を正確に再現できず、制御が曖昧になる傾向があります（Wan2.2 などの既存モデルで確認）。
• 手動パラメータの非効率性: 明示的なカメラ軌道パラメータを用いる手法は制御精度が高いものの、ユーザーが意図に合致する軌道を手動で設計・指定する必要があり、大規模な自動化アプリケーションには不向きです。

これらの課題を解決するため、「シーンレベルの空間知識」と「ユーザーの意図」を統合し、自動的に物理的に妥当かつ意味的に整合性のあるカメラ軌道を推定するモデルの必要性が指摘されました。

2. 提案手法：CT-1 (Camera Transformer 1)

CT-1 は、視覚情報と言語指示からカメラの動きを推論し、その軌道情報を拡散モデルに転送する新しい VLC モデルです。

2.1 アーキテクチャ

CT-1 は以下の 3 つの主要モジュールで構成されます。

1. 視覚・言語モジュール (Vision-Language Module):

   • 視覚エンコーダ: DINOv2 と SigLIP の 2 つのエンコーダを並列に使用し、局所的な詳細から高レベルな意味情報までを統合的に表現します。
   • 言語エンコーダ: LLaMA-2 をベースとし、テキスト指示をトークン化します。
   • 統合: 視覚トークン、言語トークン、および学習可能な**「カメラ文脈トークン ()」**を結合し、因果的アテンション機構を通じてマルチモーダルな統合を行います。出力として、視覚と言語情報を集約した トークンの隠れ表現が得られます。

2. カメラトランスフォーマー (Camera Transformer):

   • 従来の回帰モデル（座標やバウンディングボックスの予測）とは異なり、CT-1 は拡散トランスフォーマー (Diffusion Transformer: DiT) を採用しています。
   • これは、単一の決定論的な解ではなく、**「妥当なカメラ軌道の分布」**をモデル化することを目的としています。
   • 入力された トークンと拡散ステップの埋め込みを条件とし、ノイズ除去プロセスを通じてカメラ軌道 $K_{1:T}$ を生成します。

3. ウェーブレット正則化損失 (Wavelet-based Regularization Loss, WavReg):

   • カメラ軌道は、滑らかな大域的な動き（低周波）と、局所的な微細な変動（高周波）から成り立っています。
   • 1D ハール離散ウェーブレット変換 (DWT) を用いて軌道を周波数領域で分解し、低周波成分（大域的なトレンド）と高周波成分（局所的な揺らぎ）を別々に正則化します。
   • 損失関数 $L_{wav}$ は、低周波成分の重みを高く設定することで、物理的に安定した滑らかなカメラ運動を強制します。これにより、ジャッター（振動）を抑制しつつ、意図した動きを忠実に再現します。

2.2 制御動画生成パイプライン

CT-1 は動画生成モデルとモジュール化された 2 段階パイプラインで動作します。

1. 軌道推定: 参照画像とテキスト指示を入力として、CT-1 がカメラ軌道を予測します。
2. 動画生成: 予測された軌道を条件として、既存の制御可能な動画拡散モデル（CameraNoise など）に注入し、最終的な動画を生成します。この設計により、CT-1 の空間推論能力をバックボーンモデルを変更せずに転移させることが可能です。

3. データセット：CT-200K

モデルの学習を支援するため、大規模な専用データセット CT-200K を構築しました。

• 規模: 20 万超のサンプル、4700 万枚以上のフレーム。
• 構成:
  • 一般シナリオ: Pexels-400K や DynPose-100K などの高品質動画から、Video-VLM と Image-VLM を用いてカメラ運動と画像内容を分離・記述し、LLM で整合性を確認して作成。
  • 推論シナリオ: EgoSchema などの第一人称視点動画から、オブジェクト操作と空間的関係に基づいた「推論を要する」カメラ運動記述を生成。
• 特徴: 既存データセットに不足していた「カメラ運動の説明」と「対応するパラメータ」を、VLM と LLM の連携により自動的に注釈付け（Curating）した点が特徴です。

4. 実験結果

4.1 定量的評価 (CameraBench100)

• カメラ制御精度: 既存の最優秀手法と比較して、Success Rate (成功率) が 25.7% 向上しました。
  • 既存の VLM ベースの軌道入力モデルより 171.1% 向上。
  • 既存のプロンプト入力モデル（Wan2.2 など）より 25.7% 向上。
  • 特に「複雑な運動」や「トラック（横移動）」などの難易度の高いタスクで顕著な性能を示しました。
• 動画品質: VBench 指標において、ベースラインモデル（Wan2.2, CogVideoX など）と同等かそれ以上の画質、動的な滑らかさを維持しています。

4.2 定量的・定性的評価

• OOD (Out-of-Distribution) 性能: 学習データとは異なるシーンや指示に対しても、意図したカメラ運動を正確に再現し、既存モデルが失敗する「静止画のような出力」や「意図と異なる動き」を回避しました。
• 推論能力: 「工具箱をドリルの右側に動かす」ような、視覚的文脈と空間関係を推論する必要がある指示に対しても、適切なカメラ軌道を生成できました。
• 汎用性: CameraNoise だけでなく、CameraCtrl や MotionCtrl といった他の制御モデルとも連携可能であり、汎用的なインターフェースとして機能します。

4.3 消融実験 (Ablation Study)

• モデルスケール: パラメータ数を増やす（Base → Huge）ことで性能が向上し、DiT 同様のスケーリング則に従うことが確認されました。
• WavReg の効果: 周波数正則化を適用することで、軌道の滑らかさと制御精度の両方が向上し、単純な速度・加速度正則化よりも優れていることが示されました。
• トークンの重要性: 専用のカメラ文脈トークンを使用することで、テキストのみや画像のみ、あるいは単純なプーリング条件付けよりも大幅に性能が向上しました。

5. 主要な貢献と意義

1. 新しい VLC モデルの提案: 視覚観察と言語指示を共同で推論し、空間的に意識された一貫したカメラ軌道を推定する新しいモデル「CT-1」を提案しました。
2. 拡散トランスフォーマーと周波数正則化の統合: カメラ軌道の分布をモデル化するために DiT を採用し、ウェーブレット変換に基づく正則化損失を導入することで、物理的に安定した滑らかな運動を学習可能にしました。
3. 大規模データセット CT-200K の構築: 空間推論を含むカメラ制御タスクのための大規模かつ高品質なデータセットを構築し、この分野の研究基盤を強化しました。
4. 空間推論と動画生成の架け橋: 高レベルなユーザー意図を低レベルなカメラパラメータに変換する「空間推論」を動画生成パイプラインに統合し、自動化された高品質なカメラ制御動画生成を実現しました。

総括:
CT-1 は、単なるテキストから動画への生成を超え、「ユーザーの意図」と「シーンの物理的制約」を両立させる高度な空間推論能力を動画生成モデルに付与する画期的なアプローチです。これにより、アニメーション制作、商業動画、ワールドモデルなど、多様な分野でのカメラ制御の自動化と高品質化が期待されます。