誰もが言葉でシーンを記述するだけで映画監督になれる世界を想像してみてください。長年、人工知能はこれらの記述を動く映像へと変換することを学習し、猫が歩いたり車が走ったりする短いクリップを作り出してきました。この技術は、ビデオ制作という行為をすべての人に身近なものにしました。しかし、単一の連続したクリップを作ることと、一本の映画を作るということの間には、大きな隔たりがあります。実際の映画は、単一の長いショットではありません。それは、それぞれが独自のカメラアングル、動き、タイミングを持つ、さまざまな異なるショットの集合体なのです。映画業界において、カメラがどのように動くかを決定する人物、すなわち撮影監督は、脚本家と同じくらい重要です。彼らは、いつズームインするか、いつ風景をパン（横移動）するか、あるいは、効果的に物語を伝えるために、いつワイドビューからクローズアップへと切り替えるかを選択します。現在のAIは「カメラを左に動かせ」といった単純な指示に従うことはできますが、マルチショットによる複雑で調和のとれたダンスのような動きを理解することは困難です。ショットが変わるごとにカメラの動きの一貫性を保つことに失敗したり、監督の曖昧なアイデアを精密でプロフェッショナルなカメラパスへと翻訳できなかったりすることがよくあります。
香港科技大学とテンセントビデオの研究チームは、この特定の問題を解決するために、「ShotVerse」と呼ばれる新しいシステムを開発しました。彼らの研究は、書かれたストーリーに基づいて、さまざまなカメラショットのシーケンスを計画し実行できる、プロの撮影監督のように振る舞うようAIに教えることに焦点を当てています。AIにテキストのみからカメラの動きを推測させたり、人間がすべてのカメラパスを手動で描かせたりするのではなく、研究者たちは2段階のプロセスを作成しました。まず、「プランナー（計画者）」がストーリーを読み、各ショットでカメラがどのように動くべきかを正確に判断します。次に、「コントローラー（制御器）」がそれらの具体的な計画を用いて、実際のビデオを生成します。彼らの成功の鍵は、単なるソフトウェアではなく、学習に使用したデータにありました。映画を作る方法を学ぶためには、AIが、ストーリー、カメラパス、そして最終的なビデオが完璧に一致している何千もの例を見る必要があることに、彼らは気づいたのです。
この基盤を構築するために、チームは高品質な映画、テレビ番組、ドキュメンタリーから2万個以上のクリップを収集しました。これらのクリップには、複数のカメラカットを含む複雑なシーケンスが含まれていました。研究者たちは、これらのクリップを分析し、各ショットでカメラが辿った正確なパスを抽出する新しい手法を生み出しました。彼らはこれらのパスを単一の統一された座標系に整列させ、一つのショットにおける動きが次のショットとの関係において整合性が取れるようにしました。このプロセスにより、「ShotVerse-Bench」と呼ばれる大規模な新しいデータセットが作成され、これがAIの訓練場となりました。このデータを用いて、彼らは2部構成のシステムを訓練しました。大規模な視覚言語モデルを使用するプランナーは、「都市のスカイラインの劇的な演出」といった記述を読み取り、カメラが辿るべき正確な3Dパスを自動的に生成することを学習します。それはストーリーを個々のショットに分解し、角度、距離、およびそれぞれの動きを決定します。そしてコントローラーは、これらのパスを受け取り、シーンの視覚的な品質と一貫性を維持しながら、計画通りにカメラが動くようにビデオを生成します。
このアプローチの結果は極めて重要です。テストにおいて、このシステムはカメラの指示に従う精度の高いマルチショットビデオを生成することができ、推測や単純なテンプレートに頼っていた従来の手法を大きく上回りました。生成されたビデオは、ショット間のスムーズな遷移や、シーケンス全体を通じた一貫したカメラの挙動を備え、映画的なテンポを明確に理解していました。研究者たちは、カメラの動きの計画とビデオの生成を分離することで、以前は不可能であったレベルの制御が可能になることを発見しました。システムは、被写体を追跡しながら後退する、あるいは空間の感覚を失うことなくワイドショットからクローズアップへと切り替えるといった、複雑なシナリオを巧みに処理できました。また、AIが映画の「文法」を学び、単にカメラをどう動かすかだけでなく、効果的に物語を伝えるためにどう動かすかを理解していることも実証されました。
この研究は、AIとビデオ制作に対する私たちの考え方の転換を意味しています。それは、単にランダムまたは静的な動きを生成することを超えて、人間の映画製作を反映した、より構造化され意図的なアプローチへと移行しています。研究者たちは、適切な種類のデータ、つまりストーリー、カメラ計画、そして視覚的出力がすべて一致しているデータを提供することで、映画的なカメラ制御という複雑なタスクを自動化できることを示しました。現在、このシステムは複数のショットを含む単一のシーンに焦点を当てていますが、この手法の成功は、AIがより長く複雑な物語の作成を支援できる未来を示唆しています。この研究は、適切なツールとデータがあれば、人工知能が映画製作の芸術における真の協力者となり、クリエイターがストーリーそのものに集中できるように、カメラの動きという技術的な詳細を担うことができるということを裏付けています。
技術概要: ShotVerse
問題提起
テキスト駆動型のビデオ生成は映画制作を民主化してきたが、マルチショットのシナリオにおける映画的なカメラワークの制御は依然として大きなボトルネックとなっている。既存の手法には主に2つの制限がある：
- 不正確なテキスト制御: 暗黙的なテキストプロンプト（例：「左にパン」）は、複雑な映画的実行に必要な精度を欠くことが多い。
- 手動のオーバーヘッドと実行の失敗: 明示的な軌跡のコンディショニングには、統一されたグローバル座標系における膨大な手動プロッティングが必要となる。さらに、現在の最先端モデルは、複雑なマルチショットの映画的軌跡を、生成失敗を招くアウトオブディストリビューション（分布外）の条件として扱ってしまい、実行に失敗することが多い。
- 統一されたデータの欠如: マルチショットの軌跡が統一されたグローバル座標系に較正された（Caption, Trajectory, Video）のトリプレットを含むアライメントされたデータセットが不足しており、クロスショットの一貫性を備えたモデルの学習を妨げている。
手法: ShotVerse フレームワーク
ShotVerseは、「Plan-then-Control（計画してから制御する）」というパラダイムシフトを提案し、タスクを共通のデータ分布によって整合された2つの協調的なエージェントへと分離する。このアプローチは、アライメントされたトリプレットが固有の結合分布を形成するという仮説を利用しており、プランニングと生成のデカップリング（分離）された最適化を可能にする。
データセット・キュレーション (ShotVerse-Bench):
- 著者らは、高生産な映画、テレビ、ドキュメンタリーから生の映像を収集することで、高忠実度なデータセットを構築した。
- マルチショット・カメラ較正: 新しい自動化パイプラインにより、離散的なシングルショットの軌跡を統一されたグローバル座標系に整列させる。これには、動的な前景除去、シングルショットのローカル再構成、結合キーフレーム・グローバル再構成、およびアンカーベースの軌跡アライメントが含まれる。
- 階層的キャプション: データセットには、グローバルなシーン記述とショットごとのキャプションが含まれ、27種類以上のきめ細かな軌跡カテゴリとペアになっている。
Planner (軌跡プロッティング):
- アーキテクチャ: LoRAで微調整されたVision-Language Model (VLM) バックボーン（Qwen3-VL）と、軽量な自己回帰型Transformerデコーダを組み合わせている。
- メカニズム: Plannerは、階層的なプロンプトと、学習可能な「軌跡クエリ・トークン（
<TRAJ>）」がインターリーブされたものを処理する。これらのトークンは、VLMが空間的な事前知識に基づいてショット固有のカメラプランを推論するためのスロットとして機能する。
- 出力: VLMはコンテキストに応じた「カメラコード」を生成し、それを軌跡デコーダが可変長のポーズ・トークン・シーケンスへと展開する。ポーズ・デトカイザは、これらを統一されたグローバル座標系における明示的な12次元カメラポーズ（並進および回転）に変換する。
- 学習: 正解の軌跡トークンの尤度を最大化するように、クロスエントロピー損失を用いて最適化される。
Controller (軌跡注入):
- アーキテクチャ: 包括的なマルチショット・ビデオ基盤モデル（HoloCine/DiT）に基づいている。
- カメラエンコーダ: 軽量な全結合エンコーダが、ターゲットとなるポーズによって時間的モデリングをコンディショニングしながら、中間特徴量にカメラの外在行列を直接注入する。
- 4D Rotary Positional Embedding (4D RoPE): マルチショット・ビデオの階層構造（Video → Shot → Frame）を扱うために、著者らは4D RoPEを導入した。これは、フレーム、高さ、幅の次元とともにショットインデックスを明示的にエンコードし、ショット内の整合性を強制し、ショットの境界を尊重する。
- 学習: Flow Matching目的関数を使用し、カメラエンコーダが粗い動きを固定するために高ノイズ段階で主に最適化され、LoRAが低ノイズ段階で詳細を洗練させるという、2段階の学習戦略を採用している。
主な貢献
- フレームワーク: 高レベルの物語的意図と精密な幾何学的実行の間を、特化したPlannerおよびControllerエージェントを介して橋渡しする、「Plan-then-Control」フレームワークであるShotVerseの導入。
- データセット: マルチショットの映画的カメラ軌跡を統一されたグローバル座標系に較正し、階層的キャプションとペアにした大規模データセットShotVerse-Benchの作成。
- 較正パイプライン: 離散的なシングルショットの軌跡をグローバルシステムに整列させる自動化パイプラインにより、クロスショットの空間ロジックの学習を可能にした。
- 評価プロトコル: (A) Text-to-Trajectory プランニング、(B) Trajectory-to-Video 実行の忠実度、(C) End-to-End Text-to-Video の映画的品質を評価する、厳格な3トラックのベンチマーク・プロトコル。
- 技術的革新: 自動化された映画的プロッティングのためのVLMの使用、および拡散モデルにおける階層的なショット構造を管理するための4D Rotary Positional Embeddingsの開発。
実験結果
ShotVerse-Benchにおける広範な実験は、すべてのトラックにおいて優れた性能を示している：
- Track A (Planning): ShotVerseのPlannerは、F1スコアおよびセマンティック・アライメント（CLaTr-CLIP）の両方において、ベースライン（CCD, E.T., Director3D, GenDoP）を上回り、強力なクロスドメイン汎化能力を示している。
- Track B (Execution): Controllerは、遷移誤差および回転誤差が最も低く、座標アライメントスコア（CAS）が最も高く、シングルショット制御モデルをマルチショット用に適応させたモデルを大幅に凌駕している。
- Track C (Quality): ShotVerseは、オープンソースおよびクローズドソースのベースライン（Sora2, VEO3, Kling3.0を含む）の中で、最高の美的品質（5.465）と最低のFVD（281.71）を達成した。また、VLMベースおよび人間によるユーザー調査の両方において、優れたショット遷移精度（0.933）と映画的な間（ペース）を示した。
意義と主張
本論文は、ShotVerseが信頼性の低いテキスト制御と労働集約的な手動プロッティングの間の溝を効果的に埋めるものであると主張している。データ中心のパラダイムへと移行することで、著者らは、マルチショットのストーリーテリングにおける複雑な空間ロジックが、認知的なプロッティングフェーズと幾何学的なレンダリングフェーズに分離できることを示している。ShotVerseは、高い技術的精度を実現するだけでなく、映画的な間（ペース）や視覚的な顕著性に対する暗黙的な理解をも具現化しており、テキスト駆動型の生成をプロフェッショナルな映画演出へと進化させるものであると断言している。著者らは、ロングコンテキストの持続性や高密度なマルチオブジェクト生成における限界を認めているが、本手法をマルチショット・ビデオ合成の将来の研究に向けた基礎的な一歩として位置づけている。
毎週最高の computer science 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録