技術概要：対話からシネマティックな動画生成へのエージェント型フレームワーク

1. 問題定義

最近の動画生成モデル（例：Sora2-Pro、Veo3.1、Wan2.5）の進歩は、単純なテキストプロンプトから高忠実度で現実的な動画クリップを合成する能力を実証している。しかし、対話のような高レベルの概念から長編で整合性のある物語を生成しようとする際、重大な「意味的ギャップ」が存在し続けている。現在のモデルは、希薄で粗粒度の対話を、シネマティックな実行に必要な詳細かつ実行可能な計画へ変換することに苦慮している。この限界は、以下の 3 つの中核的な課題として現れる：

1. 文脈的曖昧性: 豊かな視覚的コンテキストなしに、希薄な対話に内在する曖昧性を解消すること。
2. ドメイン知識: 技術的に妥当なカメラ仕様、演出指示、ショット構成を生成すること。
3. 創造的推論: 物語的および時間的整合性を維持するために、何が語られるか（対話）と何が示されるべきか（視覚的アクション）の間のギャップを埋めること。

既存のアプローチは、しばしば受動的な記述（動画からテキストへ）に依存するか、自動化された映画制作を導くために必要な微細な「脚本」を提供できず、その結果、長編生成においてアイデンティティのドリフト、一貫性のないスタイル、物語の連続性の喪失を招いている。

2. 手法

著者は、3 つの専門エージェント（ScripterAgent、DirectorAgent、CriticAgent）からなる新規のエンドツーエンドエージェント型フレームワークを提案する。このパイプラインは、従来の動画と言語の関係を逆転させ、受動的な記述から実行可能な映画制作計画の能動的生成へと移行する。

2.1 ScripterAgent：対話から脚本への生成

このフレームワークの中核は、粗粒度の対話を微細で構造化されたシネマティックな脚本へ変換するように設計されたScripterAgentである。

• データセット（ScriptBench）: このエージェントを訓練するために、著者は高忠実度のシネマティックなカットシーンから派生した大規模なベンチマーク（1,750 インスタンス）であるScriptBenchを構築した。このデータセットは、対話、音声、キャラクターの位置という豊富なトリモーダルな文脈を特徴とし、新規の専門家ガイド付きパイプラインを通じて注釈付けられている：
  1. 文脈の再構築: マルチモーダル入力からキャラクターの関係性、感情的な傾向、因果関係を推論する。
  2. ショットレベルの意味的計画: 完全性、持続時間（10 秒に制限）、意味的整合性、技術的実現可能性に基づいて、物語をショットに分割する。
  3. 多輪適応型誤り訂正: 対話の完全性、キャラクターの一貫性、シーンの整合性、物理的合理性を検証する自動化ループを、専門家の監査によって洗練させる。
• 訓練パラダイム: ScripterAgent は、Qwen-Omni-7B ベースモデル上で 2 段階の訓練アプローチを採用する：
  1. 教師あり微調整（SFT）: 映画脚本の構文（JSON 形式）と物語の完全性をモデルに教える。
  2. 強化学習（RL）: ハイブリッド報酬関数を用いた**グループ相対方策最適化（GRPO）**を活用する。この関数は、ルールベースの構造的報酬（形式、完全性）と、ドラマティックな緊張感、視覚的イメージ、テンポに関する専門家の演出スコアで訓練された人間の嗜好報酬を組み合わせる。この段階により、モデルはプロフェッショナルな演出美学と整合するようになる。

2.2 DirectorAgent：長編実行

DirectorAgentは、生成された脚本を実行するために最先端の動画生成モデルを指揮する。それは、現在のモデル（通常 8〜12 秒）の時間的制限に対処するため、クロスシーン連続生成戦略を通じて機能する：

• インテリジェントなショットベースのセグメンテーション: 脚本は、撮影学的境界（ショットの完全性、物語的なビート）を尊重し、対象モデルの生成ウィンドウ内に収まるように「シーン」に分割される。
• フレームアンカー機構: シーン間の視覚的連続性を確保するため、先行するシーンの最終フレーム（$N-1$）を抽出し、後続するシーンの最初のフレーム（$0$）に対する視覚的アンカー（条件付け画像）として使用する。この「視覚的リレー」は、キャラクターのアイデンティティ、衣装、シーンのレイアウトを維持し、単純なセグメンテーションに共通するアイデンティティのドリフトを軽減する。

2.3 CriticAgent：評価フレームワーク

多面的な評価システムは、脚本生成と動画生成の両方を評価する：

• AI 評価: LLM（例：gemini-2.5-pro）によって駆動され、カメラの表現、ボディランゲージ、感情的な弧などの次元における構造的正確性、ショットの合理性、シネマティックな品質を評価する。
• 人間評価: プロの監督と脚本家のパネルが、ドラマティックな緊張感、視覚的イメージ、キャラクターの一貫性を含む芸術的品質を評価する。
• 視覚 - スクリプト整合性（VSA）: 時間的意味的忠実度を定量化するために導入された新規の自動化指標。VSA は、標準的な指標がコンテンツが出現するかどうかのみをチェックするのに対し、脚本で指定された時間間隔内で視覚的イベントが発生するかどうかを測定する。

3. 主要な結果

ScriptBench テストセットにおける広範な実験は、複数の最先端動画モデル（Vidu2、Seedance1.5-Pro、Kling2.6、Wan2.6、HYVideo1.5、Sora2-Pro、Veo3.1）にわたってフレームワークの有効性を示している。

• 脚本生成: 完全な ScripterAgent（SFT + RL）は、ベースライン（CHAE、MoPS、SEED-Story など）を大幅に上回る性能を示した。人間の専門家は、その出力をドラマティックな緊張感（4.1 対 3.7）と視覚的イメージ（4.3 対 3.8）において高く評価した。RL 段階は、構造的正確性を超えた創造的次元を高めるために不可欠であることが判明した。
• 動画生成: ScripterAgent の脚本を入力として使用することで、テストされたすべての動画モデルにおいて性能が普遍的に向上した。
  • 忠実度: スクリプト忠実度のスコアが大幅に向上した（例：Wan2.6 は 3.2 から 4.0 に、Sora2-Pro は 3.6 から 4.2 に）。
  • 時間的整合性: VSA 指標は、時間的意味的整合性の向上を確認し、場合によっては 7 ポイント以上スコアが改善した（例：Veo3.1 は 51.4 から 53.8 に）。
  • 一貫性: フレームアンカー戦略は、アイデンティティのドリフトを効果的に減少させ、キャラクターの一貫性と物語の整合性を向上させた。
• トレードオフ分析: この研究は、現在の SOTA モデルにおける根本的なトレードオフを明らかにしている：一部のモデル（Sora2-Pro など）は視覚的スペクタクルと物理的リアリズムに優れている一方、他のモデル（HYVideo1.5 など）はスクリプトへの忠実度と物語の完全性を優先する。このフレームワークは、前者の可能性を犠牲にすることなく、後者を強化する。

4. 意義と貢献

本論文は、対話駆動型のシネマティックな動画生成のための初のエンドツーエンド解決策を提供し、自動化された物語創作のための新たなパラダイムを提示すると主張している。その主な貢献は以下の通りである：

1. エージェント型フレームワーク: 希薄な対話と整合性のあるシネマティックな出力間の意味的ギャップを埋める、3 エージェントからなる新規システム。単純なプロンプトエンジニアリングを超え、構造化された計画へと移行する。
2. ScriptBench と ScripterAgent: 高品質で専門家ガイド付きのベンチマークの導入と、プロフェッショナル品質で実行可能なシネマティックな脚本を生成するために、2 段階の SFT+RL パラダイムで訓練されたモデルの導入。
3. 時間的整合性戦略: 「スクリプト中心」のアプローチとフレームアンカーを組み合わせることで、現在の動画生成機の固定された持続時間の制約を克服し、長編の物語的整合性を可能にすることを示した。
4. モデル限界への洞察: 主要な動画モデルにおける視覚的スペクタクルと厳密なスクリプト順守の間の重要なトレードオフを特定し、将来のモデル開発とアプリケーション選択のための貴重な指針を提供する。
5. 新しい指標: 標準的な動画品質指標によって以前は見落とされていた次元である、時間的意味的忠実度を定量的に測定するための**視覚 - スクリプト整合性（VSA）**の提案。

著者は、この仕事が単純なプロンプトベースの生成を超え、撮影、テンポ、長期的な整合性について推論できる高度な自動化された物語創作システムの基盤を築いていると結論付けている。今後の研究は、微細な制御（例：リップシンク）や適応的スタイル生成に焦点を当てるべきであると示唆されている。