💻 computer science

Co-Director: Agentic Generative Video Storytelling

本論文は、マルチアームバンディットと局所的自己洗練を用いてビデオ物語生成をグローバル最適化問題として定式化し、意味的ドリフトとカスケード故障を克服する階層的マルチエージェントフレームワーク「Co-Director」を提示し、それにより一貫性が高く忠実な物語生成において最先端のベースラインを大幅に上回る性能を示す。

原著者： Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy, Tomas Pfister

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

新しい製品を宣伝する短編映画を作りたいと想像してみてください。過去には、脚本家、監督、カメラマン、編集者が数週間かけてチームを組む必要がありました。しかし現在、AI は動画クリップを生成できますが、それらを「一貫した物語」にまとめることは、ロボットにレンガを積ませ、別のロボットに壁を塗らせ、さらに別のロボットに屋根を取り付けさせ、最終的な家の姿を誰にも指示しないまま、家を建てようとするようなものです。その結果、しばしば家には見えないレンガの無秩序な山ができあがります。

この論文は、この問題を解決するために設計された新しい AI システム「Co-Director」を紹介しています。Co-Director を単一のロボットではなく、一つの統一されたビジョンのもとで専門的な AI エージェントのチームが協力して運営する「階層的な映画制作会社」と考えてください。

以下に、その仕組みを簡単な概念に分解して説明します。

1. 問題点：「壊れた連鎖」

現在の AI 動画ツールは「ウォーターフォール」のように機能します。プロンプトを与えると、それがスクリプトを執筆し、別の AI がそのスクリプトを画像に変換し、さらに別の AI が画像を動画に変換します。

問題点: 最初の段階で小さなミス（赤い車と意図していたのに青い車と記述するなど）が発生すると、次の段階でその誤差が増幅されます。最終的には、車は緑色になり、空を飛び、チーズでできているかもしれません。これを「意味的ドリフト」と呼びます。
比喩: これは「伝言ゲーム」のようなものです。メッセージが人から人へ伝わるにつれて、内容が歪んでいきます。

2. 解決策：「オーケストレーター」と「クリエイティブコンパス」

Co-Director は、「指揮者（オーケストレーター）」と「クリエイティブコンパス（多腕バンディット）」を追加することでこれを解決します。

オーケストレーター: これは「監督」エージェントです。AI エージェントが直線的に作業するのを放任するのではなく、オーケストレーターは作業開始前にプロジェクト全体に対するグローバルな「雰囲気」や戦略を設定します。これにより、脚本家、アーティスト、動画制作者がすべて同じ楽譜から歌うことを保証します。
クリエイティブコンパス（多腕バンディット）: これがこの論文の最も独創的なアイデアです。3 つのレバーを持つスロットマシンを想像してください。ただし、お金ではなく、「クリエイティブ戦略」（例：この広告は事実に基づいているか、感情に基づいているか？）、「ストーリーモード」（例：ドラマか、日常の切り取りか？）、「ビジュアルスタイル」（例：明るくエネルギッシュか、暗く気難しいか？）というレバーを引くのです。
- システムはこれらのレバーの異なる組み合わせを試します。
- どの組み合わせが最高の動画を生み出すかを見守ります。
- 特定の製品に対してどの「設定」が最も効果的かを素早く学習し、新しいアイデアを試すこと（探索）と、実績のある成功スタイルを活用すること（活用）のバランスを取ります。

3. セーフティネット：「自己修正」

優れた監督がいても、ミスは起こります。Co-Director には組み込み型の「自己修正ループ」があります。

比喩: 映画編集者が撮影された未編集の映像（デイリー）を見て、「待てよ、シーン 1 とシーン 2 の間で俳優の髪の色が変わっている。その部分だけ再撮影しよう」と言うようなものです。
Co-Director はこれを自動的に行います。最終的な動画が完成する前に、スクリプトと主要な画像をチェックします。キャラクターの顔が変化したり、製品が消えたりしているのを発見したら、その特定の部分のプロンプトのみを書き換えて誤りを修正し、最終的な映画の一貫性を保証します。

4. 検証：「GenAd-Bench」

これが機能することを証明するために、研究者たちは「GenAd-Bench」という新しいテストを作成しました。

設定: 彼らは 200 の架空のブランドと 400 の異なる広告シナリオ（例：「東京の 25 歳の若者に未来的な傘を売る」など）を考案しました。
なぜ架空か: 架空の製品を使用したのは、AI がトレーニングデータから現実世界の画像を「記憶」してチートするのを防ぐためです。AI は実際にゼロから物語を「創造」しなければなりませんでした。
審査員: 彼らは、4 つの基準に基づいて動画を評価する高度な AI「審査員」（および人間のテスター）を使用しました。
1. 忠実度: 架空の製品は、架空の製品らしく見えたか？
2. ターゲティング: その動画は特定の人物（例：ティーンエイジャー対シニア）向けに作られたように感じられたか？
3. 訴求力: その広告は説得力があったか？
4. 品質: 動画は滑らかでプロフェッショナルに見えたか？

5. 結果

Co-Director は、既存のすべての AI 動画システムを凌駕しました。

それは単に「まあまあ」の動画を作っただけではなく、人間のチームが監督したような動画を作りました。
製品のアイデンティティを保持しました（ロゴが溶けたり、形が変わったりしませんでした）。
従来の手法よりもはるかにターゲットオーディエンスの「雰囲気」を理解しました。

まとめ

要約すると、Co-Director は、動画制作を直線的な組立ラインではなく、「グローバル最適化問題」として扱うシステムです。これは、最良の芸術的方向性を見つけるために「クリエイティブコンパス」を、すべての AI エージェントを整合させるために「監督」を、そしてその場でミスを修正するために「自己修正」ループを使用します。その結果、プロの映画監督がそうするように、単純なアイデアをまとまりのある高品質な動画物語に変換できるシステムが実現しました。

論文「Co-Director: Agentic Generative Video Storytelling」の詳細な技術的サマリーを以下に示します。

1. 問題定義

拡散モデルは高忠実度の動画生成を達成しましたが、これらのクリップを一貫性のある長編ストーリーテリングに変換することは依然として重大な課題です。現在の手法は以下の 3 つの主要な限界に直面しています。

意味的ドリフトとカスケード故障: 既存のエージェント型パイプラインは、独立したモジュールの線形な「ウォーターフォール」チェーン（例：スクリプト $\to$ ストーリーボード $\to$ 動画）に依存しています。初期段階でのエラーが下流に伝播し、アイデンティティのドリフト（キャラクターの外見変化）や物語の一貫性の欠如を引き起こします。
グローバル最適化の欠如: 現在のシステムは静的で手作りのプロンプトを使用しています。高レベルの創造的意図を下流の生成にマッピングするメカニズムが欠如しており、新しい物語戦略の探求や、探索と利用のバランスの欠如を招いています。
評価のギャップ: 既存のベンチマークは、孤立したサブタスク（例：テキストから画像）に焦点を当てたり、記憶された実世界のエンティティに依存したりしており、厳格な制約下での真のエンドツーエンドのストーリーテリング能力を評価できていません。

2. 手法：Co-Director フレームワーク

著者らは、動画ストーリーテリングをグローバル最適化問題として形式化する階層的マルチエージェントフレームワークCo-Directorを提案します。このシステムは、グローバルな戦略選択のためのマルチアームドバンディット（MAB）と、局所的な自己洗練ループを統合しています。

A. 階層的マルチエージェントアーキテクチャ

このシステムは、フローとグローバル状態を管理する中央の**オーケストレーターエージェント（ $\Phi_{orch}$ ）**によって調整されます。

プレプロダクションエージェント（ $\Phi_{pre}$ ）: ユーザープロンプトと参照ビジュアルを構造化された**ストーリーボード（ $S$ $S$ ）**に変換します。生成物は以下の通りです。
- クリエイティブブリーフ: 文脈の充実。
- ストーリーライン（ $L$ ）: シーンごとの脚本。
- ビジュアルアセット（ $V$ ）: 欠落しているキャラクターや小道具の参照の生成。
- ストーリーボード: カメラの運動学やオーディオ指示を含む詳細なシーン記述。
プロダクションエージェント（ $\Phi_{prod}$ ）: ストーリーボードからマルチモーダルなアーティファクトを合成します。
- キーフレームエージェント（ $\Phi_{frame}$ ）: 視覚的プライヤーを確立し、アイデンティティのドリフトを防ぐために初期フレームを生成します。
- 動画エージェント（ $\Phi_{video}$ ）: キーフレームを条件として動画拡散モデルに条件付け、クリップ（ $C$ ）を生成します。
- オーディオエージェント（ $\Phi_{audio}$ ）: グローバル指示に基づいてナレーションと音楽を合成します。
ポストプロダクションエージェント（ $\Phi_{post}$ ）: クリップとオーディオを組み合わせて最終動画（ $F$ ）を完成させます。

B. マルチアームドバンディット（MAB）によるグローバル最適化

線形なプロンプティングの代わりに、Co-Director は創造的プロセスを階層的パラメータ空間（ $\theta$ ）上の探索として扱います。

アクション空間: 3 つの直交軸によって定義されます。
1. クリエイティブ戦略（ $\theta_{cs}$ ）: 情報的、変換的、または比較的。
2. 物語モード（ $\theta_{nm}$ ）: 分析的、 vignette（断片的描写）、または物語的ドラマ。
3. 美的アーキタイプ（ $\theta_{aa}$ ）: 明快さ/エネルギー、シネマティック・プレミアム、ミニマリスト・フォーカス、またはキネティック・グリット。
メカニズム: MAB（UCB1 アルゴリズムを使用）は、各イテレーション对于这些パラメータの組み合わせ（ $\theta^{(t)}$ ）を選択します。オーケストレーターはこれらを特定の指示に合成し、サブエージェントのプロンプトに注入することで、すべてのエージェントが統一された創造的意図と整合するようにします。
報酬シグナル: MLLM ジャッジが最終動画を評価し、分解された報酬シグナル $R = (r_{cs}, r_{nm}, r_{aa})$ を出力します。これにより、創造的戦略の評価を実行の質から分離し、MAB が成功を導いた特定のパラメータを特定できるようにします。
ウォームスタート: LLM が製品ドメインに基づいて MAB の期待値を初期化し、理論的に妥当な構成への初期探索をバイアスします。

C. エージェント型自己洗練による局所最適化

エラー伝播を防ぐため、システムはフィードバック降下ループを採用します。

ストーリーラインの洗練: LLM がフックの質、結束性、製品統合について物語を評価し、スコアが閾値を下回る場合にプロンプトを書き換えます。
キーフレームの洗練: MLLM がキーフレームのシーケンスを個別ではなく統合的に評価し、アイデンティティのドリフトや環境の不整合を検知して、欠陥のあるフレームのみを選択的に再生成します。

3. 主要な貢献

Co-Director フレームワーク: MAB 駆動のステアリングを用いて生成ストーリーテリングをグローバル最適化問題として形式化した最初のシステムであり、線形パイプラインを超えて階層的で一貫性のあるアーキテクチャへと移行しました。
階層的パラメータ化: 高レベルの戦略をサブエージェント向けの具体的で実行可能な指示に分解することで、エージェント間を横断して創造的意図を伝播させる新しい手法であり、意味的な衝突を防ぎます。
GenAd-Bench: 200 の架空の製品にわたる400 のシナリオからなる厳格な新しいベンチマークです。モデルの記憶化を防ぐために架空のエンティティを使用し、ビジュアルアセットの忠実度、人口統計学的整合性、マーケティングアピールに厳格な制約を課します。
分解された報酬メカニズム: 戦略的有効性を実行の質から分離する新しい評価アプローチであり、非微分可能なパイプラインにおける正確なクレジット割り当てを可能にします。

4. 実験結果

著者らは、Co-Director を GenAd-Bench 上で、モノリシックモデル（Veo 3.1、Wan 2.6）、商用プラットフォーム（HeyGen、Creatify）、その他のエージェント型フレームワーク（AniMaker、MovieAgent）を含む最先端のベースラインに対して評価しました。

パフォーマンス: Co-Director は平均スコア81.4/100を達成し、次の最高のエージェント型ベースライン（MovieAgent の 65.3）やモノリシックモデル（Veo 3.1 の 63.6）を大幅に上回りました。
主要指標:
- ビジュアルアセット忠実度（VAF）: 82.1（Wan 2.6 の 67.0 対比）。
- 人口統計学的整合性（DA）: 91.4（MovieAgent の 81.3 対比）。
- マーケティングアピール（MA）: 82.0。
- ビジュアル品質（VQ）: 70.2。
アブレーション研究:
- MAB 最適化の除去（ランダムサーチ）により、平均スコアは 75.7 に低下しました。
- 局所的な自己洗練（ストーリーラインまたはキーフレーム）の除去は、物語の一貫性やアセットの忠実度に大幅な低下をもたらしました（例：キーフレーム洗練なしでは VAF が約 9.8 ポイント低下）。
- 「分解された報酬」の設計が決定的であることが証明されました。これを単一のスカラーに圧縮すると、パフォーマンスが 5.0 ポイント低下しました。
効率性: ウォームスタート付きの MAB は最初の数回のイテレーションで高品質な結果に収束しましたが、ランダムサーチは同様の構成を見つけるためにさらに多くのイテレーションを必要としました。

5. 意義

原則的な創造的自動化: Co-Director は、生成動画が単純なプロンプト追従を超えて戦略的創造的推論へと移行し、新しいアイデアの探索と実績のあるスタイルの利用を両立させることを実証しています。
独立系クリエイターへのスケーラビリティ: スクリプト、視覚的一貫性、ディレクションの複雑な調整を自動化することで、このフレームワークは以前は大規模なチームにしかアクセスできなかったハイクラスのシネマティック制作を民主化します。
堅牢な評価: GenAd-Bench の導入は、エンドツーエンドの生成ワークフローを評価するための新たな基準を設定し、現在のベンチマークにおける「記憶化バイアス」に特に対処しています。
汎用性: 広告での実証はされましたが、厳格な制約の処理とアイデンティティの維持というこのフレームワークの能力は、より広範なシネマティックな物語、短編映画、パーソナライズされたコンテンツ制作への適用可能性を示唆しています。

要約すると、Co-Directorは、エラーを起こしやすい線形生成パイプラインから、グローバルに最適化され、自己修正機能を持つエージェントシステムへのパラダイムシフトを表しており、物語の一貫性、視覚的一貫性、戦略的整合性において最先端の結果を達成しています。