🤖 AI

DIRECT: Video Mashup Creation via Hierarchical Multi-Agent Planning and Intent-Guided Editing

この論文は、既存の動画編集フレームワークが抱える多層的なマルチモーダル調整の欠如を解決するため、シナリオ作成、編集意図の具体化、ショットシーケンスの最適化という3段階の階層的マルチエージェント計画を採用し、高品質な動画マッシュアップを生成する「DIRECT」フレームワークと、その評価基準となる「Mashup-Bench」を提案するものです。

原著者： Ke Li, Maoliang Li, Jialiang Chen, Jiayu Chen, Zihao Zheng, Shaoqi Wang, Xiang Chen

公開日 2026-04-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ke Li, Maoliang Li, Jialiang Chen, Jiayu Chen, Zihao Zheng, Shaoqi Wang, Xiang Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎬 物語：AI による「映画監督チーム」の誕生

これまで、AI が動画編集をするときは、ただ「意味が合うシーン」を並べるだけでした。でも、それだと音楽と映像がズレたり、つなぎ目がぎこちなかったりして、プロの作品にはなりませんでした。

そこで、この論文の著者たちは、**「人間の映画制作チーム」**の仕組みを AI に模倣させました。DIRECT というシステムは、3 人の異なる役割を持つ AI エージェント（助手）で構成されています。

1. シナリオライター（Screenwriter）：全体の「骨組み」を作る人

役割: 音楽の構成（イントロ、サビ、アウトロなど）と、手元にある膨大な映像素材の「雰囲気」を照らし合わせます。
アナロジー: 音楽が「物語のテンポ」なら、シナリオライターは**「どのシーンがどこに合うか」の地図**を描きます。
- 「イントロは緊張感あるアップショット」
- 「サビは派手な爆発シーン」
- 「クライマックスは激しい追跡シーン」
- このように、音楽の盛り上がりごとに「どんな映像を使うべきか」の大まかな計画を立てます。

2. 演出家（Director）：具体的な「指示」を出す人

役割: シナリオライターが作った大まかな計画を、実際の撮影現場で使える具体的な指示に変換します。
アナロジー: 演出家は**「現場の指揮官」**です。
- 「この部分は『走っている車』の映像が必要だ」
- 「でも、ただ走っているだけでなく、**『カメラの動きを滑らかに繋げること』**を最優先に選んでね」
- 「次のカットは、音楽のビートに合わせて**『2 拍ごとに切り替えて』**」
- このように、**「何を」「どう繋ぐか」「どのタイミングで切るか」**という詳細なルール（編集の意図）を、編集担当者に伝えます。

3. 編集者（Editor）：実際に「カット＆ペースト」する人

役割: 演出家の指示に従って、何万枚もある映像の断片から、最高の組み合わせを探し出し、実際に繋ぎ合わせます。
アナロジー: 編集者は**「職人」**です。
- 演出家の指示（「滑らかに繋げ」「ビートに合わせて」）を厳守しながら、**「どのフレームで切るのが一番自然か」**をミリ単位で計算します。
- もし、指示通りに映像が見つからなかったり、つなぎ目が不自然だったりすると、**「演出家」に報告して「指示を少し緩めて」**再挑戦します（これを「クローズドループ検証」と呼びます）。

🎵 なぜこれがすごいのか？（3 つの魔法）

このシステムが他の AI と違うのは、**「3 つのレベル」**で完璧を目指している点です。

全体の流れ（Global）:
- 音楽の「静」の部分は映像も静かに、「動」の部分は映像も激しく。全体として**「物語の起承転結」**が音楽と合っています。
セクションのまとまり（Local）:
- 特定のシーン（例：追跡シーン）の中では、カメラワークや動きが**「スムーズに流れる」**ように調整されます。
細部の精度（Low-Level）:
- 最も重要なのがここです。映像が切り替わる瞬間と、音楽の**「リズム（ビート）」がピタッと合っています**。また、前の映像の動きと次の映像の動きが**「自然に連続」**しているため、視聴者が「あれ？切り替わった？」と気づかないくらい滑らかです。

🏆 結果：プロ級の出来栄え

実験の結果、DIRECT は既存の AI 編集ツールよりも、**「視覚的な滑らかさ」や「音楽との同期」**において圧倒的に優れていることがわかりました。人間が評価しても、「プロが作ったような映像」として高く評価されました。

🚀 まとめ

簡単に言うと、DIRECT は**「音楽の魂を読み取り、それを映像で表現するための、3 人組の AI 映画監督チーム」**です。

シナリオライターが「全体像」を描き、
演出家が「具体的なルール」を決め、
編集者が「完璧なつなぎ目」を作る。

この連携プレーのおかげで、誰でも簡単に、プロのような「音楽と映像が一体になった」素晴らしい動画を作れるようになるのです。

参考: この技術は、映画のハイライト集や、アニメの音楽動画（AMV）などを作る際に、非常に役立ちます。

DIRECT: 階層的マルチエージェント計画と意図誘導編集によるビデオマッシュアップ作成

本論文は、既存の映像素材を再構成して高品質なオーディオビジュアル体験を創出する「ビデオマッシュアップ（映画のモンタージュやアニメミュージックビデオなど）」の自動化に関する研究です。既存の手法は意味的な整合性には焦点を当てていますが、視覚的な滑らかさや音楽との精密な同期といった「プロフェッショナルな流体性」を欠く傾向があります。この課題を解決するため、著者らはDIRECT（Dynamic Intent for Retrieval & Editing for Cinematic Transitions）という階層的マルチエージェントフレームワークを提案しています。

以下に、本論文の技術的概要を問題定義、手法、主要な貢献、結果、意義の観点から詳述します。

1. 問題定義：マルチモーダル整合性充足問題 (MMCSP)

従来の自動編集フレームワークは、スクリプトに基づく意味検索に依存しており、ショット間の視覚的連続性（動きの流暢さ、構図の一致）や音楽とのリズム同期（ビートカット、エネルギー対応）を十分に考慮していません。

著者らは、ビデオマッシュアップ作成を**「マルチモーダル整合性充足問題（Multimodal Coherency Satisfaction Problem: MMCSP）」**として定式化しました。これは、以下の 3 つの階層的な制約を同時に満たす最適化問題です。

グローバル構造の整合性 (Global Structural Alignment):
- 物語の進行、視覚要素、音楽の展開を統一的なタイムラインで整合させる。
- 例：イントロには緊張感のあるクローズアップ、クライマックスには爆発的な映像を配置する。
ローカルセグメントの凝集性 (Local Segment Cohesion):
- 個々のセグメント内で、視覚コンテンツと編集スタイル（編集意図）がシナジーを生むように調整する。
- 例：追跡シーンでは「動きの連続性」を優先し、感情的なシーンでは「安定したロングショット」を優先する。
低レベルの整合性 (Low-Level Coherency):
- ショット間の遷移における微細な視覚的連続性（光流、構図）と、音楽ビートとの精密な同期を数値指標で最適化する。

これらは単一のモデルでは解決が困難なため、高レベルの推論と低レベルの最適化を統合する階層的アプローチが必要とされます。

2. 手法：DIRECT フレームワーク

DIRECT は、プロの制作パイプライン（脚本家、監督、編集者）を模倣した 3 つの協調エージェントで構成されています。

A. 前処理と素材ライブラリの構築

生映像をショットに分割し、CLIP（意味埋め込み）、RAFT（光流）、U2-Net（注目領域）などのモデルを用いてフレームレベルの特性を抽出・事前計算します。
意味的クラスタリングとキャプション生成により、大規模なライブラリを構造化された「素材サマリー」として整理します。

B. 3 つの協調エージェント

スクリーンライター (Screenwriter) - グローバル構造のアンカー
- 役割: 音楽の構造（イントロ、サビなど）と映像素材の概要を分析し、グローバルな構造計画を立案します。
- 機能: 音楽プロファイルと映像サマリーを統合し、各音楽セクションに対応する視覚的キーワード（例：「緊迫した」「高速な」）を生成します。これにより、物語の弧と音楽の進行を整合させます。
ディレクター (Director) - 意図の具体化とガイダンス
- 役割: 抽象的な構造計画を具体的な編集ガイダンスに変換し、ローカルな凝集性を確保します。
- 機能:
  - 検索クエリの生成: 抽象的なキーワードを具体的な視覚的クエリ（例：「街を走るバイク」）に変換。
  - 編集ヒューリスティックの選択: 各セグメントの意図に応じて、最適化の重み付け（例：「動きの連続性優先」か「意味的精度優先」か）を決定。
  - リズムペーシング: ビート数に基づきショットの長さを決定。
  - 閉ループ検証: エディターが返した候補がガイドラインに適合しない場合、クエリを緩和・変更して再試行する（失敗回避メカニズム）。
エディター (Editor) - 意図誘導シーケンス編集
- 役割: ディレクターのガイダンスに基づき、低レベルの整合性指標を最大化するショットシーケンスを検索・構成します。
- 機能:
  - 制約付きパス探索: ビームサーチアルゴリズムを使用。
  - 動的スライディングウィンドウ・トリミング: 各ショット内で最適なカットポイントを微調整し、前のショットとの視覚的連続性（光流、構図）と音楽ビートの同期をフレームレベルで最大化します。
  - 事前計算された特徴量を利用することで、推論なしで高速にスコア評価を行います。

3. 主要な貢献

MMCSP の定式化: ビデオマッシュアップ作成を、高レベルの知覚目標と低レベルの明示的指標を統合した最適化問題として初めて定式化しました。
DIRECT フレームワークの提案: MLLM（大規模マルチモーダルモデル）エージェントの階層的計画と、微細なマルチモーダル最適化を統合したシステムを構築しました。
Mashup-Bench の構築: 視覚的連続性と聴覚的同期に特化した評価指標を備えた、初めての包括的なビデオマッシュアップ評価ベンチマークを構築しました。

4. 実験結果

Mashup-Bench（15 作品、38 動画、64,000 ショット、10 曲）を用いた評価において、DIRECT は以下の点で既存の最先端手法（T2V, MMSC, VideoAgent など）を大幅に上回りました。

客観的指標:
- 視覚的連続性: ショット間の動きの連続性（ $m_3$ ）や構図の整合性（ $m_4$ ）において、他手法を大きく凌駕しました。
- 聴覚的整合性: ビートカット同期（ $m_5$ ）や音楽エネルギーと映像ダイナミズムの対応（ $m_6$ ）において、高い精度を達成しました。
主観的評価:
- 人間の評価者による調査では、「グローバル構造の整合性」および「ローカルセグメントの凝集性」の両面で、最良のベースライン（VideoAgent）を 40% 以上上回るスコアを獲得しました。
- 特に、プロフェッショナルな編集 aesthetics（美意識）を反映した結果が得られました。

アブレーション研究:

スクリーンライターやディレクターを除去すると、低レベル指標には影響が少ないものの、高レベルの構造や凝集性が著しく低下することが確認されました。
動的なトリミング機構を除去すると、視覚的連続性が大幅に低下し、この機構の重要性が示されました。

5. 意義と結論

本論文の DIRECT は、単なる意味的なショットの羅列ではなく、**「音楽の展開に合わせた物語構造」と「視覚的・聴覚的な微細な同期」**を両立させることで、プロフェッショナルレベルのビデオマッシュアップを自動化する画期的なアプローチです。

技術的意義: 大規模言語モデル（LLM）の計画能力と、低レベルの視覚最適化アルゴリズムを階層的に組み合わせることで、複雑なマルチモーダルタスクを解決する新しいパラダイムを示しました。
実用性: 映画、アニメ、音楽ビデオなどの編集において、専門的な編集スキルを持たないユーザーでも高品質なコンテンツを生成できる可能性を開きました。
将来展望: 本フレームワークは、より広範なビデオ編集タスクや、多様なマルチモーダル資産の意図誘導検索・編成へ拡張可能であるとしています。

要約すれば、DIRECT は「脚本家（全体構成）」「監督（編集意図の具体化）」「編集者（微細な最適化）」という役割分担により、人間のプロフェッショナルな編集ワークフローを AI によって再現し、既存の自動編集手法が抱えていた「不自然な切り替え」や「リズムのズレ」といった課題を解決した画期的なシステムです。