技術概要：DirectorBench

問題定義

長編動画生成は、短い単一シーンの合成から、映画のような制御、音声統合、およびクロスモーダル同期を必要とする、数分間のマルチショット物語へと進化している。しかし、既存の評価ベンチマークはこの新しいパラダイムには不十分である。現在の指標は主に、局所的な視覚忠実度、短時間範囲の時間的整合性、または汎用的なプロンプト整合性に焦点を当てている。これらは、マルチステージのエージェントシステムにおけるワークフローの失敗を診断できず、音声やクロスモーダル協調を見落とし、ユーザー依存の好みを無視した単一の集計スコアに品質を縮小してしまう。その結果、ボトルネック（例えば、遷移品質対単一フレーム品質）を特定したり、異なるユーザープロファイルが同じ生成コンテンツをどのように知覚するかを評価したりできる診断ツールの欠如が存在する。

手法：DirectorBench

著者は、構造化されたメタデータ、ユーザープロファイル、および階層的なチェックポイントシステムを通じて長編動画生成を評価するために設計された、パーソナライズされたマルチエージェント診断ベンチマークであるDirectorBenchを導入する。

1. ベンチマーク構築

• メタデータ仕様: 本ベンチマークは、7 つのカテゴリ（物語、商業、教育、SF、映画、アクション、日常生活）にわたる 80 の構造化メタデータエントリを利用する。各エントリは、3 つのモダリティに対する客観的要件を定義する JSON ドキュメントである：
  • テキスト: 3 幕構成のストーリーアーク、ショットごとの脚本、対話、ナレーション。
  • 視覚: ショット記述、カメラワーク、照明、および一貫性制約（アイデンティティ、衣装、シーン）。
  • 音声: 対話、リップシンク、BGM、効果音、およびトーン制御。
• ユーザープロファイル: 7 つの異なるユーザープロファイル（$u_1 \dots u_7$）は、現実世界の好みを表す。各プロファイルは以下を定義する：
  • 優先重み: 4 つの次元（物語、視覚、音声、クロスモーダル同期）の相対的重要度。注：安定性はユーザーの好みではなく、システムレベルの指標として扱われる。
  • ハード制約: 違反した場合に重大なペナルティを課す、交渉の余地のない要件（例：完璧なリップシンク）。
  • ユーザーの嗜好: パーソナライズされたプロンプトを生成するために使用される、微細な美的嗜好と専門性レベル。
• パーソナライズされたプロンプト: LLM は、メタデータとユーザープロファイルを組み合わせることで、特定の作成指示（$p = g(m, u)$）を生成し、プロンプトがユーザーの専門性と優先重みを反映しつつ、同等の情報量を維持することを保証する。

2. 動的チェックポイント評価基準

多様な動画タイプに対応するため、DirectorBench は動的チェックポイント評価基準を採用する：

• コンテンツプロファイリング: 視覚言語モデルは、代表的なフレームと ASR 出力を分析し、18 のセマンティック属性（例：キャラクターの存在、対話、シーン変更）を持つ「コンテンツプロファイル」を生成する。
• チェックポイントの活性化: 5 つの次元（脚本、視覚、音声、クロスモーダル、安定性）にわたる 9 つのサブ指標に整理された40 のチェックポイントのレジストリが維持される。コンテンツプロファイルに基づき、関連するチェックポイントのみが活性化される（例：対話のない風景動画ではリップシンクチェックポイントはスキップされる）。
• スコアリング: 活性化されたチェックポイントは 1〜5 の順序尺度でスコア付けされ、[0, 1] に正規化され、コンテンツを考慮した重みで集約される。

3. マルチエージェント評価パイプライン

評価は、LangGraph を使用した有向非巡回グラフ（DAG）として実装され、4 つのフェーズから構成される：

• フェーズ 0（前処理）: ツールが構造化された信号（ショット境界、オプティカルフロー、音声分離、ASR、カラーヒストグラム）を抽出する。すべてのツールトレースは監査可能性のために記録される。
• フェーズ 1（専門エージェント評価）: 4 つの並列エージェント（脚本、視覚、音声、安定性）が、ツールコンテキストとコンテンツプロファイルを使用して、それぞれの次元を評価する。
• フェーズ 2（クロスモーダル評価）: 専用エージェントがテキストと動画の整合性、および動画と音声の同期を評価し、メタデータおよびツール出力に対して主張を検証する。
• フェーズ 3（診断統合）: オーケストレーターがスコアを構造化された診断レポートに集約する。これには以下が含まれる：
  • 次元ごとおよびプロファイル考慮の全体スコア。
  • 優先順位付けされたボトルネックリスト（低スコアのチェックポイント）。
  • 人間のレビューのための低信頼度フラグ。
  • 特定の失敗に紐付いた実行可能な推奨事項。

主要な貢献

1. DirectorBench フレームワーク: 80 のメタデータエントリ、7 つのユーザープロファイル、および 5 つの次元にわたる 40 のチェックポイント基準を備えた、パーソナライズされたマルチエージェント診断ベンチマーク。
2. 評価パイプライン: コンテンツに基づいてチェックポイントを活性化し、信頼度を考慮した集約を使用し、単一の集計スコアではなくチェックポイントレベルの診断レポートを生成する、動的かつツール強化されたパイプライン。
3. 実証分析: 4 つのエージェントワークフロー、6 つのベース LLM、および 7 つのユーザープロファイルの包括的な評価により、特定の失敗モードと、品質評価に対するパーソナライゼーションの影響を明らかにした。

実験結果と観察

著者は、4 つのワークフロー（MovieAgent、ViMax、Dreamina、Kling）、6 つのベース LLM、および 7 つのユーザープロファイルを評価した。

• ワークフローの特性とボトルネック:

  • ユニット間ボトルネック: すべてのワークフローにわたって最も持続的な失敗モードは遷移品質（平均スコア 0.256）と時間的整合性（0.405）である。最良のワークフロー（Kling）でさえ、遷移において 0.356 しかスコアしなかった。対照的に、単一フレームの忠実度とプロンプトの充足は著しく高かった（0.71）。
  • アーキテクチャのトレードオフ: クローズドソースのエージェント（Dreamina、Kling）はオープンソースのものを上回った。Dreamina はプロンプト遵守において優れていたが、増分的な編集アクションワークフローにより、ショット間の連続性において苦労した。Kling は共有キャンバスを通じてより良いグローバル整合性を維持したが、厳格な制約の保持を犠牲にした。
  • 動画タイプへの感受性: アクション動画は生成が最も困難なカテゴリであった（0.455）のに対し、映画のようなショットデザインは最も強かった（0.509）。

• ベース LLM の影響（RQ2）:

  • ベース LLM の選択は主に物語推論（脚本）とクロスモーダル協調に影響を与えた。
  • 視覚品質、音声忠実度、安定性は主にワークフローアーキテクチャによって支配され、ベース LLM の選択に対してほとんど影響を受けなかった。
  • 単一の LLM がすべての次元を支配することはなく、モデルは相補的な専門性を示した（例：脚本には Seed 2.0 Pro、音声には GLM-5.1）。

• パーソナライゼーションの必要性（RQ3）:

  • 汎用的な評価（等重み集約）は、ユーザー依存の変動を隠蔽する。同じ動画でも、ユーザープロファイル（例えば「視覚重視」ユーザー対「音声と感情」ユーザー）によって、10 パーセントポイント以上変動するスコアを受け得る。
  • 単一の集計スコアは、システムが特定のユーザー意図を満たしているかどうかを捉えられない。

• 人間との整合性:

  • 14 人の注釈者による人間評価は DirectorBench を検証した。人間の評価者は、ショット間の連続性とマルチモーダル整合性が現在のシステムの最も弱い側面であると同意し、ベンチマークのボトルネック検出と一致した。
  • 人間はまた、嗜好依存の品質変動が存在することを確認し、パーソナライズされた評価の必要性を支持した。

意義と主張

本論文は、DirectorBenchが、集計スコアを超えて診断的かつプロファイル考慮の洞察を提供することで、長編動画生成評価における重要なギャップを埋めると主張する。

• 診断的価値: 現在の長編生成における主要なボトルネックは個々のフレーム内ではなく、ユニット間（ショットとモダリティ）の連続性にあることを明らかにする。
• ワークフロー対モデル: 本研究は、品質においてワークフローアーキテクチャがベース LLM の選択よりも支配的な要因であることを示しており、最適化の優先順位はモデル選択よりもシステム設計（例えば、グローバル状態の伝播）に焦点を当てるべきであることを示唆する。
• ユーザー中心性: 本ベンチマークは、「品質」が絶対的なスカラーではなく、ユーザー意図の関数であることを証明する。汎用的な指標が隠蔽する失敗モードや品質変動を明らかにするためには、パーソナライズされた評価が必要である。

著者は、DirectorBench を、システムを単にランク付けするのではなく、特定のボトルネックを特定することで標的化された手法改善を導くツールとして位置づけている。モデルベースの評価者への依存に関する限界を認め、将来的な研究は、これらの診断信号を使用して標的化された再生成や修復メカニズムをトリガーすることでループを閉じることに焦点を当てるべきであると示唆している。