技術概要：AgenticVBench

問題定義

現在のマルチモーダルベンチマークは、主に単発の質問応答（QA）設定を通じて AI エージェントを評価しており、複雑な多段階ワークフローよりも知覚と推論に焦点を当てています。既存のエージェント向けベンチマークは、主にソフトウェアエンジニアリングまたは一般的なデスクトップ制御を標的としており、現実のビデオ制作に必要な特定の複合能力に対処できていません。これらの能力には、長期的な計画、テキスト、画像、音声、ビデオにわたる複合的な理解、および技術的かつ編集的な制約を満たすためにメディアファイルを操作する能力が含まれます。このギャップは、専門的なポストプロダクションタスクを実行できるモデルとハネス（エージェントフレームワーク）の体系的な設計を妨げています。

手法

これに対処するため、著者らはポストプロダクションワークフロー全体にわたる 4 つの異なるタスクファミリーにまたがる 100 のエージェントタスクからなるベンチマーク「AgenticVBench」を導入しました。ベンチマークの構築には、伝統的な映画スタジオ、AI 映画スタジオ、ビデオエージェント企業、およびインディペンデント・クリエイターの背景を持つ、平均 6 年の専門的経験を持つ 20 名の業界専門家が含まれました。

タスクファミリー

4 つのタスクファミリーは、完全なマルチモーダルスタックを網羅し、人間の完了時間が 0.5 時間から 1 週間まで広がるように設計されています：

1. アセンブリ（Assembly）： ストーリーボードに一致するクリップを選択する。エージェントは、ショット記述と映画学的変数（ショットサイズ、角度、レンズ、動き）で定義された 3〜6 つのスロットを持つストーリーボードを受け取り、AI 生成のダミーを含む候補セットから正しい「ゴールデン」クリップを選択する必要があります。
2. リペア（Repair）： 技術的欠陥を発見し修正する。エージェントは、注入された欠陥（音声、視覚、またはタイムライン）を含む壊れたビデオと、明確なタイムスタンプなしで問題を記述するプロンプトを受け取ります。欠陥を特定し、修正を適用し、レポートを生成する必要があります。
3. シーケンシング（Sequencing）： 順序が入れ替わったショットの順序を復元する。ストーリーの概要とシャッフルされたクリップが与えられた場合、エージェントは正しい物語の順序を回復する必要があります。
4. リパース（Repurpose）： 長いソースビデオを、要約、予告編、ソーシャルカットなどのブリーフに基づく短い成果物に変換する。これはオープンエンドなタスクであり、エージェントはクリエイティブブリーフに基づいて 4 分〜3 時間のビデオを要約する必要があり、唯一の正解はありません。

評価フレームワーク

評価は、プログラム検証器と専門家ルブリックを組み合わせます：

• プログラム検証器： アセンブリ、リペア、シーケンシング、およびリパースの「フォーマット」柱に使用されます。これらは、クリップ選択の精度、欠陥の局在化精度、正規化距離や最長増加部分列（Longest Increasing Subsequence）などの物語順序メトリクスなど、決定論的なチェックを提供します。
• 専門家ルブリック： リパースの「視覚」、「物語」、「音響」の柱に使用されます。これらは再現性を確保するために専門家によって作成された二値（はい/いいえ）項目で構成され、シーンの保存、物語の弧、音声の同期などの側面を網羅しています。

実験設定

著者らは、Claude Opus 4.7、GPT-5.5、Qwen3-VL-235B などを含む 7 つの最先端ビジョン言語モデル（VLM）を評価しました。これらは、モデルとハネスの 20 組み合わせでテストされました：

• ベンダーネイティブハネス： Claude Code CLI、Codex CLI、Gemini CLI。
• オープンソースハネス： OpenClaw、OpenCode。
  各タスクは、固定されたツールスキーマとランダムシードで 3 回実行されました。人間のベースラインは、同じ制約の下で作業する訓練された編集者によって確立されました。

主要な結果

評価は、現在の AI エージェントと人間の専門家との間に大きな性能差があることを明らかにしました：

• 全体的な性能： 最高性能のエージェントスタックはわずか**31%**のスコアを達成し、人間の専門家の性能（タスクファミリーによって 0.81 から 0.95 の範囲）を大幅に下回りました。最良のエージェントと人間の専門家との間のギャップは、43 から 65 パーセントポイントでした。
• タスク固有の失敗：
  • リパース： ここに最大のギャップ（65 ポイント）が発生し、主に長文脈情報の損失が原因でした。エージェントは、アセンブリ段階に到達する前に、文字起こしやサムネイル化でロールアウト予算を使い果たすことが多かったです。
  • リペア： 支配的な失敗モードは時間的推論であり、エージェントは有効なビデオファイルを生成しましたが、欠陥ウィンドウの局在化を誤りました（中央値の誤差は 15〜100 秒以上）。
  • アセンブリ： エージェントは映画学的変数（ショットサイズ、角度）よりも散文的な記述に強く依存していましたが、人間の編集者はこれらの変数を優先します。
• ハネス設計の影響： ハネスの選択は性能に大きく影響し、同じモデルであっても20 パーセントポイントの差が生じました。
  • ツール使用パターン： 操作をバッチ処理する「スマートな並列化器」（例：Codex を使用した GPT-5.5）は、単一のツールにロックオンする「直接実行器」よりも優れた性能を発揮しました。
  • マルチモーダルプリミティブ： 特定のモダリティ向けの型付きプリミティブを持つハネス（例：OpenClaw の画像/TTS ルーティング）は、シーケンシングではより良い性能を可能にしましたが、直接のピクセルアクセスの欠如により、アセンブリでは性能が低下することがありました。逆に、一般的なシェルツールに依存するハネスは、エージェントにマルチモーダルパイプラインをゼロから構築させ、しばしば失敗に終わらせました。

意義と主張

本論文は、AgenticVBench をエージェント型ビデオ制作分野の基礎的な診断ツールとして位置づけています。主な貢献は以下の通りです：

1. 体系的な網羅性： 完全なテキスト・画像・ビデオ・音声スタックにわたる 4 つの主要なポストプロダクションタスクファミリーを体系的に網羅した最初のベンチマークです。
2. 制作のリアリズム： タスクは業界専門家によって現実のワークフローに基づいて作成されており、厳格な品質管理と専門的な基準への関連性を保証しています。
3. 診断的価値： 結果は、現在の最先端モデルが専門家の性能から遠く離れており、ハネス設計がエージェント能力における第一順の変数であることを示しています。本論文は、この分野での進歩には、より強力なマルチモーダルモデルだけでなく、より優れたツールインターフェース、状態管理、ワークフローを考慮したハネス設計が必要であると主張しています。
4. オープン仕様： 著者らは、再現可能な研究の促進と、より安全で能力の高いエージェント型ビデオシステムの開発を支援するために、完全な評価ルブリックと仕様を公開しています。

著者らは、AI エージェントは視聴可能な出力を生成できるものの、専門的なポストプロダクションに必要な複合的な推論とツールの使用の信頼性が欠如しており、継続的な人間の監督が必要であると結論付けています。