技術要約: AVE-Compass および AVE-Agent

1. 問題提起

指示ベースのビデオ編集は急速に進歩しているが、既存のシステムやベンチマークは、主に無音クリップの視覚的変換、または孤立したオーディオ編集に焦点を当てている。しかし、現実世界のビデオは、視覚的なダイナミクス、前景の音、背景のアンビエンス、および音声が相互に作用することで意味が生じる、密接に結合された音響・視覚信号で構成されている。現在のモデルは、複雑なクロスモーダル（相互様式）の指示を実行することに苦慮している（例：アクションの変化に合わせて音を変更する、あるいは視覚的なターゲットが削除された際に音響的な痕跡を削除するなど）。これらは、非ターゲットのコンテンツを保持しながら実行される必要がある。

既存のベンチマークは、以下の理由により、これらの能力を評価するには不十分である：

• 視覚的な変換を伴う無音ビデオ、または孤立したオーディオ生成に焦点を当てている。
• クロスモーダルな一貫性と、暗黙的な同期制約の評価が欠けている。
• 背景音の歪みやリップシンクの喪失といった、オーディオ・ビジュアル編集における特定の失敗を診断できない粗い粒度の指標に依存している。

2. メソドロジー

A. AVE-Compass: 包括的なベンチマーク

著者らは、自由形式のオーディオ・ビジュアル編集を評価するために設計されたベンチマーク、AVE-Compassを導入する。

• データセットの構成: 145の厳選されたソースビデオ（多様なドメイン、ショット数、スタイルにわたる）と、196のオーディオ・ビジュアルが結合された編集指示で構成されている。
• 指示のタイプ: 指示は、結合されたオーディオ・ビジュアル、音声（スピーチ）、ビデオのみ、およびオーディオのみの編集という4つのブランチをカバーしている。これらは28の微細な操作タイプに分類され、オブジェクトのローカライゼーション、オーディオの複雑さ、およびクロスモーダルな連関に関する難易度ラベルが付与されている。
• 評価プロトコル: ベンチマークは、パフォーマンスを以下の4つの次元にデカップル（分離）して評価する：
  1. 指示への追従性 (Instruction Following - IF): 原子的なYes/No形式のチェックリスト質問を用いて、要求された修正が意図したターゲットに対して正しく適用されているかを評価する。
  2. 忠実性の保持 (Fidelity Preserving - FP): 編集されていないコンテンツ（視覚および聴覚）がソースと一致し続けているか、また意図しないコンテンツが導入されていないかを評価する。
  3. リアリズム (Realism - REAL): 専用のMLLM（マルチモーダル大規模言語モデル）によるルーブリックを用い、編集されたクリップの知覚的な妥当性と物理的な一貫性を判断する。
  4. 編集意図 (Editing Intent - EI): IFとFPの積として定義される主要な指標であり、非ターゲットのコンテンツを保持しながら、編集を完全に実行したことを評価する。
• 指標: 評価は、MLLMによる判定（2,688個の微細なチェックリスト項目を使用）と、クロスモーダル同期（リップシンク、AV同期）、ビデオ品質（審美性、被写体の一貫性、動きの滑らかさ）、およびオーディオ品質（審美性、音声品質）のための自動化された指標を組み合わせている。

B. AVE-Agent: モジュール型編集フレームワーク

現在のモデルの限界に対処するため、著者らはプランニングベースのエージェントフレームワークであるAVE-Agentを提案する。

• Planner Agent (プランナー・エージェント): 抽象的なユーザー指示を、実行可能で依存関係を考慮したサブタスクのDAG（有向非巡回グラフ）に変換する。入力クリップを分析し、明示的な要件と暗黙的なクロスモーダルな影響を特定し、タスクをモダリティ固有のサブタスクと実行可能な評価基準へと分解する。
• Executor Agent (エキゼキューター・エージェント): 自己チェックの反射ループを用いて、サブタスクを具体的な操作（ビデオ、オーディオ、またはスピーチ）に接地させる。高レベルの意図をツール固有のプロンプトにコンパイルし、タスクを実行し、プランナーの基準に対して出力を評価する。出力が失敗した場合、「インプルーバー（改善器）」が、盲目的に再試行するのではなく、特定のエラーをターゲットにするようにガイダンスを書き換える。
• Mixed Evaluator Agent (混合評価エージェント): 組み立てられたクリップを検査し、グローバルな一貫性、指示への追従性、および忠実性を確認する。検出された問題を解決するために、不必要な再計算を行うことなく、最もコストの低い是正措置（例：リミックス、サブタスクの再生成、またはフルリプランニング）を決定する。

3. 主な貢献

1. AVE-Compass ベンチマーク: 145のビデオ、196の結合された指示、および2,688のチェックリスト項目を備えた包括的なデータセットであり、同期されたクロスモーダル編集と厳格な非ターゲットコンテンツの保持を必要とする現実的なシナリオを特に対象としている。
2. デカップルされた評価プロトコル: 指示への追従、忠実性の保持、リアリズム、および編集意図をカバーするフレームワークであり、不完全な編集、コンテンツのドリフト、低リアリズム、および不整合の診断を可能にする。
3. AVE-Agent フレームワーク: 指示をサブタスクに分解し、自己反射を利用して、複雑な結合編集シナリオにおける編集品質とアライメントを向上させる、モジュール型のプランニングベースのエージェント。

4. 実験結果

著者らは、AVE-Compass上で6つのシステム（Wan2.7, HappyHorse, Gemini-Omni, Seedance, LTX2, および AVE-Agentを含む）を評価した。

• AVE-Agent の性能: AVE-Agentは、編集意図（59.8）および指示への追従性（77.3）において最高のスコアを獲得し、ベースラインを大幅に上回った。特にオーディオ側の指示追従性と、オーディオ・ビジュアルの同期において顕著な向上を示した。
• ベースラインのトレードオフ: 現在のモデルは、指示への追従性と忠実性の保持のバランスを取ることに苦慮している。
  • LTX2のようなモデルは、ビデオ全体を再生成することによって指示に従うことが多く、その結果、忠実性の保持が低くなる。
  • Gemini-OmniやSeedanceのようなモデルは、高い保持スコアを得るために元のビデオやオーディオをそのまま返すことがあり、指示の実行に失敗している（指示への追従性が低い）。
• リアリズムのギャップ: 一部のモデルは高い自動化品質スコア（例：ビデオ/オーディオの審美性）を達成したが、リアリズムのスコアは著しく低かった。これは、編集された結果における物理的世界の理解や論理的妥当性の欠如を示唆している。
• 堅牢性: AVE-Agentは、ベースラインと比較して、ソースビデオの長さ、オブジェクトのローカライゼーションの難易度、オーディオの複雑さ、およびクロスモーダルな連関の度合いの変化に対して、より安定したパフォーマンスを維持した。
• 指標の妥当性: 本研究により、自動化された指標と主観的なMLLMによる判定は、質に関する異なる側面を捉える、概ね直交するものであることが確認された。評価指標における人間とLLMの一致度は平均して90%に近い値であった。

5. 重要性

本論文は、AVE-CompassとAVE-Agentが、分野を孤立したピクセルレベルの修正から、物理的および知覚的に一貫したマルチモーダル編集へと進展させる一歩であると主張している。非ターゲットコンテンツの保持を、指示の実行と並行して体系的に評価することで、本ベンチマークは、最先端のモデルがいまだにクロスモーダル操作のプランニングや同期制約の強制のための明示的なメカニズムを欠いていることを明らかにしている。提案されたエージェントフレームワークは、複雑な指示を依存関係のあるサブタスクに分解し、反復的な自己反射を用いることで、結合されたオーディオ・ビジュアル編集タスクにおける編集品質とアライメントを効果的に向上させられることを示している。