UniVBench: Towards Unified Evaluation for Video Foundation Models

本論文は、既存の評価基準の限界を克服し、動画理解・生成・編集・再構築の 4 つの能力を包括的に評価するための新たなベンチマーク「UniVBench」と、それを標準的に測定するエージェント評価システム「UniV-Eval」を提案するものである。

要約

この論文「UniVBench」は、これからの AI 動画生成の世界をより良くするための**「新しい試験問題と採点システム」**の提案です。

これまでの AI 動画研究は、まるで**「料理のテスト」がバラバラに行われているような状態**でした。

• 「野菜を切る」ことだけテストする人（動画理解）
• 「パスタを作る」ことだけテストする人（動画生成）
• 「パスタの味を直す」ことだけテストする人（動画編集）

それぞれが別の先生に採点され、使っている食材（データ）も違えば、採点基準（メトリクス）もバラバラでした。そのため、「この AI は野菜もパスタも味直しも全部上手にできる『万能シェフ』になれるのか？」を正しく測ることができませんでした。

この論文は、そんな状況を解決するために、**「UniVBench（ユニ・ブENCH）」という新しい試験会場と、「UniV-Eval（ユニ・エヴァル）」**という新しい採点システムを作りました。

以下に、わかりやすい比喩を使って解説します。

1. 試験会場（データセット）：「200 本の映画のような動画」

これまでのテストは、短いクリップやネットから拾った動画が使われていましたが、UniVBench は**「プロの映画監督が脚本を書いて、撮影した 200 本の動画」**を使います。

• 多様なシーン: 単なる「猫が走る」だけでなく、「夕暮れ時の路地裏で、犬と浣腸が挨拶をする」といった、複雑なストーリーやカメラワーク（ズーム、アングル、照明）が含まれています。
• 著作権フリー: 既存の映画やネット動画を勝手に使うのではなく、ゼロから作り上げたので、著作権の問題もありません。
• 詳細な脚本: 各動画には、「誰が、どこで、どんな光の中で、どんな動きをしたか」を細かく記した「脚本（キャプション）」が用意されています。

2. 新しいテスト項目：「6 つの料理実習」

この試験では、AI に以下の 6 つの異なるタスクをこなさせます。

1. V2T（動画→説明）: 動画を見て、「何が起こっているか」を詳しく説明する（料理の味見とレシピ作成）。
2. T2V（説明→動画）: 文章を読んで、その通りの動画を生成する（レシピを見て料理を作る）。
3. R2V（画像→動画）: 参考画像を見ながら、その世界観の動画を生成する（写真を見て料理を再現する）。
4. TV2V（動画編集）: 既存の動画の「主人公の服を変えて」など、指示通りに編集する（料理の味付けを直す）。
5. RV2V（画像編集）: 参考画像を元に、動画の特定の部分を差し替える（写真の背景を変えて料理を撮影し直す）。
6. V2V（動画再構築）: 【これが新設！】 動画を見て説明し、その説明から再び動画を生成する。
   • 比喩: 「料理を見てレシピを書く」→「そのレシピでまた料理を作る」。もしレシピが間違っていれば、出来上がった料理も違うものになります。これで「理解力」と「生成力」の両方を同時にチェックできます。

3. 採点システム（UniV-Eval）：「AI 映画批評家」

これまでの採点は「100 点満点中 80 点」のように、**「一つの数字」**で終わってしまっていました。これでは「どこが良くて、どこが悪かったか」がわかりません。

UniVBench では、**「AI 映画批評家（エージェント）」が、以下の 8 つの視点から、動画の「ショット（カット）ごと」**に詳しく採点します。

• 登場人物: 顔や服は崩れていないか？
• 背景: 部屋や街並みは正しいか？
• 動き: 動作は自然か？
• カメラワーク: ズームやアングルは指示通りか？
• 色と光: 照明や色合いは雰囲気通りか？
• 空間関係: 人物とカメラの距離感は正しいか？

**「このシーンでは、主人公の服の色が少し違う（減点 2 点）。でも、背景の照明は完璧（満点）」というように、「弱点チェックリスト」**としてフィードバックしてくれます。これにより、開発者は「ここを直せばもっと良くなる」という具体的なアドバイスが得られます。

4. 実験結果：「まだ完全な万能シェフはいない」

この新しい試験で、最新の AI モデルをテストしたところ、面白い結果が出ました。

• 得意な分野: 「動画を作る（生成）」ことには非常に強い AI が多いですが、「動画を見て説明する（理解）」ことには弱いものが多いです。
• 苦手な分野: 複雑な「動き（アクション）」の描写や、複数のショットをつなぐ「物語のつながり」は、どの AI もまだ苦戦しています。
• 結論: 今のところ、「理解・生成・編集」のすべてを完璧にこなす「完全な万能シェフ」は存在しません。しかし、この試験システムがあれば、AI がどこでつまずいているかが明確になり、より賢い AI を作るための道筋が見えてきます。

まとめ

この論文は、**「バラバラだった AI 動画のテストを、一つの大きな映画祭のように統一し、プロの批評家が細かく採点する」**という新しい基準を作りました。

これにより、AI 開発者は「なんとなく良い動画が作れた」という曖昧な感覚ではなく、「照明は完璧だが、人物の動きが不自然だ」という具体的な弱点を把握できるようになります。これが、次世代の「何でもできる動画 AI」を実現するための重要な第一歩です。

技術概要

UniVBench: 動画基盤モデルの統合評価に向けた技術サマリー

本論文「UniVBench: Towards Unified Evaluation for Video Foundation Models」は、動画の「理解」「生成」「編集」「再構築」を単一のフレームワークで統合する次世代のマルチモーダルシステム（動画基盤モデル）の評価において、既存のベンチマークが抱える課題を解決し、統合的な評価基準を確立することを目的としています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

現在の動画基盤モデルの評価には、以下の3つの根本的な限界が存在します。

1. タスク特化型かつ断片化された評価:
   • 既存のベンチマークは「動画理解（キャプション生成）」「動画生成（テキスト→動画）」「動画編集」のいずれか単一のタスクに特化しており、これらを統合的に評価する枠組みが欠如しています。
   • 理解モデルは生成ができず、生成モデルは推論が苦手というように、モデルの能力が分断されたまま評価されています。
2. データとコンテンツの限界:
   • 多くの既存データセットは著作権のあるウェブ動画を使用しており、評価データの汚染（データリーク）や法的な問題（編集・再構築時の著作権侵害リスク）を孕んでいます。
   • 動画が「シングルショット（1 切り）」に限定されており、現実世界の複雑な「マルチショット（複数カット）」の物語性や時間的連続性を評価できません。
3. 評価指標の断片化と解釈性の欠如:
   • 理解タスクには BLEU/CIDEr、生成タスクには FVD/CLIPScore など、タスクごとに異なる指標が使用されており、モデル間の公平な比較が困難です。
   • 単一のスコア（スカラー値）では、モデルの強み・弱みの詳細な分析や、学習への具体的なフィードバックが得られません。また、映画学的な要素（照明、色彩、カメラワークなど）の体系的な評価が不足しています。

2. 手法と提案 (Methodology)

著者らは、これらの課題を解決するために、UniVBench（統合評価ベンチマーク）と、それを運用するUniV-Eval（統合エージェント評価システム）を提案しました。

A. UniVBench データセット

• 規模と構成: 200 本の高品質な動画（100 本はシングルショット、100 本は平均 3.72 カットからなるマルチショット）で構成されます。
• コンテンツ: すべて人間が作成した著作権フリーのオリジナルコンテンツであり、編集や再構築における法的・倫理的な懸念を排除しています。
• アノテーション: 各動画には、以下の詳細な情報が付与されています。
  • 詳細なキャプション: 8 つの主要な映画学的次元（スタイル、被写体、動作、背景、カメラ、照明、色彩、空間関係）と 21 の細分化されたサブ次元を網羅。
  • 編集指示: テキストおよび参照画像を用いた多様な編集タスク（TV2V, RV2V）のための指示。
  • 参照画像: 参照画像生成タスク（R2V, RV2V）用の多様な高忠実度画像（864 枚）。
• 新タスクの導入: 「Video Reconstruction (V2V)」という新しいタスクを導入しました。モデルに動画を理解させて詳細なキャプションを生成させ、そのキャプションに基づいて動画を再構築させることで、「理解能力」と「生成能力」の結合（カップリング）を直接評価します。

B. UniV-Eval 評価システム

従来の固定されたスコアリングではなく、エージェントベースの動的評価システムを採用しています。

• 分解と計画: 入力された動画（または指示）をショット単位に分解し、参照画像や指示を各ショットにマッピングします。
• ショットレベルの微細評価: 9 つのカテゴリ（被写体、相対位置、動作、背景、色彩、照明、スタイル、雰囲気、カメラ情報）に基づき、生成結果と入力（元動画・指示）を比較します。
• チェックリストとフィードバック: 単一のスコアではなく、各次元ごとの「弱点チェックリスト」と「改善提案」を生成します。これにより、どの部分（知覚か生成か）で失敗したかを特定できます。
• LLM-as-a-Judge の活用: 評価には Vision-Language モデル（Seed-1.6 など）を使用し、人間のアノテーションと高い整合性（約 85% の一致）を保ちつつ、スケーラブルな評価を実現します。

3. 主要な貢献 (Key Contributions)

1. 初の統合マルチショット動画データセット:
   • 著作権の問題がなく、理解・生成・編集・再構築の 4 つの能力を同時に評価できる、200 本の多様なマルチショット動画データセットを提供しました。
2. 統合エージェント評価システム (UniV-Eval):
   • 6 つのタスク（V2T, T2V, R2V, TV2V, RV2V, V2V）に対して、プロンプト、指示解析、多次元スコアリングを標準化しました。これにより、モデルの能力と失敗の原因を「知覚」と「生成」の観点から厳密に帰属（アトリビューション）させることが可能になりました。
3. 映画学的評価の体系化:
   • 8 つの主要次元と 21 のサブ次元に分解された評価基準を確立し、既存のベンチマークが網羅していなかった映画学的な質（照明、色彩、空間的一貫性など）を全タスクで体系的に評価できるようにしました。

4. 実験結果 (Results)

UniVBench による 200 以上のモデル（商用 API、オープンソースモデル）の評価結果から、以下の知見が得られました。

• タスク特化と統合のギャップ:
  • 単一タスクに特化したモデル（例：Gemini 2.5 Pro は理解、Seedance-1.0-Pro は生成）はそれぞれの分野で高い性能を示しますが、統合モデル（Unified Models）は全タスクで高い性能を発揮できていません。
  • 統合モデルは、理解タスク（V2T）や生成タスク（T2V）のいずれか一方において、特化モデルに比べて著しく低いスコアを示す傾向があります。
• 「動作（Action）」次元の難しさ:
  • どのタスクにおいても、モデルは複雑な時間的ダイナミクス（動作）の理解と合成において最も低いスコアを示しました。これは、時間的整合性を保つことが現在のモデルにとって最大の課題であることを示唆しています。
• スタイル制御の優位性:
  • 一方、生成モデルは「色彩」「照明」「スタイル」などの視覚的アトリビュートについては比較的高い制御能力を示しました。
• 再構築タスク（V2V）の示唆:
  • V2V タスク（動画→テキスト→動画）において、再構築された動画と元動画の間に大きな不一致が見られました。これは、モデルが動画を正確に「理解（キャプション化）」できず、その結果として「生成」が劣化していることを意味し、知覚と生成の間の情報伝達損失が顕在化しています。

5. 意義と将来展望 (Significance)

• 統一された評価の基盤: UniVBench は、動画基盤モデルが「汎用的な指示追従型動画知能」へと進化するための、最初の包括的な評価フレームワークです。
• 開発への指針: 単なるスコアリングではなく、ショットレベルの微細なフィードバックを提供することで、研究者がモデルのどのコンポーネント（知覚か生成か、どの映画学的要素か）を改善すべきかを明確にできます。
• 今後の展望: 現在のデータセット規模（200 本）は評価には十分ですが、将来的にはさらに大規模なデータセットへの拡張や、より高度な統合モデルの検証に本ベンチマークを活用することが目指されています。

総じて、本論文は動画 AI の分野において、断片化された評価を「統合的・体系的・解釈可能」なものへと転換し、次世代の動画基盤モデル開発の指針を示す重要な貢献です。