コンピュータが映画を夢想できる、そんな世界を想像してみてください。「スケートボードに乗った猫」という単純な一文から、動く映像を作り出すことができる世界です。これは、人工知能が指示を読み取るだけで動画を作成・編集することを学ぶ分野、**ビデオ生成（video generation）**というエキサイティングな最前線です。しかし、ここで難しい問題があります。どうすれば、コンピュータが「良い仕事」をしたかどうかを知ることができるのでしょうか？ 以前は、科学者たちは、あらゆる問題に対して同じ数学のテストを課す教師のように、固定されたチェックリストを使ってAI映画を採点しようとしてきました。もしプロンプトが特定の数の風船を求めていたとしても、固定されたテストではそれを見逃してしまうかもしれません。もしプロンプトが、クリップ全体を通してキャラクターの顔が変わらないことを求めていたとしても、標準的なテストでは顔が変わってしまったことに気づかないかもしれません。これらのAI映画は非常に創造的で多様であるため、画一的な採点システムでは、真の魔法、あるいは真のミスを捉えきれないことが多いのです。

そこで登場したのが、固定されたテストというよりも、スマートでカスタムメイドの探偵物語のような、AI動画を採点するための新しい方法、VideoArgusです。VideoArgusは、すべての動画リクエストに対して単一の不変のルールブックを使うのではなく、各動画のリクエストに特化した優れたエディターのように振る舞い、そのジョブ専用の新しいカスタム・ルーブリック（採点基準）を書き上げます。それはプロンプト、画像、そして目標を読み取り、「よし、この特定の動画については、テキストが読めるか、猫がスケートボードに乗ったままか、背景がちらついていないかをチェックする必要がある」と判断します。そして、それらの特定の要素の証拠を探し出すために、専門的なツールとAIの「目」を駆使し、まさに指示された通りに実行されているかに基づいて動画をスコア化します。このアプローチは、タスクに合わせてルールをカスタマイズすることで、AIモデルが実際にどれほど優れたパフォーマンスを発揮しているのかをより明確に把握でき、将来のより優れたビデオクリエイターの構築に役立つことを示唆しています。

「画一的な採点」の問題点

AIビデオ生成の評価を、コンテストの料理審査に例えて考えてみましょう。出場者全員が異なる料理を作るよう求められている場合です。スープを作っている人もいれば、ケーキを焼いている人も、ステーキを焼いている人もいます。もし、全員に対して「熱いか？」「いい匂いがするか？」とだけ尋ねる単一の固定されたチェックリストを使ったら、本質を見失うでしょう。ケーキが焦げていても、スープが塩辛すぎても、チェックリストがそれらの特定の材料に合わせて設計されていなければ、気づくことができないからです。

長い間、ビデオ評価はこのように行われてきました。科学者は、「動きの質」や「テキストとの整合性」といった固定された次元を持つベンチマークを使用してきましたが、これらはプロンプトの内容に関わらず、あらゆる動画に適用されてきました。しかし、ビデオ生成は混沌としています。プロンプトが特定の数のオブジェクト（例：「5個の赤いリンゴ」）を求めることもあれば、キャラクターの顔の一貫性を求めることもあり、また新しい指示に基づいてビデオを編集することを求めることもあります。固定されたチェックリストは、こうしたインスタンス固有の詳細を見落としがちです。それは、高層ビルとキノコの高さを同じ定規で測ろうとするようなものです。数値は得られるかもしれませんが、そのキノコがその種として十分に高いのかどうかまでは教えてくれません。

VideoArgus：カスタム探偵

この論文の著者たちは、サンプル固有のルーブリックを作成することでゲームチェンジャーとなるフレームワーク、VideoArgusを導入しました。想像してみてください。あなたが映画を見る前に、超スマートなAIエディターがプロンプトと入力画像を読み取ります。そして、その特定の要求のためだけのユニークな「採点シート」を書き上げます。このシートは汎用的なリストではありません。「この動画については、看板のテキストが正しく綴られているか、犬が円を描いて走っているか、照明が一定に保たれているかをチェックする必要がある」といった詳細な計画なのです。

重要なのは、この採点シートが**出力盲目的（output-blind）*であることです。AIは動画を見る前*にルールを書きます。これにより、システムが動画の見た目の良さに合わせてルールを適応させてしまうことを防ぎます。これにより、同じプロンプトから生成されたすべての動画が、全く同じカスタム基準に対して判断されることが保証されます。

カスタムルーブリックが作成されると、VideoArgusはそれを実行に移します。単に一般的なAIに「この動画は良いですか？」と尋ねるのではなく、動画を細かな断片に分解します。カスタムシート上の各ルールに対して、特定のツールを使用して証拠を集めます。

• ルールが**カウント（数えること）**に関するものであれば、オブジェクトを数えるツールを使用します。
• ルールがテキストに関するものであれば、OCR（光学文字認識）ツールを使用して画面に書かれている内容を読み取ります。
• ルールがキャラクターの追跡に関するものであれば、視覚的なツールを使用して、フレームごとにそのキャラクターを追跡します。

システムはその後、これらの証拠を組み合わせてスコアと理由を算出します。それは、単に犯人が誰かを推測するだけでなく、指紋、アリバイ、目撃者の証言を集めて確実なケースを構築する探偵のようなものです。最終的な結果は、動画がどのようにスコートされたかだけでなく、「なぜ」そのスコアになったのかを指摘し、どこで成功し、どこで失敗したのかを正確に示す詳細なレポートとなります。

VideoArgus-Bench：巨大なテストキッチン

このアイデアが機能することを証明するために、チームは1,026種類の異なるビデオチャレンジを含む大規模なコレクション、VideoArgus-Benchを構築しました。これらのチャレンジは、5つの異なるビデオタスクをカバーしています。

1. Text-to-Video (T2V): 言葉だけで動画を作成する。
2. Text-and-Image-to-Video (TI2V): 言葉と開始画像から動画を作成する。
3. Text-and-Subject-to-Video (TS2V): 特定のキャラクター（人物や動物など）が一貫性を保つ動画を作成する。
4. Text-Driven Video Editing (TV2V): テキストの指示に基づいて既存の動画を変更する。
5. Text-and-Subject-Driven Video Editing (TSV2V): 特定の被写体を維持しながら動画を編集する。

彼らは、これらの1,026の入力を作成するために、653枚のユニークな画像と416本のユニークなビデオを使用しました。これらすべての入力に対して、カスタムルーブリックを生成し、それを「固定（freeze）」しました。これは、ルールが確定していることを意味し、異なるAIモデルをテストする際に、全員が全く同じカスタムルールに従って競っていることを保証します。

得られた結果：より良い成績、より明確な答え

研究者たちは、VideoArgus-Benchを使用して、55通りのAIモデルとタスクの組み合わせをテストしました。また、15人のボランティアが動画を採点して、コンピュータが実際の人間の判断とどの程度一致するかを確認するための、1,260本の動画を含む別の「人間との整合性（human alignment）」セットも作成しました。

結果は有望でした。VideoArgusは、従来の固定チェックリスト方式よりも、人間の判断とよく一致しました。

• 高い一致度: コンピュータによる動画のランキングと人間によるランキングを比較した際、VideoArgusは（SpearmanおよびKendallの相関によって測定される）はるかに強い一致を示しました。例えば、Text-to-Videoタスクにおいて、VideoArgusは0.496の相関に達しましたが、旧来の手法はわずか0.162でした。これは、VideoArgusが人間が実際に好む動画を判別する上で、はるかに優れていたことを意味します。
• ツールの力: 特殊なツール（テキストのためのOCRや、動きのためのトラッキングなど）を使用することが大きな違いをもたらすことが分かりました。これらのツールを取り除き、一般的なAIに推測させた場合、スコアは低下しました。これは、適切な「道具」を持つことが正確な採点には不可ントであることを示唆しています。
• 一貫性: ルーブリックの作成や採点を行うAIモデルを変えた場合に、結果が変わるかどうかをテストしました。ビデオモデルのランキングはほぼ一定であり（相関は約0.90から0.93）、VideoArgusの手法が堅牢であり、特定のAIモデルの完璧さに依存しないことを示唆しています。

知能のコスト

興味深い発見の一つは、コストについてでした。各動画に対してカスタムルーブリックを作成するには、多少の計算能力と費用（ルーブリック生成には動画1本あたり平均約0.23ドル）がかかります。しかし、このルーブリックは一度作成されれば、同じプロンプトを解決しようとするすべてのモデルに対して再利用されるため、コストは分散されます。一度ルーブリックが準備できれば、実際の動画の採点は標準的なコンピュータ上でローカルに行われるため、大規模なテストを行う際にも効率的です。

まとめ

VideoArgusは、AIの評価の未来が、より大きく汎用的なチェックリストにあるのではないことを示唆しています。それは、より具体的であることです。すべてのビデオリクエストに対して、証拠に基づいたカスタムの採点計画を作成することで、これらのAIモデルが実際に何ができるのかについて、より明確で誠実な姿を捉えることができます。これは、「テストに合格したか？」と問うことから、「指示された通りに正確に実行したか？」を問い、それを証拠で証明するというパラダイムシフトです。このアプローチは、研究者がモデルの強みと弱みをより深く理解することを助け、将来のより信頼性の高いビデオ生成への道を切り開きます。