技術要約: Physics-IQ Verified

問題提起

ビデオ生成モデル（VGM）は、ロボティクスや一般的な視覚的推論のために、物理的現実をシミュレートできる「世界モデル」として位置づけられつつあります。しかし、これらのモデルが真に物理的推論を学習したのか、あるいは単にそれらしく見える動きを生成することを学習しただけなのかを判断することは、極めて重要な課題です。既存の Physics-IQ ベンチマーク [1] は、モデルが生成したビデオの継続表現を、現実世界の物理実験のグラウンドトゥルース（正解）の記録と比較することで、この課題に対処するように設計されました。

この評価プロトコルが標準として採用されているにもかかわらず、著者らは、元の Physics-IQ ベンチマークには、物理的理解の評価を混乱させる系統的な測定誤差が含まれていることを指摘しています。これらの誤差は、主に以下の3つのソースから発生します。

1. 曖昧なプロンプト: 元のテキストプロンプトは、明確さに欠けていたり、事実誤認を含んでいたり、重要な情報を欠落させていたり、あるいはモデル固有のプロンプティングのベストプラクティスに従っていなかったりすることがよくあります。これは、物理的理解とは無関係な出力の自由度を導入し、指標の分散を増大させます。
2. 偽の指標活性化（アーティファクト）: グラウンドトゥルースのビデオには、対象となる物理現象とは無関係な視覚的事象（例：回転する装置の部品、カメラノイズ、または記録エラー）が含まれています。これらの「アーティファクト」は、ベンチマークの指標で使用される活性化マップをトリガーし、評価が物理的効果そのものではなく、無関係な事象を測定してしまう原因となります。
3. 不適切なスコア集計: 元のスコアは、データセットレベルで指標を集計します。このアプローチは、サンプルレベルの失敗モードを不明瞭にし、物理的な変動に基づいた不平等な重み付けを行う可能性があります。つまり、自然な変動性が低い実験を過小評価し、変動性が高い実験を過大評価する可能性があります。

メソドロジー

著者らは、元の評価パイプラインを体系的に監査し、修正する洗練されたベンチマークである Physics-IQ Verified を提案します。この手法には、3つの明確な改善が含まれています。

1. プロンプト品質の向上

著者らは、テキストプロンプトを、物理現象の結末を明かさずに、実験設定と物理現象の引き金となる要素を明確に指定する精密な「試験問題」として機能するように再設計しました。

• 不明瞭なプロンプトの修正: プロンプトは、事実の誤り、時間的な不正確さ、重要情報の欠落、および曖昧な言語という4つの深刻度レベルに基づいてスクリーニングおよび修正されました。
• テンプレート構造: 異なるVGM間で一貫したコンディショニングを確保するために、プロンプトを SETUP（設定）, SCENE（シーン）, ACTION（アクション）, CAM（カメラ）, STYLE（スタイル）, SCOPE（範囲） の6つの構造化されたフィールドに分解しました。
  • CAM, STYLE, および SCOPE は、現実的な科学的デモンストレーションのスタイル、静止したカメラのガイダンス、および新しいアクターの幻覚に対する制約を保証するための固定フィールドです。
  • 指示は、多くのモデルが苦手とする否定を避けるため、肯定的な用語で書き直されました。

2. アーティファクトの除去

著者らは、グラウンドトゥルースのビデオにおける「偽の指標活性化」に対するターゲットを絞った除去戦略を導入しました。

• アーティファクトの定義: アーティファクトは、観察された物理的効果の一部ではない視覚的事象によって引き起こされる指標の活性化と定義されます。これらは、決定的（予測可能、例：回転する機械）または非決定的（ランダムな記録エラー）に分類されます。
• 除去戦略: 手動のアノテーションを用いて、**フレームフリージング（フレームの固定）**によってアーティファクトを除去します。
  • 事象後除去: 物理現象が終了した後のフレームを固定して、末尾のアーティファクトを除去します。
  • 事象中除去: 現象の発生中にアーティファクトを含む空間領域を固定して、物理的効果を分離します。
    このプロセスにより、指標が物理的現象ではなく、無関係な視覚的ノイズを評価することを確実にします。

3. 指標集計の改善

著者らは、スコアリングメカニズムをデータセットレベルではなく、サンプルレベルで動作するように再定義しました。

• サンプルレベルのスコアリング: 正規化された指標の平均をとることにより、個々のビデオサンプル ($n$) ごとにスコアを算出します。
• 等価な重み付け: このアプローチにより、すべてのサンプルとすべての指標が最終スコアに等しく寄与することを保証し、物理的変動が大きい実験が全体の集計を支配することを防ぎます。
• MSEの解釈: 平均二乗誤差（MSE）は、物理的変動と生成された誤差の比率として反転され、値が高いほど優れたパフォーマンスを示すように、Intersection over Union (IoU) 指標と整合させています。
• クリッピング: 集計前にサブスコアを $[0, 1]$ の範囲にクリップし、単一の例外的な指標が総スコアを不当に膨張させるのを防ぎます。

主な結果

著者らは、両方のプロトコル（元および検証済み）を用いて、6つのイメージ・トゥ・ビデオ（I2V）モデル（オープンソース3種：Wan 2.2, HunyuanV-1.5, Cosmos3-N；クローズドソース3種：Sora 2, P-Video, Grok Imagine Video）を評価しました。

• スコアの変化: 検証済みの評価では、プロンプトの改善によりほとんどのモデルでスコアが上昇しましたが、他のモデルでは（アーティファクト除去により）スコアが低下しました。
  • Sora 2 は、改善されたプロンプトの恩恵を大きく受け、最大のスコア上昇を示しました。
  • Wan 2.2 は、パフォーマンスの低下を示した唯一のモデルであり、元の高いスコアが一部、混乱要因（曖昧なプロンプトやアーティファクト）によって駆動されていたことを示唆しています。
• ランキングの変動: 洗練されたプロセスにより、緩やかではあるものの意味のあるランキングの変化が生じました。
  • Wan 2.2 は1位から3位に転落しました。
  • Sora 2 は6位から5位に上昇しました。
  • Cosmos3-N は5位から4位に上昇しました。
  • P-Video は4位から最下位に転落しました。
• 統計的有意性: 元のランキングと検証済みのランキングの間の相関は中程度（$\text{Kendall's } \tau = 0.46, \text{Spearman's } \rho = 0.65$）であり、評価プロトコルがモデルの評価に大きく影響することを示しています。ブートストラップ分析により、これらのランキングの違いはランダムな分散によるものではなく、統計的に意味のあるものであることが確認されました。

重要性と主張

本論文は、Physics-IQ Verified が、VGMの物理的理解を測定するためのより信頼性の高い信号を提供すると主張しています。プロンプトの曖昧さやグラウンドトゥルースのアーティファクトといった混乱要因を取り除くことで、このベンチマークは、モデルの能力に関するよりきめ細かな分析を提供します。

著者らは、元のベンチマークの実際の物理的理解に対する忠実度が、測定誤差によって損なわれていたと強調しています。提案された洗練化は、単にスコアを調整するだけでなく、評価の景観を根本的に変え、以前に高くランク付けされていたモデルの中には、評価のアーティファクトを利用していた可能性があることを明らかにしました。本研究は、堅牢で追跡可能、かつ物理的に正確な評価基準を提供することで、次世代の物理的に接地されたビデオ生成モデルの開発を促進し、コミュニティを前進させることを目的としています。

ベンチマークのコードとデータは、Physics-IQ Verified GitHub リポジトリで公開されています。