技術的概要：PhyGround – 生成ワールドモデルにおける物理推論のベンチマーク評価

1. 問題提起

生成ワールドモデルは、現実世界の動態を支配する物理法則を捉えることを期待され、動画生成にますます活用されています。しかし、現在のモデルは頻繁に基本的な物理原則に違反しており（例：支持なしで浮遊する物体、消滅する流体、光源と矛盾する影など）、信頼性の高いシミュレーションが求められる分野におけるその真正性と応用可能性を損なっています。

既存の物理に焦点を当てた動画ベンチマークは、以下の 3 つの決定的な限界に直面しています：

1. 粗い評価フレームワーク： これらはしばしばドメインレベル（例：単一の「流体力学」スコア）で動作し、特定の法則レベルの失敗を隠蔽し、軽微な逸脱と深刻な違反を区別することに失敗しています。
2. アノテーションのバイアスと疲労： 人間の評価は、厳密な実験デザインなしに小規模なアノテータープールが使用される場合、特に反応バイアス、疲労、順序効果の影響を受けやすくなります。
3. 不十分な自動評価： 標準的な指標（FVD、SSIM）は物理的準拠ではなく分布の類似性を測定します。既存の VLM によるジャッジアプローチは、進化し続けるアーキテクチャを持つクローズドソースモデルに依存することが多く、結果の再現性や監査が困難であり、微細な物理的診断の専門性が欠如しています。

2. 手法

PhyGround は、基準に根ざしたベンチマーク設計、大規模な品質管理付き人間研究、およびオープンソースの専門ジャッジを通じて、これらの課題に対処します。

2.1 ベンチマーク設計

• プロンプトスイート： このベンチマークは、4 つのソース（VideoPhy-2、Physics-IQ、OpenVid、WorldModelBench）から派生した 250 のキュレーションされたプロンプトで構成されています。以前の研究が暗黙的なプロンプトを使用していたのに対し、PhyGround は各プロンプトに明示的な期待される物理的結果（例：ボールがテーブルから落ちることを指定する）を付加し、モデルが採点可能な物理イベントを試みることを保証します。
• 物理分類体系： 評価は、物理推論を 3 つのドメインにわたる13 の異なる法則に分解します：
  • 剛体力学（6 つの法則）： 重力、慣性、運動量、非貫通性、衝突、材料特性。
  • 流体力学（5 つの法則）： 浮力、変位、流れの動態、境界相互作用、連続性。
  • 光学（2 つの法則）： 反射、影。
• スコアリングメカニズム： 各法則は、2〜3 の観測可能なサブ質問（例：「支持されていない物体は上に浮き上がるか？」）を通じて操作化されます。アノテーターとジャッジは、バイナリの合格/不合格の判断ではなく違反の重大度を捉えるために、各法則を1〜5 のリッカート尺度でスコアリングします。

2.2 大規模人間評価

• 規模とプロトコル： この研究は、8 つのモデルによって生成された 2,000 本の動画を評価するために459 人のアノテーター（35 人の物理専門家および非専門家を含む）を募集しました。これにより、5,796 の完全なアノテーションと 37,400 を超える微細なラベルが得られました。
• 品質管理： 社会科学の実験デザインに基づき、動画の順序とアノテーターの割り当てをランダム化し、作業負荷を上限設定（アノテーターあたり約 12.6 本）し、モデルの正体を隠して需要効果を軽減しました。スコアの整合性、次元の弁別力、ピアの合意、行動的関与に基づいて低品質なアノテーションをフィルタリングする 2 ラウンドの品質管理パイプラインにより、352 人のアノテーターを維持しました。
• 信頼性： 維持されたデータセットは、高いスプリットハーフモデルランキング相関（スピアマンの $\rho > 0.90$）を示し、安定した集計ランキングを確保しました。

2.3 自動ジャッジ：PhyJudge-9B

• トレーニング： PhyJudge-9B は、PhyGround からの構造化された人間アノテーションに基づいて、教師あり微調整（LoRA）により微調整された 90 億パラメータのビジョン・ランゲージモデル（VLM）です。
• アーキテクチャ： このモデルは、動画フレーム、拡張されたプロンプト、およびサブ質問を含む基準固有のルーブリックに基づいて、特定の法則のスコアを出力するようにトレーニングされています。
• 再現性： クローズドソースのジャッジとは異なり、PhyJudge-9B は固定された重みを持つ完全なオープンソースであり、独立した監査と再現性を可能にします。

3. 主要な結果

このベンチマークは、8 つの最新の動画生成モデル（クローズドソース 1 つ：Veo-3.1；オープンソース 7 つ）を評価しました。

• 全体的なパフォーマンス： どのモデルも強い物理的準拠を達成しませんでした。「Overall」スコア（一般次元と物理次元を組み合わせる）の最高値は、Wan2.2-27B-A14B と Veo-3.1 が共有した3.28/5（約 66%）でした。
• ドメイン分解： 包括的なスコアは、ドメインレベルの大きな差異を隠蔽しました：
  • Wan2.2-27B-A14B は剛体力学（3.23）と時間的整合性において優れていましたが、流体（3.18）では遅れをとりました。
  • Veo-3.1 は流体（3.65）と光学（3.69）のドメインで決定的に先行しましたが、剛体力学（3.12）では低いスコアでした。
  • Cosmos-Predict2.5-2B は「スパイク状」のプロファイルを示し、全体では 7 位でしたが、光学スコア（3.35）は高く、流体（2.77）で苦戦しました。
• 難易度プロファイル： モデル全体で集計すると、剛体力学（2.79）が最も困難なドメインであることが証明され、次いで流体（3.08）、光学（3.24）となりました。剛体力学の中では、運動量と衝突が最も困難な法則であり、現在のモデルが接触解決と跳ね返りの動態に苦労していることを示唆しています。
• ジャッジのパフォーマンス： PhyJudge-9B は、クローズドソースの Gemini-3.1-Pro に比べて有意に低い集計相対バイアス（3.3% 対 16.6%）を達成しました。また、他のベースライン（Claude、Qwen）を上回り、プロンプトへのサブ質問の追加が VLM ジャッジの精度を大幅に向上させたことを実証しましたが、Chain-of-Thought（CoT）推論は一貫してさらなる利益をもたらすことはありませんでした。

4. 貢献

1. 基準に根ざした法別分類体系： 物理推論を 13 の特定の法則と観測可能なサブ質問に分解する新しい評価フレームワーク。包括的なスコアでは提供できない診断的洞察を可能にします。
2. 大規模かつ品質管理された人間データセット： 物理に焦点を当てた動画ベンチマークにおいて報告されている最大の人間アノテータープール（459 人のアノテーター）。信頼性と安定性（$\rho > 0.90$）を確保するために社会科学プロトコルに基づいて設計されました。
3. PhyJudge-9B： 最先端のクローズドソースモデルよりも著しく低いバイアスを達成し、再現可能で監査可能な自動評価をサポートする、オープンで物理に特化した VLM ジャッジ。
4. 包括的なベンチマークの公開： 250 のプロンプト、人間アノテーション、モデルチェックポイント、評価コードの完全な公開。

5. 意義

PhyGround は、粗い包括的評価から微細な法則固有の診断へと移行することで、生成ワールドモデルの評価を前進させます。モデルが異なる物理的制約（例：流体力学は強いが衝突物理は弱いなど）に対して明確な強みと弱みを持つことが多いことを明らかにすることで、このベンチマークは、ターゲットを絞ったモデル改善のための堅固な基盤を提供します。さらに、PhyJudge-9B の公開は、再現可能で監査可能な自動評価の重要な必要性に対応し、不透明なクローズドソース API への依存から分野を脱却させます。この研究は、現在の動画生成モデルが有望な兆候を示している一方で、接触動態や流体の連続性において複雑な物理的相互作用をシミュレートする能力には依然として大きなギャップが残っていることを強調しています。