技術的概要：What-If World：具身シナリオにおける一般世界モデルのための因果ベンチマーク

問題提起

ビデオ生成モデルは、自動運転やロボットの操作などの具身応用における汎用世界シミュレーターとして、ますます提案されるようになっています。しかし、既存の評価パラダイムは、これらの設定に必要な重要な能力、すなわち因果感度の評価に失敗しています。現在のベンチマーク（VBench、EvalCrafter、VideoPhy など）は、生成されたビデオを個別に評価し、単一のプロンプトに対する視覚的なリアリズムや物理的な妥当性に対してスコアを付けます。このアプローチでは、異なる物理的介入（例：「優しくブレーキ」対「強くブレーキ」）を記述するプロンプトを受け取っても、視覚的に妥当でほぼ同一の 2 つのビデオを生成するという、モデルの根本的な失敗モードを検出できません。

アクション条件付きシミュレーターやモデルベースのプランナーにとって、制御された入力の変化を追跡できないシステムは使用できません。なぜなら、介入に応じて分岐しないロールアウトは、代替アクションを比較するために使用できないからです。既存の因果ベンチマーク（CLEVRER、NExT-QA など）は、与えられたビデオ内の因果構造を知覚するモデルの能力をテストしますが、入力変動に基づいてゼロから物理的に正しい因果ダイナミクスを生成する能力をテストするものではありません。

手法

1. What-If World ベンチマーク

著者は、ビデオ世界モデルにおける対照的介入のために特別に設計された最初のベンチマークであるWhat-If Worldを導入します。このベンチマークは、3 段階のパイプラインを通じて構築されます。

• 分類の定義（何をテストするか）： 自動運転とロボット操作の 2 人のドメイン専門家が、nuScenesとDROIDからの 1,000 件の実世界ビデオを分析しました。彼らは結果を支配する物理変数を特定し、これらを 2 つのドメインにまたがる統合された6 つのプリミティブ分類にまとめました。

  • 環境ドメイン（$D_{env}$）： 表面摩擦、材質と媒体、障害物の構成。
  • 相互作用ドメイン（$D_{int}$）： 空間的整列、力/度、時間的順序付け。
    これらのプリミティブは、物理的に根本的であり、具身化間で共有され、操作的に分離可能であるという基準に基づいて選択されました。

• データセット構築（どのようにテストするか）： ベンチマークは319 組のテストインスタンスで構成されます。各インスタンスは以下の手順で作成されます。

  1. 実ビデオクリップを選択し、因果分岐点（アクション開始の直前の瞬間）でフレーム $x_0$ を抽出して初期状態を固定する。
  2. カメラの視点と初期シーンの状態は共有しつつ、1 つのセマンティック変数（介入）のみが異なる対照的プロンプトペア $(p^+, p^-)$ を構築する。
  3. プロンプトから物理的結果を隠蔽し、モデルがテキストの事前知識からそれを取得するのではなく、結果をシミュレートするように強制する。
     データセットは、自動運転とロボットアーム操作にわたる 18 のサブカテゴリを網羅しています。

• 評価プロトコル（どのように評価するか）： 著者は、ビデオペアを 4 つの次元でスコアリングするAPEO フレームワークを提案します。

  • 遵守（Adherence, A）： ビデオはプロンプトされたアクションを実行しているか？
  • 物理（Physics, P）： 運動は物理的制約を尊重しているか？
  • 環境（Environment, E）： 背景と非対象のシーンは安定しているか？
  • 結果（Outcome, O）： 2 つのビデオは、介入によって予測された方向に分岐しているか？

  重要なのは、A、P、E は単一ビデオ（独立した妥当性）とペア（比較的一貫性）の両方のモードでスコアリングされることです。結果（O）はペアのみで評価されます。この設計により、ビデオごとの妥当性と因果の正しさが分離されます。スコアリングは、人間の注釈（82.3% の一致率）に対して検証された VLM ジャッジ（Gemini 3.1-Pro）によって行われます。

主要な結果

このベンチマークは、9 つの最先端ビデオ生成モデル（オープンソース 4、クローズドソース 5）に適用されました。結果は、現在の世界モデルに重大な限界があることを明らかにしています。

1. 低い因果感度： どのモデルも、主要なペア指標（pAvg）で52%を超えませんでした。最高性能のモデルであるGrok Imagineは 51.7% を達成しましたが、オープンソースモデルは**28%**付近に集中しています。
2. 対照的ボトルネック： 単一ビデオのスコアとペアのスコアの間には大きな隔たりがあります。例えば、HunyuanVideo-1.5 は単一ビデオの物理スコア（$P_s$）で 64.4% を達成しましたが、ペアの物理スコア（$P_p$）では**12.2%**まで低下しました。これは、モデルが入力変化に基づいて区別できない、個別には説得力のあるビデオを生成できることを示しています。
3. 視覚的顕著性対物理的処理可能性： 性能は、介入の結果の視覚的顕著性と、基礎となる物理との間では、前者とより強く相関しています。
   • 力/度（劇的な運動の違いを生む）は**40.4%**で最高スコアでした。
   • 表面摩擦（潜在変数上の微妙な軌道の違いを生む）は**14.2%**で最低スコアでした。
   • 時間的順序付けは、すべてのモデルでパフォーマンスの範囲が圧縮されており、スケーリングによってまだ解決されていない根本的な課題であることを示唆しています。
4. 隠れた失敗モード： 単一ビデオのチェックがすべて合格したケースの 13.1% で、ペアの物理チェックが失敗しました。これらの「隠れた失敗」は、シミュレーションが有効に見えるが因果的な区別を提供しないため、反事実的プランニングなどの下流アプリケーションにとって高いリスクをもたらします。

意義と主張

本論文は、What-If Worldが、現在の生成ビデオシステムが世界モデルとしてどこで苦労しているかを診断するための、最初の統一され再現可能なフレームワークを提供すると主張しています。その意義は以下の点にあります。

• 盲点の暴露： 既存のビデオごとの評価指標は、制御された入力変化を追跡できない「対照的ボトルネック」を検出できないため、具身応用には不十分であることを実証しています。
• 基準の定義： 自動運転とロボット操作にわたる物理的介入変数を統合し、アドホックなテストケースを超えて移動させる、6 つのプリミティブ分類を確立しています。
• ギャップの定量化： 最も高度なクローズドソースシステムさえも、因果介入の大部分で失敗するため、アクション条件付きシミュレーションやモデルベースのプランニングにはまだ信頼できないという定量的証拠を提供しています。

著者は結論として、モデルが視覚的に明らかなシナリオではある程度の能力を示しているものの、摩擦や質量などの潜在変数や、時間的順序付けなどの関係推論に対して、一般化された物理的感度を持っていないと述べています。この作業は、これらのモデルを安全な具身システムに安全に展開する前に解決されなければならない、重要な能力のギャップを浮き彫りにしています。