技術サマリー：WBENCH - インタラクティブなビデオワールドモデル評価のための包括的なマルチターンベンチマーク

1. 問題提起

インタラクティブなビデオワールドモデルは急速に進化しており、ゲーム、自動運転、具現化されたインタラクションなどの分野において、ユーザーの操作に応じた制御可能なビデオシーケンスを生成する能力を備えています。しかし、この分野には体系的な評価のための統一基準が存在しません。既存のベンチマークは断片的です。一部のベンチマークはインタラクティブな制御をテストせずに視覚的なビデオ品質のみ（例：VBench）に焦点を当てており、他のベンチマークは特定のワールドモデリングの側面（例：ナビゲーションやメモリ）を評価しますが、オープンドメインのシーン、視点、インタラクションタイプの全範囲を網羅できていません。その結果、異なるネイティブインターフェース（テキスト、カメラポーズ、離散アクション）を持つモデルを公平に比較したり、長期的な生成、一貫性、物理的適合性における特定の失敗モードを診断したりすることが困難です。

2. 手法

2.1 データセット構築（WBENCH）

著者は、289 のテストケースと1,058 のインタラクションターンからなる包括的なマルチターンベンチマークであるWBENCHを導入します。このデータセットは「設定優先」の原則に基づいて構築されています。

• ワールド設定: 各ケースは、4 つの属性からなる初期ワールド状態 $W$ を定義します。シーン（6 カテゴリ：自然、都市、室内、作業スペース、ファンタジー、スポーツ）、スタイル（フォトリアリスティックからスタイライズドまで）、視点（一人称または三人称）、および主題（人間、動物、車両、ロボット、その他）。
• インタラクションシーケンス: 各ケースには、4 つのインタラクションタイプから選ばれたマルチターンのユーザー制御シーケンスが含まれます。
  1. ナビゲーション: WASD（並進）と矢印キー（回転）を使用したカメラまたは自己エージェントの移動。
  2. 主題の動作: 主要な主題によって実行される動作（操作、移動、道具の使用、戦闘、ジェスチャー）。
  3. イベント編集: 外部から課される環境変化（天候、時刻、物体の出現）。
  4. 視点切り替え: 一人称視点と三人称視点間の遷移。
• 統一制御: パラダイム横断的な公平な比較を可能にするため、ナビゲーションインタラクションは、テキストプロンプト、6 自由度（6-DoF）カメラポーズ、離散キーボードアクションという 3 つの整列した形式で表現されます。

2.2 評価スイート

WBENCH は、人間の判断で検証された22 の微細な自動サブメトリックを用いて、モデルを5 つの補完的な次元にわたって評価します。

1. ビデオ品質: 条件付けに依存しない視覚的品質（美的、画像、ちらつき、動的度、滑らかさ、HPSv3-Norm）を測定します。
2. 設定遵守: 初期ワールド設定への忠実度を評価します。これには、シーン遵守（表示されている要素の維持とオフスクリーン要素の提示）と主題遵守（外観と動作スタイル）が含まれます。
3. インタラクション遵守: ユーザー要求の正しい実行を評価します。
   • ナビゲーション: 合成の真値に対する正規化絶対軌道誤差（nATE）を計算するために、ポーズ推定に MegaSaM を使用します。
   • セマンティックインタラクション（イベント編集、主題動作、視点切り替え）: 構造化された二値チェック（例：イベントの発生、完了、異常の不在）を用いたビジョン・ランゲージモデル（VLM）を使用します。
4. 一貫性: 時間経過に伴う幾何学、外観、視点の安定性を測定します。空間的一貫性（往復軌道）、セグメント連続性（カット検出）、視点一貫性（主題追跡）、再構成一貫性（幾何学的および光度学的再投影）のメトリックを含みます。
5. 物理的適合性: 因果忠実度（レンダリング物理と因果論理の VLM ベース評価）と視覚的妥当性（低レベルのアーティファクトのスコアリングのために微調整された Qwen3-VL）を通じて、物理法則への遵守を評価します。

2.3 実験プロトコル

このベンチマークは、3 つのパラダイムにまたがる20 の最先端モデルに適用されました。

• テキスト駆動（9 モデル）: Kling 3.0、Wan 2.7、Seedance 1.5 など。反復的な最終フレーム転送を介して 289 ケース全体で評価されました。
• カメラ制御（5 モデル）: HY-World 1.5、LingBot-World など。ネイティブポーズ入力を使用して、共有ナビゲーションサブセット（158 ケース）で評価されました。
• 動作条件付き（6 モデル）: Genie 3、Matrix-Game 3.0 など。離散アクション入力を使用してナビゲーションサブセットで評価されました。
• 人間との整合性: 400 人のアノテーターによるブラインドペア比較を行った研究により、自動化されたメトリックが人間の好意とスピアマン相関（$\rho \ge 0.94$）を達成することが確認されました。

3. 主要な結果

• 支配的なモデルの不在: 5 つの次元すべてで強力に機能する単一のモデルはありません。性能はモデルのパラダイムとトレーニングデータに基づいて高度に専門化されています。
• ナビゲーションの独立性: ナビゲーション能力は他の次元からほぼ切り離されています。強力なレンダリングや物理性能が、制御可能な移動を保証するわけではありません。逆に、物理的な正確性は、制御能力よりもビデオ品質や一貫性とより強く相関しています。
• 制御対一貫性: カメラ制御は視点の一貫性を保証しません。ネイティブのカメラ制御を持つモデル（例：HY-World 1.5）はナビゲーションに優れていますが、テキスト駆動モデルと比較して、三人称視点で一貫した主題の動きを維持することにしばしば苦労します。
• ターン経過に伴う劣化: 姿勢誤差が累積するため、ナビゲーション性能はマルチターンシーケンスを通じて著しく劣化します（ターン 1 からターン 4 以降で約 33 ポイント低下）。セマンティックインタラクション（イベント編集、主題動作）の劣化はより穏やかです。視点切り替えは全体として最も困難なタスクのままです（平均スコア約 30.7）。
• オープンソースの競争力: オープンソースモデル（例：HY-World 1.5、LingBot-World、Matrix-Game 3.0）は、特定の次元（ナビゲーション、一貫性、動作条件付き制御）でトップスコアを達成し、クローズドソースの代替案と同等かそれ以上の性能を示しています。
• 構造化された難易度: ベンチマークの難易度は設定によって異なります。一人称ナビゲーションは三人称よりも容易です。スポーツ/ゲームシーンや動物の主題は、複雑なダイナミクスにより最も高い難易度を示す一方、作業スペースシーンやロボットは静的な幾何学構造により容易です。

4. 主要な貢献

1. 統一ベンチマーク: 既存のベンチマークが部分的な能力のみを網羅しているギャップを埋める、22 の微細なサブメトリックを備えた 5 つの評価次元にわたる包括的なフレームワーク。
2. マルチターンデータセット: 両方の視点、4 つのインタラクションタイプ、統一されたナビゲーションインターフェースを網羅するデータセット。これにより、パラダイム横断的な公平な比較が可能になります。
3. 診断パイプライン: 20 のモデルに適用された完全自動評価パイプライン。診断ベースラインを確立し、将来のモデル開発のための実行可能な洞察（例：ナビゲーションと他の能力の独立性）を浮き彫りにします。

5. 意義と主張

本論文は、WBENCH が、オープンドメインのシーン、両方の視点、およびすべての主要なインタラクションタイプにわたるインタラクティブなワールドモデルを評価する最初の統一プロトコルを提供すると主張しています。現在のモデルが、高忠実度レンダリングと信頼性の高い制御性、一貫性、物理をまだ統合していないことを明らかにすることで、このベンチマークは分野における特定のギャップを浮き彫りにします。著者は、特にナビゲーションと他の能力の分離、およびシーン/主題タイプに基づく構造化された難易度といった発見が、より堅牢なワールドモデルの開発へのロードマップを提供すると主張しています。この研究は、根本的な生成課題の解決策というよりも、将来の研究を導く診断ツールとして位置づけられています。

認められた限界: 現在のテストセットは連続制御ではなく離散アクションシーケンスに焦点を当てており、物理次元は部分的に LLM ベースの評価に依存しており、微妙な効果については信頼性の限界がある可能性があります。