技術サマリー：WorldArena 2.0：モダリティ、機能性、プラットフォームにおける具象的ワールドモデルのベンチマーク評価の拡張

問題定義

ワールドモデルは、具象的知能の中核的なパラダイムとなり、エージェントが行動条件付きの未来を予測し、環境のダイナミクスについて推論することを可能にしている。しかし、既存の具象的ワールドモデル（EWM）のベンチマークには、ますます包括的なモデルの評価を妨げる 3 つの決定的な限界が存在する。

1. モダリティの限界: prevailing なベンチマークは視覚のみの設定に限定されており、接触に富むダイナミクスや物理的摩擦を解決するために触覚フィードバックが不可欠であるという、具象的相互作用のマルチモーダルな性質を見落としている。
2. 機能性の限界: 下流の評価は、主にオープンループ計画や静的な方策評価に制限されている。ワールドモデルが、想像されたロールアウトを通じて反復的な方策改善を支援する、インタラクティブな強化学習（RL）環境として機能する能力を調査することはめったに行われていない。
3. プラットフォームの限界: ベンチマーク結果は、ほぼ例外なくシミュレーション内で得られている。制御された仮想環境での高い性能が、実世界への展開に転換するかどうかは不明なままであり、シミュレーションから実世界へのギャップはほとんど調査されていない。

手法

これらの限界に対処するため、著者はWorldArena 2.0を導入する。これは、モダリティ、機能性、およびプラットフォームという 3 つの協調的な次元に沿って EWM 評価を体系的に拡大した拡張ベンチマークである。

1. モダリティの拡張：視触覚評価

WorldArena 2.0 は、評価を視覚のみの設定から視触覚モダリティへ拡張する。

• 標準化パイプライン: UniVTAC シミュレーターを基盤として、著者はアーキテクチャの手術なしに視覚のみのワールドモデルを視触覚モデルへアップグレードするための標準化パイプラインを提案する。これには 3 つのモジュールが含まれる。
  • 触覚変形マップを符号化し、それらを動画潜在空間に整合させる触覚 VAE。
  • 動画と触覚の両方の予測に対して同期したデノイジングを実行する視触覚 2 ストリームワールドモデル。
  • 予測された視触覚潜在変数に基づいて将来の行動を推論する行動拡散ヘッド。
• 評価指標: モデルは、触覚予測の品質（PSNR、SSIM）および下流の操作タスク（例：HDMI の挿入、ボトルの持ち上げ）における機能的成功率に基づいて評価される。

2. 機能性の拡張：RL 環境としてのワールドモデル

このベンチマークは、オフライン予測を超えて、ワールドモデルをオンラインインタラクティブな RL 環境として評価する。

• フレームワーク: 著者は、ワールドモデルが環境遷移カーネル（$\hat{P}_\phi$）を近似するクローズドループ RL パイプラインを形式化する。このフレームワークは 4 つのコンポーネントから構成される。
  • ワールドモデル環境: 現在の状態と行動に基づいて次の観測を予測する。
  • 報酬モデル: 即時報酬を予測する（プロキシベース、VLM ベース、類似度ベースの設計でテスト）。
  • 方策モデル: 観測に条件付けられた行動を生成する。
  • 最適化モジュール: 期待リターンを最大化するために方策パラメータを更新する（例：GRPO を通じて）。
• プロセス: 従来の RL 設定におけるシミュレーターを、ワールドモデルが置き換える。方策は、ワールドモデルとの反復的な相互作用を通じて訓練され、生成された方策は実世界または高忠実度シミュレーションタスクにおける成功率を測定するために展開される。

3. プラットフォームの拡張：クロス具象化シミュレーションから実世界へ

WorldArena 2.0 は、クロス具象化一般化を評価するために 3 つの異なるプラットフォームにまたがる段階的な評価パイプラインを導入する。

• RoboTwin 2.0: 広範なドメインランダム化を備えたスケーラブルな両手シミュレーション環境（タスク：ボトルの調整、ベルのクリック）。
• LIBERO: 手続き的知識のシフトを伴う単腕操作のための構造化ベンチマーク（タスク：コンロの点火）。
• AgileX Split-Type ALOHA: PiPER 6 自由度アームを装備した実世界のロボットテストベッド（タスク：水汲み、テーブル拭き）。
• 評価プロトコル: モデルは、方策訓練用の合成データを生成する具象的データエンジンとして、およびクローズドループ行動シーケンスを直接予測する具象的行動プランナーとしてテストされる。

主要な結果

著者は、定義されたプラットフォーム全体で 12 の最先端の具象的ワールドモデルに対して広範な実験を実施した。

• 視触覚性能:
  • 汎用ワールドモデル（例：Wan2.2）は、専門的な具象モデルと比較して優れた触覚予測品質を示し、「HDMI の挿入」タスクで 100% の成功率を達成した。
  • しかし、「ボトルの持ち上げ」のような長_horizon タスクは限界を露呈させた。ベースラインの ACT モデルが 80% の成功率を達成したのに対し、ワールドモデルは 0% に低下した。これは、触覚知覚の向上にもかかわらず、現在のモデルが長_horizon にわたる持続的な力制御に苦慮していることを示している。
• RL 環境としての有用性:
  • ワールドモデルを使用して訓練された方策（例：WoVR、Ctrl-World）は、短_horizon タスク（ベルのクリック）において真のシミュレーター訓練と同等の性能を達成したが、長_horizon タスクでは結果が様々であった。
  • 報酬モデルの中で、プロキシベースの報酬モデル（ResNet バックボーンを使用）が最も堅牢であることが証明され、微調整の欠如や予測精度への依存に苦しむ VLM ベースおよび類似度ベースのアプローチを上回った。
• クロスプラットフォーム相関:
  • 知覚的品質: 視覚品質、運動品質、物理的準拠は、シミュレーションプラットフォーム間（RoboTwin および LIBERO）で強い相関を示した。
  • シミュレーションから実世界へのギャップ: シミュレーションと実世界の性能の間には明らかな断絶が観察された。シミュレーション内のランキングは中程度の相関を示したが、タスクの成功率は実世界評価で劇的に低下した。実世界のタスクでゼロ以外の成功率を達成したモデルはわずかであり、すべてが実用的な展開要件から遠く離れていた。
  • 機能的転移: タスクの成功率はシミュレーター間で正の相関を示したが、実世界の性能と比較すると大幅に低下し、シミュレーションベースの指標が実世界の展開可能性の信頼できる代理指標ではないことを確認した。

意義と主張

本論文は、WorldArena 2.0 が、真に一般的な具象的ワールドモデルへの進捗を追跡する厳格で標準化されたテストベッドを提供すると主張している。その主な意義は以下の点にある。

1. 標準化: 以前は一貫したベンチマークが欠けていた領域である、視触覚ワールドモデルの評価およびオンライン RL 環境としてのワールドモデルの利用のための標準化プロトコルを先駆的に確立すること。
2. 現実の検証: 実世界のロボット評価を導入することで、高忠実度シミュレーションの性能が実世界の能力を保証しないことを示し、実質的な「シミュレーションから実世界への使用可能性ギャップ」を露呈させること。
3. 包括的評価: 視覚的リアリズムを超えて、物理的グラウンディング、インタラクティブな有用性、およびクロスプラットフォームの堅牢性を評価し、具象的知能の開発にとってより現実的な基盤を提供すること。

著者は、現在のモデルがマルチモーダルダイナミクスの捕捉と方策最適化の支援において有望な兆候を示している一方で、シミュレーション訓練と実世界の物理的実行の間のギャップを埋めるには依然として重大な課題が残っていると結論付けている。