技術要約: RoboWorld

1. 問題提起

汎用ロボットポリシー（Vision-Language-Actionモデル）の評価には、多様なタスクや環境にわたる膨大なロールアウトが必要です。実世界での評価は、ハードウェアの可用性、安全性への懸念、および人間による監視の高コストによって制約を受けます。シミュレーションベースの評価はこれらのコストを回避できますが、アセットの設定に多大なエンジニアリングを必要とし、sim-to-real（シミュレーションから現実への移行）のギャップという課題も抱えています。

ビデオ・ワールドモデルを活用した最近のアプローチは、物理的なロボットなしでインタラクティブなクローズドループのロールアウトを可能にすることで、スケーラブルな代替案を提供します。しかし、以下の2つの決定的な課題が、ポリシー評価における信頼性を妨げています。

1. 信頼性の低い長期的ロールアウト: ワールドモデルにおける誤差は時間の経過とともに累積し、生成された軌道を損なわせ、評価結果を信頼できないものにします。
2. 低いスループット: ビデオ生成モデルにおける反復的なデノイジング・プロセスは推論を遅くし、評価の規模を制限します。
3. スコアリングの限界: 既存の手法は、多くの場合、VLM（Vision-Language Model）を用いてバイナリ（成功/失敗）のスコアを割り当てます。このアプローチは、真のポリシーの失敗と、ワールドモデルのアーティファクト（例：モデルのエラーによって物体が消失する）を混同してしまい、ランキングにバイアスをもたらします。

2. 手法

著者らは、高速な自己回帰型ビデオ・ワールドモデルと、タスク進行度を認識するVLMジャッジで構成される自動評価パイプライン、ROBOWORLDを導入しています。

2.1 Step Forcing: 信頼性の高いロールアウトのための学習戦略

自己回帰的なビデオ生成における訓練とテストのミスマッチおよび誤差の累積に対処するため、本論文ではStep Forcingを提案しています。この手法は、固定された数ステップのデノイジング・スケジュールの下で、「1ステップ自己前方転送プライア（one-step self-forwarded priors）」からクリーンなフレームを予測するようにワールドモデルを訓練します。

• メカニズム: この手法は、クリーンなフレームとノイズを接続するためにレクティファイド・フロー（rectified flow）を利用します。訓練中、モデルは以下のいずれかのコンテキストに基づいて条件付けられます：
  1. 自己前方転送（Self-Forwarded）: モデル自身のノイズを含む予測から、1ステップのオイラー法（Euler step）を適用したもの（自己生成されたプライア）。これにより、訓練時のコンテキストが推論時のコンテキストと一致し、訓練とテストのギャップを減少させます。
  2. アンカー（Anchored）: 真のノイズを含む潜在変数（データに基づいたもの）。これは、モデルが真のアクション・オブザベーションのダイナミクスから逸脱するのを防ぐために、一定の確率で適用されます。
• スケジュールの整合性: 訓練時の1ステップ自己前方転送で使用されるデノイジング・スケジュールは、推論時のスケジュールと同一です。これにより、蒸留ベースのサンプラーに頼ることなく、効率的な数ステップのデノイジング（例：4ステップ）が可能になります。
• アーキテクチャ: ワールドモデルは、双方向アテンションをフレームレベルの因果的アテンションに置き換え、アクションをクロスアテンション経由でエンコードし、フレームごとに独立したノイズ・スケジューリングを使用することで、事前学習済みの双方向ビデオ拡散モデル（Wan2.1）から適応されています。

2.2 タスク進行度を認識するVLMスコアリング

生成されたロールアウトを評価するために、ROBOWORLDは、ポリシーの性能とワールドモデルのエラーを分離するための特定のプロンプティング戦略を備えたVLMジャッジを採用しています。

• ルーブリックに基づくスコアリング: バイナリの成功/失敗ではなく、VLMはタスクの進行度を評価するために、定義された0〜5のルーブリックを使用します。
• マルチビュー戦略: VLMは、ワールドモデルのアーティファクト（物理的な不整合）を主に**手首視点（wrist view）において特定し、実際のタスク進行については厳密に固定された外部視点（fixed external views）**を通じて評価するように指示されます。これにより、ワールドモデルが最終的に劣化した場合でも、有効なポリシーの進行に対して部分的なクレジットを与えることができ、ポリシーの能力を公正に評価することを可能にします。

2.3 評価パイプライン

ROBOWORLDは以下のクローズドループで動作します：

1. 初期観測が与えられると、ロボットポリシーがアクションを予測します。
2. ワールドモデルは、アクションと過去のコンテキストを条件として、次の観測を生成します。
3. 生成された観測は、次のステップのためにポリシーにフィードバックされます。
4. フル・ロールアウトはVLMジャッジによってスコアリングされます。

3. 主な貢献

1. Step Forcing: 自己前方転送プライアとアンカーされた真のコンテキストを組み合わせることで、安定した、高速な（数ステップの）、信頼性の高い長期的自己回帰ビデオ生成を可能にする新しい学習目的関数。
2. RoboWorld パイプライン: 高速なワールドモデルと精緻なVLMスコアリング・メカニズムを統合したエンドツーエンドの自動評価システムであり、評価中の物理ロボットの必要性を排除。
3. 実世界との高い相関: ワールドモデルベースの評価が実世界のベンチマークと強く相関することを示し、ニューラル・シミュレータによるポリシー・ランキングの妥当性を検証。

4. 結果

4.1 生成の品質と効率

RoboArenaデータセット（DROIDを使用して訓練）において、Step Forcing法は、ベースライン（Ctrl-World, Persist-World, Diffusion Forcing）と比較して優れた速度と品質のトレードオフを実現しました。

• スループット: 4ステップのデノイジングで15.3 FPSを達成し、双方向ベースライン（4ステップで5.7 FPS）よりも大幅に高速です。
• 品質: わずか4ステップの使用にもかかわらず、最高のLPIPSを達成し、SSIMおよびFVDにおいてベースラインと同等またはそれを上回る結果を出しました。

4.2 実世界評価との相関

システムは、RoboArenaのエピソードから派生した4,186個のビデオ・ロールアウトを用いて、8つの汎用ロボットポリシーを評価することでテストされました。

• 相関: ROBOWORLDのランキングは、実世界のRoboArenaリーダーボードに対して、ピアソン相関係数 0.989、スピアマン相関係数 0.970を示しました。
• コスト効率: ベンチマークの再現には、わずか100 H100 GPU時間しか必要とせず、物理的な展開と比較して大幅な削減を実現しました。
• アブレーション研究: 自己前方転送プライアまたはアンカーステップを除去すると、パフォーマンスが著しく低下（FVDが増大）し、両方のコンポーネントが安定性に不可欠であることが確認されました。
• スコアリングの影響: タスク進行度ルーブリックを使用することで（バイナリ・スコアリングと比較して）、スピアマン相関係数が0.922から0.970に向上し、信頼性の高いランキングのための部分的なクレジットの重要性が浮き彫りになりました。

4.3 極限環境への汎用性

著者らは、実世界の初期フレームを変換することにより、合成された極限環境（例：宇宙船の内部、災害現場）へのパイプラインの適用可能性を実証しました。実世界のリーダーボードとの相関は高いまま（$r=0.970$）であり、アクセス不可能な環境における安全な事前配備評価に対する本手法の有用性を示唆しています。

5. 意義と主張

論文は、ROBOWORLDが、物理的なロボット評価に代わる、スケーラブルで信頼性が高く、コスト効率の高い選択肢を提供すると主張しています。Step Forcingを通じてワールドモデルの誤差蓄積と推論速度の課題を解決し、タスク進行度認識スコアリングを通じて評価指標を洗練させることで、システムは実世界のポリシー・ランキングとほぼ完璧な相関を達成しました。

著者らは、本研究を、シミュレーションのエンジニアリング負担や物理的なハードウェアのロジスティクス上の制約なしに、大規模なポリシー評価を可能にするためのステップとして位置付けています。本手法は非常に効果的であるものの、長期的な巧みな操作（dexterous manipulation）においては、持続的な接触下での物体の整合性に関する課題が依然として残っていることを認めており、将来の研究には大規模な人間と物体の相互作用データでの事前学習が必要になる可能性があるとしています。