技術要約: VisualPatchWorld

問題定義

本論文は、インタラクション・データからシミュレータースタイルの世界モデルを復元するという課題に取り組んでいる。既存のアプローチは、連続的なベクトル空間内でダイナミクスを学習する（スケーラブルだが不透明な）ニューラル潜在予測器と、手作業で構築された物理エンジン（検査可能だがスケーラビリティに欠ける）の2つのカテゴリーに分類されるが、どちらも「データ駆動型でありながら構造的に明示的である」というニーズを完全には満たしていない。

核心となる問題は、インタラクションの軌跡（観測と行動）から、以下の特性を持つ実行可能な遷移プログラムを自動的に誘導することである：

1. 世界のダイナミクスの正しい定性的形式（例：接触力、線形ナビゲーション、キネマティクス）を捉えること。
2. 候補となる行動シーケンスに対してスコアリング・ランドスケープを提供することで、プランニングをサポートすること。
3. 検査可能かつ編集可能であり、失敗が発生した際に人間やアルゴリズムが遷移法則を理解し、修正できるようにすること。

著者らはこれを、視覚的抽象化（画像から構造化されたシーングラフを抽出する）と、ダイナミクス誘導（これらの状態間を遷移させるコードを学習する）という2段階のパイプラインとして定式化している。

手法: VisualPatchWorld (VPW)

VisualPatchWorldは、世界のダイナミクスを「コード」として表現する。これは、構造化されたシーン記述 $g_t$ と行動 $a_t$ を、将来の状態 $g_{t+1}$ へと写像する実行可能なPython遷移プログラム ($f_\theta$) を復元するために、2レベルのプログラム誘導プロセスを採用している。

1. 視覚的抽象化 (ステージ1)

生のピクセル観測は、構造化されたシーングラフ（オブジェクトのポーズ、関係性、メタデータを含むテキスト記述）へと変換される。著者らは、異なるエラー源を分離するために、3つの抽出パスを実装している：

• Oracle (オラクル): シミュレータの状態を直接読み取る（知覚エラーを除去）。
• Tool (ツール): RGBフレームに対してコンピュータビジョンのヒューリスティックを使用する（画像ベースの再プランニングにおけるデフォルト）。
• VLM: セマンティックな認識のために視覚言語モデル（Vision-Language Model）を使用する（セマンティックなベースラインとして使用）。

2. 軌跡のエクスポート (ステージ2)

記録されたロールアウトは、記号的な遷移レコード $(g_t, a_t, g_{t+\delta})$ に変換される。重要な要件は、マルチステップのロールアウトが劣化しないよう、行動の離散化がフレームのストライドと一致していることである。

3. 2レベルのプログラム誘導 (ステージ3)

これが中核となるイノベーションであり、構造選択とパラメータ適合を分離している：

• レベル1: 能動的プロービング (構造発見): 開放的なコード生成を行うのではなく、VPWは環境固有の小さな仮説ファミリーから定性的な「ダイナミカル・スケッチ」を選択する。これは、短時間の識別実験（例：接触か自由運動か、線形か非線形輸送か、あるいは関節空間かデカルト座標系かといったテスト）を実行することで、正しい構造的形式を確定させる。
• レベル2: パラメータ同定: スケッチが固定されると、VPWは対応するPythonテンプレートの自由パラメータ（定数）を適合させる。これは、単なる1ステップの予測誤差ではなく、マルチステップ・ロールアウト損失（プランナーのホライゾンにおける累積予測誤差）を最小化することによって行われる。これにより、モデルは長期間のプランニングに対して堅牢になる。

4. プランニング・プロトコル (ステージ4)

誘導されたプログラムは、交差エントロピー法（CEM）によって最適化された**モデル予測制御（MPC）**を用いて評価される。

• 誘導されたスコアリング: 抽出されたコードがすべての候補行動シーケンスを評価する。
• ハイブリッド・スコアリング: 抽出されたコードがすべての候補をスコアリングするが、上位30%については、実行前に接触力の豊かな相互作用を検証するために、グラウンドトゥルースの物理エンジン（MuJoCo）によって再スコアリングされる。

主な貢献

1. 2レベルのプログラム誘導: 著者らは、能動的プロービングを通じて定性的なダイナミカル・スケッチを最初に選択し、その後にマルチステップ・ロールアウト損失の下でパラメータを適合させるという、段階的なアプローチを提案している。これにより、局所的な遷移を適合させる一方で、グローバルなダイナミクス構造を見失うという一般的な失敗モードを防いでいる。
2. プランナー指向のスコアリング: VPWは、再プランニング時の画像ベースの状態推定と、探索時のスコアリングを分離している。誘導されたプログラムは検索エンジンとして機能し、困難な接触シナリオに対してはオプションのエンジン検証（ハイブリッド・スコアリング）を用いる。
3. ベースラインに対する実証的証拠: 本論文は、正しい定性的ダイナミクスを復元することが、単にパラメータを適合させることよりも重要であることを示している。VPWは、誤ったダイナミカルクラスを特定してしまうことが多い従来のコードベースの世界モデル（PatchWorldやWorldCoderなど）を大幅に上回る性能を示した。

結果

手法は、LeWMスイートの4つの制御ドメイン（Two-room（ナビゲーション）、Reacher（連続制御）、PushT（接触豊富なプッシング）、Cube（3D操作））で評価された。

• 全体的なパフォーマンス: VPWは、これら4つのドメインにおいて平均69.0%のプランニング成功率を達成し、最強のコードベースラインであるPOMDP-Coderを23.5ポイント上回った。
• ドメイン別の利得:
  • Reacher: 正しい関節空間キネマティクスを特定したことにより、成功率は8%（PatchWorld）から**72%**に上昇した。
  • Cube: グリップによるゲート付き接触ダイナミクスを復元することで、成功率は**86%**に達した。
  • PushT: 接触駆動のPD制御を復元することにより、従来の手法がほぼ0%であったところから**22%**へと改善した。
  • Two-room: 線形ナビゲーションの単純さにより、VPWとベースラインの両方が上限（96-100%）付近で動作した。
• グラウンドトゥルースとの比較:
  • ナビゲーションおよび把持が豊富な制御において、誘導されたスコアリングはグラウンドトゥルースの物理エンジンの上限に接近した。
  • 接触が豊富なプッシングにおいては、依然としてギャップが存在した。しかし、ハイブリッド・スコアリング（誘導された探索 ＋ 上位候補のエンジンによる再検証）を用いることで、このギャップの大部分を埋めることができ、PushTにおいて96%（Oracle）および88%（Tool）の成功率を達成した。
• 効率性: ハイブリッド・スコアリングは、高い成功率を維持しながら、フルエンジンベースのプランニングと比較して物理エンジンへのクエリを70%削減した。

意義と主張

本論文は、プランニングに有用な自動構築されたコード世界モデルへの実用的な経路を確立したと主張している。

• 構造化された潜在表現: ダイナミクスをコードとして表現することで、VPWはニューラル潜在モデル（スケーラブルだが不透明）と、手作業で構築されたシミュレータ（検査可能だが構築が困難）の間の溝を埋めている。得られるモデルは、実行可能であり、検査可能かつ編集可能である。
• 定性的構造の重要性: 結果は、プランニングにおいては、単に1ステップの予測誤差を最小化することよりも、ダイナミクスの定性的形式を選択することの方が極めて重要であることを強く示唆している。開放的なコード生成は、誤った構造的仮定を持って局所的な遷移を適合させてしまうため、しばしば失敗する。
• 実用的な役割分担: 著者らは、構造選択とパラメータ適合を組み合わせることで、インタラクションのトレースからプランナー準備が整ったダイナミクスを得られることを提案している。誘導されたモデルのみでも多くのドメインで十分であるが、ランキングエラーがコストとなる接触の豊かなタスクでは、「軽量な」エンジンチェック（ハイブリッド・スコアリング）が価値のあるオプションのリファインメントとして残る。

結論として、誘導のみのモデルはナビゲーションや把持においてグラウンドトゥルースの性能に近づくものの、接触が豊富なプッシングは依然として課題であり、ハイブリッド検証が価値を加える領域であることを浮き彫りにしている。今後の課題として、視覚的なシーングラフの軌跡から直接これらのプログラムを誘導すること、および実ロボットの設定でのテストが挙げられている。