技術概要：コーディングエージェントは世界シミュレーターとして優れている

問題定義

世界モデルは、インタラクティブなシミュレーション環境を構築するためのパラダイムとして登場しており、最近のビデオベースのアプローチは、視覚的に妥当なダイナミクスを生成する上で進展を示している。しかし、これらのモデルは通常、ビデオからダイナミクスを推論し、潜在状態として表現するものであり、物理的制約を明示的に強制するものではない。その結果、生成されたビデオのロールアウトは物理的な妥当性に欠け、不安定な接触、歪んだ形状、または一貫性のない運動を示すことが多い。メカニクスを検査、実行、修復できる世界の構築において、特に物理状態の維持が次のフレームのレンダリングと同様に重要となる長期の相互作用においては、依然として重要なギャップが存在する。既存の物理シミュレーター（MuJoCo、Project Chrono など）は明示的な状態と診断機能を提供するが、ユーザーがアセットを手動で選択し、剛体をインスタンス化し、コードを記述し、パラメータを調整する必要があるため、世界の構築におけるボトルネックとなっている。

手法

著者らは、直接のフレーム予測ではなく、実行可能なシミュレーションコードを通じて物理ベースの世界モデルを構築するマルチエージェントフレームワークを提案する。このシステムは、生成されたコードを世界の表現として扱い、物理エンジン（Project Chrono）内で幾何学、剛体、関節、接触、材質、センサー、数値設定を指定する。フレームワークは、クローズドループのエージェントワークフローを通じて動作する。

1. アセットライブラリと衝突表現: システムは、外部 3D アセット（意味的・視覚的多様性のため）とシミュレーターネイティブのアセット（物理コンポーネントのため）を組み合わせた統一されたアセットライブラリを利用する。計算コストを管理するため、視覚幾何学と衝突幾何学を分離する。高解像度のメッシュはレンダリングに使用され、物理的相互作用は Approximate Convex Decomposition (CoACD) アルゴリズムによって生成された分解された凸包に依存する。

2. マルチエージェントワークフロー:

   • プランエージェント: 未指定の自然言語プロンプト（およびオプションの参照画像）を構造化されたシミュレーション計画に変換する。このエージェントは物理的エンティティを抽出し、定義された述語代数（例：PLACE-ON、FLOATS-AT-SURFACE、FACING-TO）を使用してシーントポロジーを推論し、空間関係を具体的なシミュレーターポーズに解決する。この計画はユーザーの確認に供され、寸法、時間ステップ、カメラ配置などの具体的な選択がコーディング前に検証されるようにする。
   • コードエージェント: 承認された計画を実行可能な PyChrono コードに変換する。生成は、リソースを照会するためのキュレーションされたスキルライブラリ（剛体、関節、車両などの実装パターン）、ツールインターフェース、および API のドリフトを防ぐためのバージョン固有の API インデックスに基づいて条件付けられる。
   • 実行とレビューループ: 生成されたコードは Chrono エンジンで実行される。
     • 視覚レビューエージェント: シミュレーションビデオを分析し、シーンの配置、ダイナミクス、視覚的な不一致を記述する。
     • シミュレーションジャッジ: 診断ログ、物理的軌道データ、視覚的証拠を組み合わせて妥当性を判断する。シミュレーションが失敗した場合（物理エラー、視覚的不一致など）、ジャッジは構造化されたエラーレポートを返す。
     • 反復的修復: コードエージェントは、最初から再生成するのではなく、フィードバックに基づいて現在のプログラムをパッチする。このループは、シミュレーションが計画と物理的制約を満たすまで継続する。

主要な貢献

1. 世界シミュレーションのためのマルチエージェントフレームワーク: 著者らは、エージェントがシミュレーターを考慮した計画、スキルに基づくコード生成、実行フィードバック、視覚的レビュー、反復的修正を通じて、実行可能な物理的世界を協働して構築するシステムを提案する。
2. 実行可能な世界の表現: このフレームワークは、物理シミュレーションを世界の構築プロセスに直接統合する。物体、関節、接触、数値設定は、実行可能なシミュレータープログラムとして表現され、フレームレベルの視覚予測を超えた明示的な物理状態、検査可能なダイナミクス、および根拠のある相互作用を可能にする。
3. 実証された有効性と一般性: このフレームワークは、屋内環境でのロボット相互作用、屋外での車両ダイナミクス、高忠実度の流体 - 固体相互作用（FSI）など、多様なタスクで評価された。

実験結果

このフレームワークは、Go2 ロボットがオフィスをパトロールする、HMMWV が屋外地形を走行する、Polaris 車両が水上の浮遊ブロックを横断する（FSI）という 3 つのシナリオで評価された。

• 計画の堅牢性: プランエージェントに関するアブレーション研究により、参照画像の有無にかかわらず、構造化された計画を生成する成功率が非常に高い（100% Pass@1）ことが示された。
• リソース使用量: 成功したシミュレーションのエンドツーエンドの実行には 24〜30 分を要し、トークン使用量はシナリオの複雑さによって約 168 万から約 634 万トークンの範囲であった。
• ベンチマーク評価（WorldModelBench）: このフレームワークは、WorldModelBench において、最先端のビデオ生成ベースライン（Wan2.2-TI2V-5B）と比較された。WorldModelBench は、指示への準拠、物理法則、および常識を評価する。
  • マルチエージェントフレームワークは、3 つのシナリオすべてでより高い合計スコアを達成した。
  • 改善は FSI 車両シナリオにおいて統計的に有意であった（$p=0.0012$）。
  • メトリックレベルでは、フレームワークは指示への準拠において有意な向上を示した（$p=0.000059$）。これは、要求されたエンティティとシーンの制約の優れた維持を示唆している。
  • 物理法則と常識のスコアはベースラインと同程度であったが、フレームワークはわずかな数値的優位性を維持していた。

意義と限界

本論文は、コーディングエージェントが物理世界そのものを定義する実行可能プログラムを構築することによって、効果的に世界シミュレーターとして機能し得ると主張する。このアプローチは、問題の焦点をフレーム予測からシミュレーターを考慮した世界の構築へとシフトさせ、失敗を実行ログを通じて追跡し、再トレーニングや潜在状態の再生成ではなく、コード修正を通じて修復することを可能にする。

著者らは、いくつかの限界を認めている。

• 修復の単調性: 修復プロセスが単調に改善される保証はなく、異なる失敗モードを循環する可能性がある。
• アセットの制約: 有限のアセットライブラリにより、欠落する物体は幾何学的なプロキシによって近似する必要がある。
• コードの制約: 生成はスキルライブラリと API インデックスによって制限され、サポートされていないセンサーやカスタムソルバーのインスタンス化が困難である。
• 評価範囲: 現在の評価は少数のシナリオをカバーしており、計画の受容には部分的に人間の判断に依存している。

将来の研究方向としては、ロングテール要素を処理するための 3D アセット生成パイプラインの統合、より良い状態表現とキャッシングによるトークン使用量の最適化、および現在のハードウェアのボトルネックを克服するための並列実行の探求が挙げられる。