Robot-Factored World Models via Robot Rendering

技術要約：ロボット・レンダリングによるロボット分解型世界モデル

問題提起
行動条件付きビデオ世界モデルは、初期状態と行動信号から将来の観測を予測することを目指しており、これにより実世界での相互作用なしにプランニングや方策の改善を可能にする。しかし、ロボットの行動がこれらのモデルにどのように提示されるかという点において、根本的な課題が存在する。物理的なロボティクスにおいて、行動は2つの異なるプロセスを通じて将来の観測に影響を与える。(1) 行動の実現（Action Realization）：制御信号が、特定のロボットの身体、コントローラ、および運動学を通じてロボットの動きへと変換されるプロセス。(2) シーンへの応答（Scene Response）：その動きに対して環境が接触や物体の力学を通じて反応するプロセスである。

既存のアプローチは、ロボット固有の制御信号（例：関節トルクやデカルト座標のポーズ）に直接条件付けを行っており、これでは世界モデル自体に「実現プロセス」を学習させることを強いることになり、これはエンボディメント（身体性）に依存した冗長な作業となる。逆に、ログに記録された将来の状態（実現された軌跡）に条件付けることは、モデルが予測すべき対象である相互作用の結果（接触、コンプライアンス、レイテンシ）をリーク（漏洩）させてしまう。核心となる問題は、デプロイメント時に利用可能であり、実現プロセスを学習することを避け、かつ将来の相互作用の結果をリークしない視覚的な条件付け信号を特定することである。

手法
著者らは、ロボット固有の実現プロセスとレンダリングプロセスを世界モデル自体から切り離す**ロボット分解型世界モデル（Robot-Factored World Models）**を提案している。この手法は、以下の3つの主要コンポーネントからなる共有の視覚的インターフェースを導入する。

1. 公称軌跡の条件付け（行動の実現）:
   生の制御コマンドや実現された状態を入力する代わりに、システムは行動シーケンス $a_{1:F}$ を、シーンのない環境下でロボット自身のコントローラと運動学を通して処理し、公称軌跡（nominal trajectory） $q_{1:F}$ を生成する。この軌跡は、シーンとの相互作用が発生する前に、ロボットが自由空間で実行するであろう動きを表している。これは、接触の結果をエンコードすることなく、生のコマンドと実現された状態の間の溝を埋める、デプロイメント時に利用可能な信号として機能する。

2. ロボット・レンダリング（視覚的インターフェース）:
   この公称軌跡は、ロボットのURDF（Unified Robot Description Format）を用いてターゲットとなるカメラフレームにレンダリングされる。これにより、以下が生成される：

   • ロボットメッシュRGB ($M^{rgb}_{1:F}$): シーン内に現れるであろうロボットの幾何形状（リンク、グリッパー、エンドエフェクタ）のビデオ。
   • エンドエフェクタ深度 ($D^{eef}_{1:F}$): エンドエフェクタに特化した深度情報。
     このレンダリングにより、ロボットの幾何学、運動学、および外観が要素分解され、行動をピクセル空間における可視的なロボット幾何として世界モデルに提示する。

3. カメラ認識型の静的コンテキスト:
   将来のダイナミクスをリークすることなくシーンのコンテキストを提供するために、初期のシーン状態 $S_0$ は同一のカメラ軌跡 $C_{1:F}$ に沿ってレンダリングされ、静的なシーンRGB ($B^{rgb}_{1:F}$) とシーン深度 ($D^{scene}_{1:F}$) を生成する。このストリームは、ロボットの相互作用とは独立した外観と幾何学的コンテキストを提供する。

モデルアーキテクチャ
世界モデルは、潜在ビデオ拡散モデル（具体的にはビデオインペインティングのバックボーンを使用）として実装されている。条件付け入力 $c$ は、静的なシーンコンテキスト、レンダリングされたロボットメッシュ、シーン深度、およびエンドエフェクタ深度のエンコードされた潜在表現を結合することで形成される。モデルは、これらの視覚的入力と、シーンコンテキストを記述するテキストプロンプト $T$（行動や将来の結果は除外）を与えられた状態で、将来のビデオ $V_{1:F}$ を予測するように学習する。学習目的関数は、潜在空間における予測速度とターゲット速度の間のフローマッチング損失を最小化することである。

主な貢献

1. デプロイメントに即したインターフェース: 著者らは、行動を公称軌跡として実現し、それをカメラに整合したURDFメッシュRGBおよびエンドエフェクタ深度としてレンダリングする視覚的インターフェースを導入した。これにより、シーンの外観と視点を静的なコンテキストストリームへと要素分解した。
2. 深度認識: インターフェースは、RGB画像平面上の重なりだけでは区別できない幾何学的な曖昧さ（近接、遮蔽、および接触の可能性）を解決するために、エンドエフェクタおよびシーンの深度によって拡張されている。
3. エンボディメントとソースの汎用性: 行動をエンボディメント固有の制御信号ではなく、レンダリングされた幾何学として表現することにより、このインターフェースは世界モデルを特定のロボットコントローラからデカップル（分離）する。これにより、未知のロボットのエンボディメントへの汎用性が可能となり、リターゲティングされた人間のデモンストレーションからの接地されたロボット相互作用ビデオの生成が可能になる。

実験結果
本手法は DROID および RoboCasa-GR1 データセットを用いて評価され、ベクトル条件付けベースライン（デカルト座標のポーズ条件付けを用いたCtrl-World、およびAdaLN状態ベクトルベースライン）と比較された。

• 定量的性能: レンダリングされたインターフェースは、両方のデータセットにおいて、PSNR、SSIM、およびLPIPS指標においてベクトル条件付けベースラインを上回った。具体的には、公称メッシュレンダリングと深度キューの組み合わせが最良の結果（例：RoboCasa-GR1において、状態ベクトルベースラインの17.67に対し、24.61 PSNR）を達成した。
• 定性的分析: レンダリングされたインターフェースは、ロボットの動きと接触領域周辺のシーンの変化をより正確に局在化させた。アブレーション研究により、公称軌跡を使用することで（生の行動ではなく）整合性が向上し、深度キューを追加することで、画像平面上の重なりと実際の物理的接触をモデルが区別するのに大きく役立つことが確認された。
• 汎用性: モデルは、新しい幾何学を同じインターフェースにレンダリングするだけで、未知のロボットのエンボディメント（例：Inspire F1ハンドを備えたxArm 6）へ正常に汎用化した。さらに、リターゲティングされた人間の手の動きからロボットの操作ビデオを正常に生成でき、インターフェースが動作ソースに対して非依存であることを示した。

意義と主張
本論文は、行動の実現とロボットのレンダリングを要素分解することで、世界モデルはエンボディメント固有の制御ダイナミクスの学習から解放され、可視的なロボット幾何に対してシーンがどのように反応するかを予測するという共通の課題に集中できると主張している。このアプローチは、「行動の実現の学習」と「将来の状態のリーク」の間のトレードオフを解決する。著者らは、この「ロボット分解型」のアプローチが、異なる視点やロボットのエンボディメント間で一貫した視覚的インターフェースを提供し、人間のデモンストレーションを含む多様な動作ソースからの、接地された相互作用ビデオの生成や、より堅牢なプランニングを可能にすると断言している。

限界
著者らは、このアプローチには既知のロボットURDFとカメラとロボットのキャリブレーションが必要であることを認めている。また、静的コンテキストストリームは静的なシーン表現を前提としており、これはシミュレーションでは完全に利用可能であるが、前方3D再構成なしでは実世界では部分的にしか観測できない。最後に、学習データ（DROID）は主に成功例であり、掴み損ねや滑りなどの失敗事例への露出が限られているため、それらの特定のシナリオにおける堅牢性に影響を与える可能性がある。