技術要約：ロボット・ポリシー学習のための幾何学的アクションモデル（Geometric Action Model）

問題提起

汎用的なロボット操作ポリシーの開発には、自然言語の指示に従いつつ、3D物理空間における物体、カメラ、およびロボットの動作間の複雑な相互作用を推論できるモデルが必要である。近年のVision-Language-Action (VLA) モデルやVideo World-Action (WAM) モデルは、セマンティックな事前知識や時間的な事前知識を利用するために大規模な基盤モデルを活用しているが、それらは主に2D画像フレームまたは2D由来の潜在空間上で動作している。その結果、奥行き、スケール、遮蔽といった重要な3Dの手がかりが暗黙的なものに留まっている。この制限は、ロボットの初期状態やカメラの視点といった環境の変化に対する汎化性能を妨げている。既存の試みでは、幾何学的基盤モデル (Geometric Foundation Models: GFM) を単なる静的な特徴抽出器として扱ったり、その特徴をVLAバックボーンに蒸留したりしているが、GFMのマルチレイヤーな幾何学的構造を、ポリシー自身の時間的かつアクション生成のための基質（substrate）として再利用することには失敗している。

手法：幾何学的アクションモデル (GAM)

著者らは、事前学習済みの幾何学的基盤モデル (GFM) を、知覚、時間的予測、およびアクションデコーディングのための共有基質として直接再利用する、言語条件付き操作ポリシーである「Geometric Action Model (GAM)」を提案する。

コア・アーキテクチャ

GAMは、事前学習済みのGFM（例：DA3）を中間層 $L_s$ で分割し、浅い層と深い層の間に因果的未来予測器 (Causal Future Predictor) を挿入することで動作する。このフレームワークは、以下の3つの連続したステージで機能する。

1. 観測エンコーディング (Observation Encoding): GFMの浅い層 ($E_{\le L_s}$) が観測エンコーダとして機能する。これらはマルチビューRGB観測を処理して潜在的な幾何学的特徴を抽出し、ステップごとの幾何学的潜在状態のシーケンスを生成する。
2. 因果的未来予測 (Causal Future Prediction): 分割層において、因果的トランスフォーマー予測器 ($g_\phi$) が挿入される。これは、現在の幾何学的潜在トークンに、タスク指示（凍結されたテキストエンコーダ経スルー）や自己受容感覚状態、アクション履歴を結合したものを入力とする。ブロック因果的自己注意（block-causal self-attention）を用いることで、この予測器は以下の2つの出力を同時に予測する。
   • 将来の潜在的な幾何学的トークン ($\tilde{Z}^{(L_s)}_{t+1}$)。
   • 予測される次のアクション・トークン ($\tilde{a}_t$)。
     この設計により、モデルは最小限のアーキテクチャ変更で、言語条件付きの時間的世界モデリングを学習できる。なぜなら、挿入された予測器のみが、言語、自己受容感覚、およびアクション履歴とGFMの特徴の融合を学習する必要があるからである。
3. 特徴伝播とデコーディング (Feature Propagation and Decoding): 予測された将来のトークンとアクション・トークンは、残りの深いGFMブロック ($D_{>L_s}$) へとルーティングされる。もともと浅い特徴を3D幾何学へとデコードするように事前学習された深いブロックは、予測された将来のトークンをデコードするために再利用される。この段階で以下が生成される。
   • 将来の幾何学 (Future Geometry): GFMの深度ヘッドを通じて、アクションに整合した将来の深度マップとしてデコードされる。
   • アクション・チャンク (Action Chunk): 軽量なアクション・ヘッドを通じて、実行可能なデルタ・ポーズまたは関節コマンドとしてデコードされる。

学習目的関数

ポリシーは、以下のマルチタスク損失関数を用いてエンドツーエンドで訓練される。
$$\mathcal{L}_{total} = \lambda_{act}\mathcal{L}_{act} + \lambda_{feat}\mathcal{L}_{feat} + \lambda_{depth}\mathcal{L}_{depth}$$

• アクション損失 ($\mathcal{L}_{act}$): デコードされたアクション・チャンクとエキスパートのアクション間の $\ell_1$ 回帰。
• 特徴量損失 ($\mathcal{L}_{feat}$): 予測された将来の潜在トークンを、実際の次フレームの潜在トークン（凍結されたGFMから抽出）と整合させ、予測器を時間的な幾何学的遷移に固定する。
• 深度損失 ($\mathcal{L}_{depth}$): デコードされた将来の深度マップを、スケール不変および勾配一致ペナルティを用いて、グラウンドトゥルースの将来の深度（または実世界設定における疑似ラベル）に対して監督する。

主な貢献

1. 統合されたアーキテクチャ: GAMは、時間的世界モデリング、潜在特徴空間の予測、および幾何学的基盤モデルの基質を組み合わせた、単一の共有バックボーン・アーキテクチャを導入する。
2. 共有トークンスペースによる予測: 著者らは、アクションと幾何学が共有の自己回帰的トークンシーケンス内で予測可能であることを示している。単一のフォワードパスによって、別個のヘッドや拡散プロセスに頼ることなく、アクション・トークンと将来のシーン・トークンの両方が生成され、軽量なヘッドによってデコードされる。
3. GFMの再利用: GFMを静的な抽出器として使用する従来の研究とは異なり、GAMは予測された将来のトークンをデコードするためにGFMの深いブロックを明示的に再利用し、動的な世界モデリングのためにモデルの幾何学的事前知識を最大限に活用している。

実験結果

著者らは、多様なシミュレーション（LIBERO, LIBERO-Plus）および実世界のロボット操作ベンチマークにおいてGAMを評価した。

• ベースラインとの比較: GAMは、大幅に少ないパラメータ数（1.4B 対 7B以上）を用いながら、現在の基盤モデル規模のベースライン（VLAおよびWAM）と同等またはそれを上回る成功率を達成している。
• 堅牢性 (Robustness): GAMは、分布外（out-of-distribution）の摂動に対して優れた堅牢性を示す。特に、LIBERO-Plusのカメラ摂動設定において、GAMは最高のベースラインを9.7パーセントポイント上回った。
• 効率性: GAMは6.9 ms（約145 Hz）の単一フィードフォワード推論レイテンシを実現しており、これはCosmos-Policyのような拡散ベースのポリシーよりも約55倍高速である。
• 実世界への転移: 4つの操作タスクを含む実世界実験において、GAMはベースライン（$\pi0.5$ や Spatial Forcing を含む）を大幅に上回り、他のモデルが苦戦するカメラ摂動下でも堅牢性を維持した。

意義と主張

本論文は、GAMが2D中心の基盤モデルに内在する空間的な曖昧さを解決することにより、汎用的なロボット・ポリシーへの重要な一歩を踏み出したと主張している。幾何学的な世界ダイナミクスを予測経路に直接統合することで、GAMは高い精度、環境変化に対する堅牢性、および計算効率のバランスを実現している。著者らは、彼らのアプローチが、アクションと幾何学が共有の潜在空間内で効果的にモデリング可能であることを証明しており、単一のバックボーンが知覚、将来状態の予測、および制御を処理できることを示していると述べている。

著者らは限界についても認めており、モデルの言語推論能力と常識的判断能力は、使用されている凍結されたテキストエンコーダに依存していることを指摘している。これは、大規模言語モデル（LLM）や外部の推論モジュールを統合することが、将来の自然な方向性であることを示唆している。