技術要約: GeoProp – 一般的な操作のための視覚への接地型ロボット状態推定

1. 問題提起

拡散ベースのコントローラーからVision-Language-Action (VLA) モデルに至る現在のロボット操作アーキテクチャは、高次元の視覚的観測と低次元の固有受容感覚（プロプリオセプション）フィードバックとの間の構造的なデカップリング（分離）に苦しんでいる。標準的な融合手法は、通常、固有受容感覚を孤立した接地されていないグローバルな状態ベクトルとして扱い、単純な結合やクロスアテンションを介して融合する。

著者らは、このパラダイムにおける決定的な限界を指摘している。すなわち、3Dキネマティクスと2D視覚特徴マップの間に明示的な対応関係がない場合、モデルはロボットの物理的状態とシーンの間の整合性を暗黙的に学習しなければならないということである。経験的な分析により、この接地されていないアプローチは逆効果になる可能性があり、ポリシーが視覚のみのベースラインよりも性能を低下させる原因となることが明らかになった。状態ベクトルは、視覚的な多様体（マニフォールド）内にロボットの構成を固定（アンカー）できず、グリッパーや操作対象物に焦点を当てられない拡散したアテンションパターンを引き起こす。

2. 手法: GeoProp

これに対処するため、著者らは、明示的な幾何学的接地と空間的特徴サンプリングを通じて、固有受容感覚を視覚と整合させる軽量でプラグアンドプレイなアダプターであるGeoPropを提案する。GeoPropは、バックボーンのアーキテクチャを変更することなく、知覚と状態表現のインターフェースで動作する。これは以下の3つのコアコンポーネントで構成される。

2.1 幾何学的投影と特徴の接地

固有受容状態 $p_t$ をグローバルなベクトルとして注入する代わりに、GeoPropはカメラの内部パラメータ ($K$) と外部パラメータ ($R, t$) を使用して、3Dエンドエフェクタの位置 $r_t$ を2D画像平面上に投影する。
$$q_t = \Pi_K(R r_t + t)$$
投影された画像座標 $q_t$ は、視覚特徴グリッド上の連続的な座標 $\bar{q}_t$ にマッピングされる。この位置における視覚特徴は、バイリニア補間を介してサンプリングされ、接地された状態トークン ($\tau_t$) が作成される。このトークンは、ロボットの現在の相互作用点における局所的なシーンのエビデンスを保持しており、同一の視覚潜在空間内のシーンセマンティクスを継承する。

2.2 空間的に整合された特徴変調

幾何学的な事前知識を視覚階層のより深い部分に注入するために、GeoPropは固有受容状態に条件付けられた FiLM (Feature-wise Linear Modulation) を採用する。

• 各レベル $\ell$ における中間特徴マップ $F^\ell_{enc}$ に対して、投影されたエンドエフェクタに対応する整合グリッドセル $c^\ell_t$ を特定する。
• 2層のMLPを用いて、$p_t$ に基づいてチャンネルごとの変調パラメータ $\gamma^\ell_t$ および $\beta^\ell_t$ を予測する。
• 変調は、エンドエフェクタと幾何学的に整合した特徴セルに対してのみ適用される：
  $$F^\ell_{mod}[c] = \begin{cases} (1 + \gamma^\ell_t) \odot F^\ell_{enc}[c] + \beta^\ell_t & \text{if } c = c^\ell_t \\ F^\ell_{enc}[c] & \text{otherwise} \end{cases}$$
  これにより、固有受容による条件付けが、特徴ピラミッドネットワーク (FPN) によるマルチスケール集約の前に、空間的に局所化された状態に保たれる。

2.3 予測的キネマティクス・サンプリング

運動の意図を捉えるために、GeoPropは接地された状態に予測トークンを加える。

• 最近の3D位置の時系列ウィンドウを使用して、多項式外挿により短期間の将来のウェイポイント $\hat{r}_{t+1}$ を推定する。
• このウェイポイントを画像平面に投影し、特徴グリッドにマッピングして、先読み座標 $\bar{q}^{pre}_{t+1}$ を得る。
• 予測トークン ($\tau^{pre}$) は、この位置の変調されていない特徴マップからサンプリングされる。これにより、状態変調に条件付けられることなく、「先読み」のコンテキストを提供する、予想される運動の空間的なプレビューが得られる。

最終的なポリシー入力は、接地された状態トークン、予測トークン、およびグローバルな視覚トークン（利用可能な場合は言語トークンも含む）を結合するものである。

3. 主な貢献

1. 不整合の経験的分析: 著者らは、固有受容感覚を接地されていないグローバルベクトルとして扱うことが、視覚のみのベースラインと比較して操作性能を低下させる可能性があることを示し、明示的な幾何学ベースの、状態と視覚の対応関係の必要性を動機付けた。
2. GeoProp アダプター: 3D固有受容感覚を画像に接地された視覚トークンに変換する、プラグアンドプレイのモジュールを導入した。これは、幾何学的投影、局所的なFiLM変調、および運動意図の予測的サンプリングを通じて、表現のギャップを埋めるものである。
3. 汎用性と効率性: GeoPropは、異なるポリシーアーキテクチャ（Diffusion Policyおよび$\pi_0$のようなVLAモデル）および環境（シミュレーションおよび実世界）にわたって検証されている。これは、無視できる程度のパラメータオーバーヘッド（2〜3%）で、大幅な性能向上を実現している。

4. 実験結果

著者らは、63のシミュレーションタスクとMobile ALOHAシステムにおける4つの実世界タスクを含む計67のタスクでGeoPropを評価した。

シミュレーション・ベンチマーク

• Diffusion Policy (DP): ResNet-18およびViT-Baseバックボーンを用いた63のタスク（MetaWorld, RLBench, RoboTwin）において、GeoPropはバニラの融合ベースラインに対して平均成功率を**8.7%**向上させた。
• VLAモデル ($\pi_0$): RoboTwinのサブセットにおいて、GeoPropは3Bパラメータの$\pi_0$モデルの成功率を**4.0%**向上させ、7つのタスクのうち5つでバニラベースラインを上回った。
• アブレーション研究: 幾何学的接地が改善の主要な源であることが特定された。予測的サンプリングと局所的なFiLM変調の追加は、相補的な利点を提供した。本手法は、ヒートマップ注入やRC-PEのような代替的な空間接地ベースラインを上回った。

実世界実験

Mobile ALOHA二腕プラットフォームを用いた4つの家庭タスク（ペーパー投げ、コーヒー回収、デスク片付け、テーブル清掃）で評価した：

• Diffusion Policy: GeoPropは、平均成功率50.0%を達成し、これはバニラの融合ベースラインに対して11.2%、視覚のみのベースラインに対して21.2%の絶対的な改善となった。
• $\pi_0$: GeoPropは、平均成功率を43.8%から**53.8%**へと向上させた（+10.0pp）。
• 改善は、精密な局所接触とグリッパーと対象物の整列を必要とするタスクで最も顕著であった。

堅牢性

GeoPropはカメラ・ロボットのキャリブレーションに依存する。合成的な外部パラメータの摂動下では、手法の性能は徐々に低下したが、並進誤差2.5cmおよび回転誤差1.5°までの範囲では、依然としてベースラインよりも優れた性能を維持した。

5. 意義と主張

本論文は、GeoPropが一般的なエンボディド・ポリシーに対するシンプルかつ影響力の高い帰納バイアスを提供すると主張している。解析的な投影を通じてロボットの状態を共存する視覚的セマンティクスに固定することで、GeoPropは標準的な融合手法に内在するモダリティの不整合を解決する。

著者らは、このアプローチがフレームワークに依存せず、浅い融合手法（Diffusion Policy）と深いクロスモダリティ・アテンションモデル（$\pi_0$）の両方を改善することを強調している。結果は、明示的な幾何学的接地が、複雑な3Dシーン再構成やバックボーンの変更を必要とせずに、ポリシーが固有受容状態を関連する視覚的エビデンスとより良く関連付けることを可能にする、エンボディドAIのスケーリングにおける重要な要素であることを示唆している。

認められた制限事項:

• カメラの内部パラメータおよび外部パラメータを知っている必要がある。性能は大幅なキャリブレーションのドリフトによって低下する。
• 現在は、より豊かなキネマティクス構造（関節や指先など）ではなく、3Dエンドエフェクタの位置のみを接地している。
• 予測的サンプリングは、局所的に滑らかな運動を前提としている。急激な方向転換は、タスクから外れた先読みポイントにつながる可能性がある。
• 操作対象物が投影されたエンドエフェクタを遮蔽する場合や、ベースラインがすでに天井性能に近い場合には、利点が減少または反転する。