技術要約: G3VLA – Vision-Language-Action モデルのための幾何学的帰納バイアス

問題提起

RT-2、OpenVLA、$\pi_0$ といった Vision-Language-Action (VLA) モデルは、学習済み vision-language バックボーンからの意味的知識を活用することで、汎用的なロボット操作において大きな進歩を遂げてきました。しかし、決定的な制限が依然として存在します。それは、それらの視覚トークンが、ロボットのカメラの校正された幾何学構造ではなく、2D 画像座標に根ざしているという点です。この不一致は、既知の内部パラメータ（intrinsics）と外部パラメータ（extrinsics）によって異なる視点が幾何学的に結合されているマルチカメラ構成において特に顕著になりますが、従来の VLA 定式化では、これらの視点を独立した 2D 画像として処理してしまいます。その結果、モデルは行動の教師あり学習のみからカメラの幾何学を暗黙的に学習しなければならず、このプロセスはしばしば非効率であり、特に正確なポーズ推定、距離推論、およびクロスビューの一貫性を必要とするタスクにおいて空間的な精度を制限します。

これに対処する既存の試み（例：PerAct によるボクセル化、または Act3D による 3D フィールドへの特徴量のリフトアップ）は、事前学習済みの VLM セマンティクスを十分に活用できないタスク固有のアーキテクチャを必要とすることが多いです。その他の架け橋となる取り組み（例：SpatialVLA、3D-VLA）は、明示的な 3D センサー入力、大規模な空間事前学習、または行動表現の変更を必要とするのが一般的です。本研究が取り組む中心的な問いは、「校正されたカメラの幾何学は、バックボーン、行動空間、または模倣目的を変更することなく、事前学習済み VLA のための軽量な視覚トークン経路として機能し、空間的な汎化性能を向上させることができるか？」 ということです。

手法: G3VLA

著者らは、事前学習済みの VLA の視覚トークン・ストリームに校正された構造を直接注入する、カメラ認識型の幾何学フレームワークである G3VLA を提案しています。この手法は、幾何学を視覚トークンを通じてのみ導入することで、事前学習済みのバックボーンと行動定式化を維持します。

コアコンポーネント

カメラ認識幾何モジュール ($F_\psi$) は、以下の 3 つの主要コンポーネントで構成されます。

1. 内部パラメータ条件付きレイ・エンベディング (Intrinsic-Conditioned Ray Embeddings):
   同じピクセル $(x, y)$ が異なる内部パラメータの下で異なる物理的な視線方向にマッピングされる曖昧さを解消するために、本手法は各 ViT パッチ・トークンに、逆投影された視線方向のタグを付与します。同次ピクセル座標 $u$ に対して、正規化投影レイは $\tilde{r}^v(u) = (K^v)^{-1}u$ として計算されます。学習可能なエンベディング $G_\phi$ が、このレイマップをパッチグリッドに投影し、エンコーダーの出力に加算します：
   $$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$$
   これにより、すべてのダウンストリームのアテンションが、その内部パラメータによる視線方向を認識した状態で動作することを保証します。

2. 射影位置エンコーディング (Projective Positional Encoding: PRoPE):
   レイ・エンベディングが局所的な視線方向をエンコードする一方で、これらは異なる視点間のトークン間の幾何学的関係を捉えることはできません。PRoPE は、視点ごとの内部パラメータ ($K^v$)、カメラ・ワールド変換行列 ($T^v$)、およびパッチ位置に基づき、クエリ、キー、およびバリュー表現に対する固定の射影変換を導出することで、これに対処します。これにより、外観の類似性だけに頼るのではなく、カメラモデルに基づく射影関係を用いたクロスビュー・アテンションを提供します。

3. 双方向クロスビュー融合 (Bidirectional Cross-View Fusion):
   融合モジュールは、2 つのステップでトークンを処理します。

   • フレーム・アテンション (Frame Attention): 各カメラ・ストリーム内のトークンを独立して処理し、視点ローカルの構造を保持します。
   • クロスビュー・アテンション (Cross-View Attention): 視点次元とパッチ次元をフラット化し、すべての有効なトークンが PRoPE を位置信号として用いて、ビュー間で双方向にアテンションを行うことを可能にします。これにより、トークンが行動モデルに到達する前に、幾何学的なコンテキストを交換します。

学習戦略: 2 段階カリキュラムと幾何学蒸留

幾何学モジュールはスクラッチから初期化され、行動損失から得られる疎なタスクレベルの勾配のみを受け取るため、著者らは高密度な補助幾何学蒸留目的関数と 2 段階の学習カリキュラムを導入しています。

• 幾何学蒸留目的関数: 融合された視覚トークンに付随する補助的なポイント・ヘッドが、高密度なピクセルごとのレイ座標 ($\hat{q}^v_u$) と対数 $z$ 深度 ($\hat{d}^v_u$) を予測します。教師信号となるターゲットは、シミュレーションにおけるグラウンドトゥルースのポイントマップ、または視覚幾何学ティーチャー ($\pi_3X$) からの信頼度ゲート付き予測から得られます。ティーチャーの予測は、信頼できないピクセルをフィルタリングするために信頼度閾値 ($\tau=0.1$) によってゲート制御されており、深度センサーや手動の 3D アノテーションを必要としません。
• 2 段階学習:
  • ステージ 1 (幾何学モジュールの事前学習): 事前学習済みバックボーンを凍結します。レイ・エンベディング、クロスビュー融合層、および補助的なポイント・ヘッドのみが更新され、蒸留損失が支配的となります。これにより、幾何学モジュールを高密度なティーチャー信号に整合させます。
  • ステージ 2 (フルポリシー・ファインチューニング): すべてのパラメータの凍結を解除します。行動損失が支配的になりますが、蒸留損失は軽量な幾何学レギュラライザーとして機能します。推論時には、補助ヘッドとティーチャーは破棄されます。ポリシーには RGB 画像、自己受容感覚（proprioception）、言語、およびカメラ校正のみが必要です。

主な貢献

1. 幾何学的ギャップの特定: 本論文は、事前学習済み VLA における 2D に根ざした視覚トークンと、精密な操作に求められる校正された空間構造との間の不一致を明らかにしています。
2. G3VLA フレームワーク: バックボーン、行動空間、または模 imitation 目的を変更することなく、レイ・エンベディング、PRoPE、およびクロスビュー融合を通じて校正されたカメラ幾何学を視覚トークン・ストリームに注入する、軽量でバックボーンを維持する経路を提供します。
3. $\pi_3X$ からの幾何学蒸留: 信頼度ゲート付きの高密度ポイントマップを用いて幾何学モジュールを監督する 2 段階の手順を導入し、手動の 3D アノテーションや深度センサーを不要にしました。
4. マルチアーキテクチャ検証: 本手法を 3 つの異なる VLA システム ($\pi_0, \pi_0.5, \text{GR00T } 1.5$) で検証し、一貫した利点を示し、幾何学的信号が行動生成にどのように伝播するかについてのアーキテクチャ的な洞察を提供しました。

実験結果

シミュレーション・ベンチマーク

• LIBERO: $\pi_0$ バックボーンにおいて、G3VLA (GT) はマクロ平均成功率を 84.6% から 88.1% へと向上させました（+3.5 ポイント）。最大の利得は LIBERO-Object (+5.0) および LIBERO-Spatial (+4.0) で観察され、物体定位と空間推論を必要とするタスクにおいて最も恩恵を受けることが確認されました。G3VLA ($\pi_3X$) も大幅な向上（ベースラインに対し +2.4）を達成しており、ティーチャー蒸留された幾何学の有用性を証明しています。
• RoboCasa24 & RoboTwin2.0: G3VLA (GT) は、RoboCasa24 (34.2% $\to$ 37.1%) および RoboTwin2.0 (44.0% $\to$ 49.0%) において成功率を向上させました。注目すべき点として、G3VLA ($\pi_3X$) は RoboTwin2.0 で性能が低下（41.0% へ）しましたが、これは視覚的にクリーンでテクスチャが乏しい合成シーンにおける、オフラインの $\pi_3X$ ポイントマップ・ターゲットの信頼性の低さに起因すると著者らは述べています。
• バックボーンの互換性:
  • $\pi_0.5$: 利得はより小さいものの一貫しており (95.9% $\to$ 97.0%)、より強力で飽和に近いバックボーンとの互換性を確認しました。
  • GR00T 1.5: 結果は混合していました。$\pi_3X$ の監督による利得は見られましたが、GT では見られませんでした。これは、GR00T 1.5 の 2 タワー・アーキテクチャにおいて、拡散ポリシーが凍結された VLM へのクロスアテンションを介して視覚特徴にアクセスするため、幾何学的な信号が減衰してしまうためであると著者らは示唆しています。

実世界の結果

2 本腕の UR5 ロボットを用いた 2 つのタスク（試験管のピック・アンド・プレース、ナッツの注ぎ）で評価したところ、G3VLA は 分布外 (OOD) 設定（未知のカメラ視点）において最も顕著な改善を示しました。

• 「ナッツの注ぎ」タスクにおいて、G3VLA は $\pi_0$ の OOD 成功率を約 70-75% から 83-87.5% へと向上させました。
• 定性的分析により、GT バリアントは、バニラなベースラインには見られなかった中間エラー後の堅牢なリカバリ挙動作（例：再把持、再整列）を示すことが分かりました。

アブレーション研究

• 幾何学的コンポーネント: レイ・エンベディングの除去が最大の低下 (-2.0%) を引き起こし、次いで PRoPE の除去 (-1.1%) となり、両者の相補的な役割が確認されました。
• 学習カリキュラム: 2 段階カリキュラムを 1 段階の同時学習に置き換えると、性能が 0.7% 低下し、行動最適化の前に幾何学経路を事前調整することの重要性が強調されました。
• 監督ソース: グラウンドトゥルースによる監督が最強の信号を提供しましたが、$\pi_3X$ 蒸留も利得の大部分を回復しており、深度が利用できない場合の現実的な代替手段として機能しました。

意義と主張

本論文は、校正されたカメラの幾何学は、ジェネラリスト VLA ポリシーにおける空間的精度を高めるための、軽量かつ有用な帰納バイアスであると主張しています。主な意義は、バックボーン、行動空間、または模倣目的を変更することなく、幾何学的構造を既存の VLA の視覚トークン・ストリームに注入できることを示した点にあります。

著者らは、この幾何学的注入の有効性はアーキテクチャに依存するということを控えめに結論付けています。つまり、幾何学を認識したトークンが行動生成経路に直接アクセスできる場合（$\pi_0$ や $\pi_0.5$ のように）に最も効果的であり、行動モデルが間接的に特徴にアクセスするアーキテクチャ（GR00T 1.5 のように）では、その恩恵は減衰します。さらに、視覚幾何学ティーチャーへの依存は、ドメインのミスマッチ（例：テクスチャの乏しいシーン）に対して敏感であることを示唆しており、ティーチャー蒸留は実行可能な戦略ではあるものの、グラウンドトゥルースによる監督が依然として優れていることを示しています。

全体として、G3VLA は、既知のカメラ校正パラメータを構造的事前知識として利用することで、既存の VLA モデルの空間的汎化性能を向上させるための実用的なアプローチを提供しています。