Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization

技術要約：接地された3Dポイントのダイレクト・アクションヘッド注入が空間およびタスクの汎化を解き放つ

1. 問題提起

Vision-Language-Action (VLA) モデルは、大規模な視覚言語事前学習を活用することで、柔軟なロボット操作を可能にします。しかし、これらのモデルはテスト時において、以下の2つの決定的な軸で著しい脆弱性を示します：

• 空間的汎化（Spatial Generalization）: 物体の位置が訓練時に遭遇したものと異なる場合、性能が崩壊する。
• タスクの汎化（Task Generalization）: 見慣れたシーンに対して異なる言語指示が組み合わされた際、新しいコマンドに応答するのではなく、記憶された軌跡を再生してしまう。

既存のアプローチは、言語プロンプト（テキストトークン）や視覚プロンプト（画像オーバーレイ）を介して明示的な空間接地（例：物体の位置）を提供することで、これを軽減しようと試みています。著者らは、これらの手法は空間信号がどのように表現され、注入されるかを体系的に解決できていないと主張しています。具体的には、2D表現に依存することは、モデルに視覚的および言語的特徴から3D幾何学を内部的に再構成させるという負担を強いることになり、それが堅牢な汎化を制限しているのです。

2. 手法

本論文は、接地信号の処理方法を根本的に変える、軽量でモデルに依存しないモジュールを提案しています。それは、2Dの接地ポイントを3Dへとリフトアップし、アクションヘッドへ直接注入するという手法です。

パイプラインは以下の3つのステージで構成されます：

1. 3Dリフティング（3D Lifting）: 任意のオフザシェルフの視覚接地モジュール（VLMや検出器など）から得られた2Dターゲットポイントに基づき、システムは深度情報とカメラパラメータを使用して、このポイントを3D空間へとリフトアップします。ロボットベース座標系におけるターゲット位置（$p_t$）と現在のグリッパー位置（$p_g$）の間の相対的な変位（$d$）を計算します：
   $$d = p_t - p_g$$
2. 空間埋め込み（Spatial Embedding）: この3D変位ベクトルは、単純な2層の多層パーセプトロン（MLP）を用いて空間埋め込み（$z_{spatial}$）へとエンコードされます。出力次元はアクションヘッドの隠れ層のサイズと一致します。
3. AdaLNによる直接注入: 最新のVLAは、多くの場合、条件付けのためにAdaptive Layer Normalization（AdaLN）を採用したDiffusion Transformer (DiT) をアクションヘッドとして利用しています。本手法は、信号を入力トークンやテキストプロンプトに追加するのではなく、空間埋め込みをAdaLNメカニズムに直接注入します。空間埋め込みは、要素ごとの加算によってタイムステップ埋め込み（$z_{time}$）と結合され、正規化層のスケール（$\gamma$）およびシフト（$\beta$）パラメータを調整します：
   $$\gamma, \beta = \text{Linear}(z_{time} + z_{spatial})$$
   これにより、VLAのバックボーンや事前学習パイプラインを変更することなく、ポリシーがアクション予測中にタスクに関連する3D幾何学的情報を直接取り入れることが可能になります。

3. 主な貢献

• ボトルネックの特定: 著者らは、表現形式（2Dか3Dか）および注入メカニズム（プロンプティングか直接的なヘッド注入か）が、接地信号のソース自体よりも、汎化を決定する主要な要因であることを実証しました。
• 軽量なアーキテクチャ: 提案手法は、VLAバックボーンや事前学習データの変更を必要としません。2層のMLPを追加するだけであり、既存のAdaLN条件付けメカニズムを利用します。
• バックボーンへの非依存性: 本手法は複数の異なるVLAバックボーン（GR00T-N1.6 および $\pi0.5$）で検証されており、異なるモデルアーキテクチャへの適用可能性が証明されています。

4. 実験結果

本手法は、タスク摂動（指示の変更）および位置摂動（物体の位置の変更）を含む LIBERO および LIBERO-PRO ベンチマークで評価されました。

• シミュレーション性能:

  • GR00T-N1.6 において、本手法はタスク摂動下での平均成功率を 31.2% から 77.5% へ、位置摂動下では 28.1% から 60.2% へと向上させました。
  • $\pi0.5$ においても同様の向上が見られ、成功率はタスク（Task）で 37.3% から 75.9% へ、位置（Position）で 47.0% から 72.2% へ上昇しました。
  • 制御された比較: 同一のオラクル2Dターゲットポイントを与えた場合でも、2Dバリアント（テキスト、視覚、またはAdaLNプロンプト経由）による改善はわずかなものでした。対照的に、AdaLNを介して注入された3D表現は劇的な向上を示し、3D表現と直接注入が決定的な要因であることを裏付けました。
  • データ効率: 本手法を用いてわずか20のタスクで訓練された手法は、69のタスクで訓練されたベースラインを上回りました。これは、汎化においてはアーキテクチャ設計がデータスケーリングよりも重要であることを示唆しています。
  • 堅牢性: 本手法は、ノイズを含む深度入力を用いた場合でも効果を維持しました。

• 実世界での検証:

  • 消費者向けのRGB-Dセンサーを備えた Franka Emika Panda ロボットを用いた実験により、シミュレーションの知見が確認されました。
  • ベースラインや2Dプロンプト・バリアントが実世界の摂動下で成功率がほぼゼロにまで低下した一方で、提案手法は高い性能を維持し、ノイズの多い接地入力に対しても実用的な適用可能性を示しました。

5. 意義と主張

本論文は、中心的な発見は「単純だが見落とされていた」洞察であると主張しています。すなわち、適切な2D接地が与えられているならば、信号を3Dへとリフトアップし、それをアクションヘッドに直接注入することが、VLAにおける空間およびタスクの汎化を解き放つ鍵であるということです。

著者らは、このアプローチが複雑な3Dエンコーダや追加の基盤モデル、あるいはアーキテクチャの全面的な刷新を必要とせずに、大幅な性能向上を実現していることを強調しています。本研究は、分野が空間信号の統合を過度に複雑化してきた可能性を示唆しており、直接的かつ幾何学的に整合したアクションヘッドへの注入こそが、堅牢なロボット操作に向けた最も効果的な道であることを示しています。また、物体に依存しない動作に関する制約や、2D接地が利用可能であるという前提についても言及していますが、本研究の貢献をVLAの堅牢性を向上させるための基礎的なステップとして位置付けています。