技術概要：VGAS – Few-Shot 視覚・言語・動作適応のための値誘導型アクションチャンク選択

1. 問題定義

視覚・言語・動作（VLA）モデルは、マルチモーダル入力（視覚観測と言語指示）を物理制御にマッピングする変革的なパラダイムとして登場しました。しかし、限られたデモンストレーション（Few-shot 環境）において、これらの汎用ポリシーを新しいタスクに適応させることは依然として信頼性が低いです。教師あり微調整（SFT）はモデルがタスクの意味を捉えることを可能にしますが、限られた教師信号の下では微細な幾何学的曖昧性を解決できないことがよくあります。

特定された核心的な問題は、データが不足している環境（例：5-shot 適応）において、微調整された VLA ポリシーが、意味的には妥当だが幾何学的に不正確な動作軌道を生成することです。これらの「ニアミス」動作は、エンドエフェクタの姿勢や関節角度において真値からわずかに逸脱しており、不正確な把持や関節のオーバーシュートなどの、実行結果の乖離を引き起こします。標準的なオフライン強化学習（ORL）手法はここで苦戦します。その理由は以下の通りです：

1. 構造的ミスマッチ: 現代の VLA は、原子ステップではなく時間的に拡張された動作チャンクを出力するため、半マルコフ決定過程（SMDP）を形成し、価値学習とクレジット割り当てを複雑にします。
2. ランキング解像度対保守性: 従来の保守的な ORL 目的関数（例：CQL）は、分布外（OOD）の動作を無差別に抑制します。Few-shot 環境では、これにより有効な「ニアミス」候補と壊滅的な失敗との間の価値ギャップが圧縮され、推論時の選択に必要な微細なランキング解像度が失われます。

2. 手法：VGAS

著者らは、Few-shot VLA 適応を生成・選択問題として再定式化するフレームワーク VGAS（Value-Guided Action-chunk Selection、値誘導型アクションチャンク選択） を提案します。これは、高リコールのジェネレーターと高精度のクリティックにポリシーを分離し、推論時に Best-of-N 選択を実行して、意味的に忠実かつ幾何学的に正確な動作チャンクを特定します。

2.1 フレームワーク概要

1. 生成: 少量のデモンストレーションで SFT されたベース VLA ポリシー（$\pi_\mu$）が提案ジェネレーターとして機能します。推論時、これは $N$ 個の候補動作チャンク $\{A^{(i)}_t\}_{i=1}^N$ をサンプリングします。
2. 選択: 学習されたクリティック（$Q_\theta$）がこれらの候補を評価します。最終動作は Best-of-N によって選択されます：$A^*_t = \arg\max_i Q_\theta(s_t, A^{(i)}_t)$。

2.2 主要コンポーネント

A. Q-Chunk-Former（クリティックアーキテクチャ）

高次元かつ時間的に拡張された動作チャンクの値を推定するという課題に対処するため、著者らは Transformer ベースのクリティック Q-Chunk-Former を導入します。

• 状態・動作融合（SAF）: 視覚、言語、固有受容感覚トークンの単純な連結とは異なり、これはモデルが重要な幾何学的手がかりを見落とす傾向があるため、SAF はマルチモーダル統合前に、生動作チャンクをロボットの固有受容状態（$p_t$）に基づいて明示的に条件付けます。これにより、実現可能性を考慮した値推定が保証されます。
• 時間的モデリング: このアーキテクチャは、動作チャンク内のトークンレベルの特徴と時間的順序を保持し、アテンション機構が正確な値推定に不可欠な幾何学的手がかりに集中できるようにします。

B. 最適化目的関数

クリティックは、時間的一貫性と空間的幾何学的正則化を組み合わせたハイブリッド目的関数を用いて訓練されます：
$$\min_\theta \mathcal{J}(\theta) = \mathcal{L}_{TD}(Q_\theta) + \lambda \mathcal{L}_{EGR}(Q_\theta)$$

1. 提案制約チャンク化期待最大値（TD 損失）:
   Best-of-N 選択規則との時間的一貫性を確保するため、著者らは Expected-Max（EMaQ）演算子をチャンク化された SMDP 設定に適応させます。ベルマンバックアップは、凍結されたポリシー $\pi_\mu$ からサンプリングされた $N$ 個の提案に対する期待最大リターンをターゲットとし、クリティックが誘導された選択ポリシー $\pi^{(N)}_{\mu,Q}$ の価値関数を学習することを保証します。

2. 明示的幾何学的正則化（EGR）:
   価値ランドスケープの崩壊を防ぎ、ニアミス候補間のランキング解像度を維持するため、EGR は密な幾何学的教師信号を注入します。これは以下の 2 つの部分で構成されます：

   • 幾何学的アンカリング（$\mathcal{L}_{anchor}$）: 値スケールを TD ターゲットにアンカーしつつ、重み付きユークリッド距離に基づいて専門家のデモンストレーションチャンクからの逸脱を罰します。これにより、価値ランドスケープは滑らかな漏斗状に形成されます。
   • 幾何学的ランキング（$\mathcal{L}_{rank}$）: 幾何学的近接に対応する相対的な値の差をクリティックが保持することを強制するペアワイズランキング損失です。これにより、両方が OOD であっても、専門家の軌道に近い候補は遠い候補よりも高い値を受け取ることが保証されます。

3. 主要な貢献

1. 適応の再定式化: 本論文は、Few-shot VLA 適応のパラダイムを、尤度ベースの生成から、結果を認識し値に誘導された選択へと転換させ、幾何学的精度のボトルネックを明示的に解決します。
2. Q-Chunk-Former: 固有受容状態を直接動作トークン表現に統合することで、高次元のマルチモーダル観測を正確なチャンクレベルの値推定に効果的に接地する、新規のクリティックアーキテクチャです。
3. 明示的幾何学的正則化（EGR）: 提案でサポートされた候補間の価値ギャップの圧縮を防ぐ正則化手法です。幾何学的事前分布を用いて価値ランドスケープを形成することで、限られた教師信号下でも信頼性の高い Best-of-N 選択を可能にします。
4. 理論的保証: 著者らは、チャンクレベルの値演算子の収束と、EGR アンカリングエンベロープ下での Best-of-N 選択の境界を示す理論的証明を提供します。

4. 実験結果

本手法は、5-shot 適応設定における LIBERO ベンチマーク（Spatial、Object、Goal、Long の各スイートを含む）で評価されました。

• 性能: VGAS は平均成功率 49.0% を達成し、以下の手法を大幅に上回りました：
  • SFT ベースライン（BC-Only）: 39.8%
  • 保守的 ORL ベースライン（QC-M+CQL, QC-T+CQL）: 約 42%
  • 同じ設定における他の VLA ベースライン（例：$\pi_0$-FAST, Diffusion Policy）。
• アブレーション研究:
  • EGR を除去すると性能が急激に低下（36.4% まで）し、幾何学的な形状付けがなければクリティックがニアミス候補と失敗を区別できないことが確認されました。
  • Transformer バックボーン（Q-Chunk-Former）を除去すると性能が低下し、マルチモーダル依存関係に対するアテンション機構の必要性が実証されました。
  • 時間的一貫性項（TD）を除去すると性能が低下し、安定した時間的アンカーの必要性が示されました。
• 可視化: 価値ランドスケープの分析により、標準的な CQL は値を均一に崩壊させるのに対し、VGAS は専門家からの幾何学的距離に応じて滑らかに減衰する、段階的で識別可能なランドスケープを生成し、効果的な選択を可能にすることが示されました。

5. 意義と主張

本論文は、VGAS が具現化 AI の重要な限界、すなわちデータ不足下での現在の VLA モデルの幾何学的一般化能力の欠如に対処していると主張しています。意味的生成と幾何学的選択を分離することで、VGAS はオンライン探索や大規模データセットを必要とせずに、値誘導型選択が堅牢性と成功率を大幅に向上させることを実証しています。

著者らは、VGAS が性能を向上させる一方で、Best-of-N サンプリングにより推論時の計算遅延が生じ、高頻度制御シナリオでの適用性を制限する可能性があることに言及しています。さらに、この手法を実世界のハードウェアへ拡張することは、今後の研究課題です。核心的な貢献は、幾何学的に接地された価値学習を通じて Few-shot 環境における VLA 適応を安定化させるための、理論的かつ実践的なフレームワークの提供にあります。