技術要約: In-Context VLA (VLA-Talker)

問題提起

Vision-Language-Action (VLA) モデルは、汎用的なロボット操作の標準となりつつあります。これらは通常、静止画像と固定された指示に基づき、エキスパートの行動チャンクを模倣するように行動クローニング（BC）を通じて学習されます。効果的ではあるものの、これらのモデルには主に2つの限界があります：

1. 不透明な条件付け: 指示は理解された概念としてではなく、記憶された文字列として扱われます。そのため、言い換えや未知の類義語を使用すると性能が低下します。
2. 受動的な知覚: ポリシーは単一のフィードフォワードパスで観測を消費するため、答えがすぐには見えない場合に、欠落している情報（例：物体の位置）を能動的に探索する能力が欠けています。

これを解決するための自然な仮説は、Chain-of-Thought (CoT) を介して明示的な推論を注入することです。しかし、著者らは、自由形式の生成型CoTは低レベル制御に対して有害であることを、以下の3つの理由から示しています：

• グラウンディングのギャップ: 根拠（Rationale）はアクションヘッドと同じ静的な特徴量から生成されるため、新しい証拠を何も追加しません。モデルが位置を幻覚（ハルシネーション）した場合、アクションヘッドを積極的に誤誘導してしまいます。
• 目的関数の干渉: 単一の自己回帰損失において、膨大な数の言語トークン（推論用）は、わずかなアクショントークンに対する勾配信号を支配してしまい、ポリシーを正確なアクターではなく「流暢な語り手」へと押しやってしまいます。
• レイテンシとドリフト: 意思決定ごとに数百の推論トークンを生成することは、クローズドループのタイミングを損ない、自己回帰的なプレフィックスにおけるエラーがサフィックスのアクションへと伝播します。

著者らは、VLAには言語を生成する能力ではなく、グラウンドされた言語を消費する能力が必要であると主張しています。

手法: VLA-Talker

本論文は、インコンテキスト・ポストトレーニングとエージェンティックなツール利用を通じて、証拠の獲得と証拠の消費を分離することで、VLAモデルに言語能力を授けるフレームワークであるVLA-Talkerを提案しています。

1. グラウンドされた証拠のためのエージェンティックなツール利用

推論テキストを生成する代わりに、システムは特定のクエリ（例：「グリッパーとタスクに関連する物体の画像空間上の位置と相対的な深さは何か？」）に答えるために、専門的なツールを呼び出す外部のエージェンティック・ループに証拠獲得を委ねます。

• 深度と幾何学: 単眼深度推定器が相対的な深度順序を提供します。
• 物体ローカライゼーション: オープンボキャブラリ検出器（例：GroundingDino）が物体を特定します。検出器が不確実な場合は、エージェントによるフォールバックとして、定性的な記述や近似座標を得るために視覚言語モデル（VLM）に問い合わせます。
• グリッパー投影: グリッパーの世界座標（プロプリオセプションから）は、カメラの内部パラメータを用いて解析的に画像空間へ投影され、学習なしに正確なピクセル座標を提供します。
• 証拠タプル: 出力は、座標、深度、および関係性（例：「マグカップはグリッパーから右に42px、0.08m深い位置にある」）を含む構造化されたタプルです。

2. 多様なキャプション・レンダリング

ポリシーが単一のテンプレートに過学習するのを防ぐため、データエンジンは生の証拠タプルを、多様に言い換えられた自然言語記述へとレンダリングします。これらの記述は以下のように変化します：

• モダリティ: 絶対座標 vs 相対オフセット vs 定性的記述。
• 参照フレーム: エゴセントリック（グリッパー基準） vs アロセントリック（カメラ/テーブル基準）。
• 語彙・構文形式: 物体や空間的な前置詞の類義語。
• 冗長性: 短い文章 vs 詳細な複数文のキャプション。
  決定的なのは、幾何学的な意味は固定されたまま表面的な形式のみが変化することであり、これによりポリシーはパターンの暗記ではなく、多様な言語を解釈することを強制されます。

3. インコンテキスト・ポストトレーニング

VLAのバックボーンは変更されません。学習中、レンダリングされた証拠は、画像と指示とともに、読み取り専用のコンテキストとして（<spatial>タグでラップされて）プロンプトに注入されます。

• 教師あり学習: 損失関数はアクション・トークンに対してのみ適用されます。証拠トークンと指示はマスクされます。
• 効果: モデルは注入された証拠に基づいてアクションを予測するように学習しますが、証拠自体を生成することは決して学習しません。これにより、目的関数の干渉と自己回帰的なレイテンシが排除されます。

4. トラジェクトリレベルのRL (GRPO)

最終段階として、インコンテキスト・ポリシーは、スパースな成功報酬を用いたGroup Relative Policy Optimization (GRPO) を用いて微調整されます。

• 目標: ツールの呼び出しとアクション実行のタイミングを、真のタスク成功と一致させること。
• メカニズム: ポリシーは、ツールを盲目的に呼び出すのではなく、いつツールを呼び出すべきか（例：再グラウンディングが必要な時のみ）を学習し、証拠獲得のコストとタスク成功のトレードオフを最適化します。

主な貢献

1. CoTの批判的分析: 本論文は、自由形式の生成型CoTが、グラウンディングのギャップ、目的関数の干達、およびレイテンシのために低レベル制御を損なうという、経験的かつ分析的な証拠を提供し、これを「グラウンドされた言語の消費」の利点と対比させています。
2. VLA-Talkerフレームワーク: エージェンティックなツール利用（検出、深度、VLMフォールバック）をインコンテキスト学習と統合し、証拠をトークンとして生成するのではなく、コンテキストとして注入する新しいアーキテクチャ。
3. 多様なグラウンド言語: 構造化された証拠を多様なパラフレーズにレンダリングするデータエンジンにより、グラウンディングを犠牲にすることなく、言語的バリエーションに対するポリシーの堅牢性を教えます。
4. 2段階の学習: インコンテキスト・ポストトレーニングと、ツール利用をタスクの結果に適合させるトラジェクトリレベルのRLを組み合わせたレシピ。

実験結果

この手法は、3つのシミュレーションベンチマーク（LIBERO, RoboCasa-GR1, SimplerEnv）およびAgiBot G1ヒューマノイドを用いた8つの実世界タスクで評価されました。

• 性能: VLA-Talkerは、すべてのベンチマークにおいてState-of-the-Art (SOTA) の結果を達成しました。
  • LIBERO: 平均成功率 97.4%（Gen-CoTの96.2%、VLA-Thinkerの97.0%に対し）。
  • RoboCasa-GR1: 平均成功率 59.5%（Gen-CoTの46.5%に対し）。
  • SimplerEnv: 平均成功率 72.4%（Gen-CoTの54.7%に対し）。
• 効率性: 自己回帰的な推論トークンの生成を避けることで、VLA-TalkerはCoTベースのアプローチと比較して、意思決定あたりのレイテンシを4.6倍削減（78ms vs 359ms）し、より高い制御周波数（~12.8 Hz vs 2.8 Hz）を可能にしました。
• データ効率: この手法は、低データ環境において標準的なBCおよびGen-CoTを大幅に上回ります。わずか25回のデモンストレーションで、VLA-Talkerは50回のデモンストレーションで学習したBCを凌駕します。
• 汎化性能: このアプローチは、未知の物体、妨害物、および言い換えられた指示に対して優れた堅牢性を示します。BCやGen-CoTが妨害物によって著しく性能を低下させる一方で、VLA-Talkerは、ポリシーに到達する前にツール・ループによって物体識別が解決されるため、高い成功率を維持します。
• 実世界への展開: AgiBot G1において、VLA-Talkerはシングルタスク・ポリシーで58.1%、マルチタスク・ポリシーで45.0%の成功率を達成し、ベースラインおよびCoTバリアントを、特に精密な挿入タスクにおいて上回りました。

意義と主張

本論文は、VLAの言語能力は、推論の生成ではなく、グラウンドされた言語の理解に由来すると主張しています。VLA-Talkerは、「考える」（テキストを生成する）ことから「知覚する」（ツール由来の証拠を消費する）ことへとパラダイムをシフトさせることで、言語生成と低レベル制御の根本的な衝突を解決しています。

著者らは、彼らのアプローチが以下を実現することを強調しています：

• 証拠の「獲得」と「使用」の役割を分離すること。
• 自己回帰的なCoTに固有のレイテンシとエラー伝播を排除すること。
• ポリシーがピクセルから推論すべき負担を軽減するために幾何学的事実を明示的に提供することで、データ効率を向上させること。
• 生成型CoTではなくインコンテキスト学習を介して統合されたエージェンティックなツール利用が、より堅牢で効率的、かつ有能なロボットポリシーにつながることを実証すること。

論文は、VLA-Talkerがグラウンディングおよび知覚のエラーを大幅に減少させる一方で、残された失敗モードは主に制御精度のエラー（例：タイトな挿入）に起因することを示唆しており、今後の改善はさらなる推論生成ではなく、低レベルのアクション表現に焦点を当てるべきであると結論付けています。