技術概要：Agentic-VLA：ビジョン・ランゲージ・アクションモデルのための効率的なオンライン適応

1. 問題提起

ビジョン・ランゲージ・アクション（VLA）モデルは、事前学習されたビジョン・ランゲージ表現を活用して指示を解釈し動作を生成することで、ロボティクス操作の高度化を推進してきました。しかし、現在の VLA 訓練パラダイムは、実世界への展開を妨げる 2 つの決定的な限界に直面しています。

1. 汎化性能の低さ: 専門家によるデモンストレーションを用いた教師あり微調整（SFT）で訓練されたモデルは、タスクの背後にある意味を学習するのではなく、特定の軌道を記憶する傾向があります。その結果、展開条件が訓練分布からわずかに逸脱すると、モデルは脆弱な性能を示し、エラー回復や適応的な再計画のメカニズムを欠いています。
2. 訓練効率の低さ: 現在の手法はタスクあたり数百のデモンストレーションを必要とし、データ収集コストはタスク数に比例して増加します。これにより、汎用ロボティクスに必要な多様なタスクへのスケーリングは非現実的なものとなっています。

近年の研究では強化学習（RL）を用いたオンライン適応が探求されてきましたが、ノイズの多い報酬信号への依存、高次元動作空間における非効率的なランダム探索、および関連タスク間での知識転移の不可能性という課題に直面しています。

2. 手法：Agentic-VLA フレームワーク

Agentic-VLA は、学習プロセスそのものを知的で調整されたシステムとして再考する、エージェント型の訓練フレームワークを提案します。報酬設計、探索、知識転移を固定された手順として扱うのではなく、このフレームワークは学習状態に基づいてこれらのコンポーネントを能動的に管理する学習済みエージェントを採用します。フレームワークは、相乗効果をもたらす 3 つの革新を統合しています。

2.1 適応的報酬合成（ARS）

オラクル報酬信号の欠如に対処するため、ARS は VLA の現在の能力に合わせて報酬関数を動的に生成・調整します。

• タスク分解: 言語モデルは、複雑で長期的なタスク指示（$l_{task}$）を、中間的なサブゴールの列（$G = \{g_1, \dots, g_K\}$）に分解します。
• 能力認識重み付け: システムは、各サブゴールに対する VLA の熟練度（$\hat{c}_k$）の推定値を維持します。これは、最近の成功率の指数移動平均として計算されます。サブゴールの報酬重みは $w_k = 1 - \hat{c}_k$ と定義されます。これにより自然なカリキュラムが生まれます。エージェントが苦戦するサブゴールには高い重みが与えられ、集中的な学習を促す一方、習得済みのサブゴールには重みが低下します。
• 密な進捗報酬: 学習済みクリティックモデル（$C_\phi$）は、各サブゴールに対する密な進捗推定値（$\Delta_k$）を提供します。総報酬はこれらの進捗シグナルの重み付き和であり、フィードバックがエージェントの現在の学習フロンティアに焦点を当てることを保証します。

2.2 言語誘導探索（LGE）

高次元動作空間におけるランダムサンプリングの非効率性を克服するため、LGE は盲目的な試行錯誤を構造化された探索に置き換えます。

• VLM ベースのクリティック: 事前学習されたビジョン・ランゲージモデル（VLM）が探索クリティックとして機能します。現在の視覚観測、タスク指示、軌道コンテキストを与えると、VLM は「左から接近する」などの自然言語による提案を生成し、行動を誘導します。
• プロンプト拡張生成: これらの提案はタスク指示に連結され、VLA の動作分布を有望な行動にバイアスかけつつ、確率性を維持します。
• 適応的頻度: 提案の頻度は学習の進捗に基づいて動的に調整され、訓練初期には頻繁なガイダンスを提供し、ポリシーが自律性を獲得するにつれてそれを減少させます。

2.3 経験メモリ（EM）

タスク間知識転移を可能にするため、EM はタスク埋め込みでインデックス付けされた適応済みポリシー重みのメモリバンクを維持します。

• ウォームスタート検索: 新しいタスクに遭遇した際、システムはタスク埋め込みを計算し、以前に学習された最も類似した $k$ 個のタスクを検索します。
• 重み補間: 初期ポリシーパラメータは、検索されたポリシー重みの重み付き組み合わせとして計算されます。これはゼロから学習するのではなく、関連タスクでの学習を加速させる「ウォームスタート」を提供します。
• 容量管理: メモリバンクは、成功した適応で更新され、多様で高品質なエントリを優先するように管理されます。

訓練ループでは、ポリシー更新のために GRPO（グループ相対ポリシー最適化）を利用し、これらのコンポーネントを統合されたオンライン適応サイクルに組み込みます。

3. 主要な貢献

1. エージェント型フレームワーク: 適応的報酬合成、言語誘導探索、経験メモリを統合する、VLA オンライン適応のための初のエージェント型フレームワーク。
2. 適応的報酬メカニズム: 複雑なタスクを自動的に分解し、リアルタイムの学習進捗に基づいて報酬の粒度を調整する新規メカニズム。これにより、能力認識型のカリキュラムが効果的に実装されます。
3. 構造化された探索: 言語誘導探索が、体系的で目標指向の戦略発見を可能にすることで、サンプル効率を大幅に向上させることを実証。
4. タスク間転移: 経験メモリが効果的な転移を可能にし、タスク固有のデモンストレーションなしでタスクにおいて非自明な成功率を達成することを示す証拠。
5. 最先端のパフォーマンス: 複数の指標とベンチマークで大幅な改善を示す広範な実験結果。

4. 実験結果

このフレームワークは、LIBEROベンチマーク（4 つのタスクスイート：Spatial、Object、Goal、Long）およびデュアルアームのRoboTwin 2.0ベンチマークで評価されました。

• 全体的なパフォーマンス: Agentic-VLA は LIBERO において97.8%の平均成功率という最先端の成績を収め、以前の最良の RL 手法（EVOLVE-VLA）を+2.0%、SFT ベースラインを**+8.6%**上回りました。
• 長期的タスク: 最も顕著な改善は LIBERO-Long タスクで観察され、SFT ベースラインに対して**+12.3%**の gains が達成されました。これは適応的報酬合成とカリキュラム学習に起因します。
• ワンショット学習: タスクあたり 1 つのデモンストレーションのみという低データ環境において、Agentic-VLA は70.5%の成功率を達成し、SFT ベースラインに対して+28.5%、EVOLVE-VLA に対して**+9.2%**の改善を示しました。
• タスク間汎化: タスク固有のデモンストレーションなしで、Agentic-VLA は LIBERO-Long での訓練後、LIBERO-Object スイートにおけるタスク間転移成功率を0%（直接転移）から**31.2%**に向上させました。
• 訓練効率: このフレームワークは、既存のオンライン適応手法と比較して2.4 倍の高速な収束を示し、EVOLVE-VLA が 1,680 回かかるのに対し、90% の成功率に達するまで 700 反復で済みました。また、ベースラインの 53.8k に対して22.4kのロールアウトのみを必要としました。
• RoboTwin 2.0: このフレームワークは、デュアルアームの RoboTwin 2.0 ベンチマークでもその優位性を維持し、特にランダム化された「Hard」設定において、$\pi_0$の 16.3% や RDT の 13.7% に対して、サブセット平均**34.7%**を達成しました。

アブレーション研究は、各コンポーネント（ARS、LGE、EM）が相乗的に寄与することを確認しました。いずれかのコンポーネントを除去すると、パフォーマンスの低下と訓練反復数の増加が生じました。代替カリキュラム（均一な重み、固定スケジュール）や探索ボーナス（RND、ICM）に対する統制比較により、Agentic-VLA の特定の設計選択が gains の原因であることが確認されました。

5. 意義と主張

著者らは、Agentic-VLA が展開における継続的学習を可能にする真に適応的な VLA システムへの重要な一歩であると主張しています。静的な模倣学習から、エージェント型でオンラインな適応プロセスへと移行することで、このフレームワークは現在の VLA モデルが抱える根本的な脆弱性とデータ非効率性に取り組んでいます。

この論文は、システムがエラー回復（スリップ後の自律的な再調整）、適応的物体操作（移動した物体への軌道調整）、新規戦略の発見（デモンストレーションに存在しない操作戦略の発見）といった創発的な能力を可能にすることを強調しています。

報酬ハッキング、メモリのスケーラビリティ、コンポーネントが豊富なシステムの物理的ロボットへの展開の難しさといった限界を認めつつも、著者らは Agentic-VLA を、多様で変化する実世界環境で効果的に動作する堅牢で汎用的なロボティクス学習への基礎的なステップとして位置付けています。