技術的概要：EXPO-FT

問題定義

ロボット工学において、新しいタスクを効率的かつ信頼性高く学習する能力は、依然として基礎的な課題である。大規模な模倣学習を通じて多様な操作タスクにわたる強力な汎化能力を示してきたビジョン・言語・アクション（VLA）モデルは、実世界での展開に必要な信頼性を満たすには、事前学習された方策が常に不十分である。物理環境における失敗はコストがかかるため、一般化された事前学習と、信頼性が高くタスク固有のパフォーマンスとの間のギャップを埋める道筋が必要である。

実世界のロボット方策を強化学習（RL）を通じて訓練する既存のアプローチは、二項対立に直面している：

1. ゼロから訓練する（Training from scratch）： VLA の微調整を行わず RL 方策を訓練する（またはその上に軽量モデルを訓練する）手法は、しばしば強力な漸近的性能を達成するが、大規模な事前学習済み VLA に埋め込まれた豊かな意味的および行動的事前知識を活用できない。
2. VLA の微調整（Finetuning VLAs）： 事前学習済み VLA を微調整する手法は、汎化可能な表現を継承するが、しばしば信頼性の高い成功率に到達できず、実質的に大量の環境相互作用を必要とする、あるいはその両方の問題を抱えている。

事前学習済み VLA の事前知識を同時に活用しつつ、実用的な展開に必要なサンプル効率と信頼性を達成するフレームワークには、決定的なギャップが存在する。

手法：EXPO-FT

著者は、事前学習済み VLA 方策の安定したサンプル効率の高い RL 微調整を目的としたシステム「EXPO-FT」を提案する。このシステムは、表現力のあるフローまたは拡散方策を用いた安定した RL のための最近提案された手法である「EXPO」アルゴリズムを基盤とし、ロボット工学における特定の課題に対処するために拡張されている。

中核アーキテクチャと設計選択

EXPO-FT は、高いサンプル効率と信頼性を達成するために、3 つの主要なコンポーネントを統合している：

1. ベース方策と編集メカニズム（拡張 EXPO）：

   • システムは、ベースフロー方策（$\pi_{VLA}$）として事前学習済み VLA（具体的には $\pi_{0.5}$）を利用する。
   • RL 更新中に大規模な VLA モデルを通じて勾配を逆伝播させる代わりに、EXPO-FT は軽量な編集方策（edit policy）（$\pi_{edit}$）を採用する。
   • 編集方策は、小さな範囲 $[-\beta, \beta]$ に制約された修正 $\hat{a}$ を予測し、これをベースアクション $a$ に加算して編集済みアクション $\tilde{a} = a + \hat{a}$ を生成する。
   • 時間的差分（TD）学習を通じて Q 関数を訓練し、ベースアクションと編集済みアクションのいずれかを選択して価値を最大化する。これにより、システムは事前学習済み VLA を不安定化させることなく、TD 更新を準最適アクションに根ざすことができる。

2. 時間的に拡張されたアクション（アクションチャンク）：

   • 単一ステップのガウス型アクション用に設計された古典的な RL アルゴリズムとは異なり、現代の VLA はアクションチャンク（$H$ 個の将来のアクションの系列）上で動作する。
   • EXPO-FT は、編集方策と Q 関数をこれらのチャンク（$a_{t:t+C}$）上でネイティブに動作するように適応させる。編集方策はチャンク全体に対する編集を予測し、VLA 設計の中核である時間的抽象化を維持する。

3. ヒューマン・イン・ザ・ループ（HIL）介入：

   • 学習をさらに加速し、自律的な探索が不十分な場合にターゲットを絞った修正を提供するために、システムはヒューマン・イン・ザ・ループのフィードバックを組み込んでいる。
   • オンライン訓練中、オペレーターは SpaceMouse を使用したテレオペレーションを通じて介入し、アクションチャンク内の特定のタイムステップに対するアクション修正を提供できる。
   • これらの修正アクションは、介入されたタイムステップにおける方策のアクションを上書きし、生成された軌道はリプレイバッファに追加される。このメカニズムは、探索の負担を軽減するための高品質なシグナルを提供する。

訓練手順

システムは、大規模な VLA 推論と訓練の遅延を管理するために、分離されたラーナー - アクターアーキテクチャを採用している：

• アクター： 実世界の環境でロールアウトを実行し、人間の介入を収集して、状態 - アクション - 報酬のタプル $(s, a, r, s')$ をラーナーに送信する。
• ラーナー： VLA の訓練、推論を処理し、リプレイバッファを維持する。エージェント（Q ネットワークと編集方策）をステップごと、エピソードごと、または大規模バッチごとに更新する。
• 初期化： オンライン RL に先立ち、VLA は通常、少量の人間のデモンストレーションのオフラインデータセットを用いた教師あり微調整（模倣学習）でブートストラップされ、ベースラインの成功率（例：約 40%）に到達する。
• 報酬： システムは、タスク完了を示すスパースな二値報酬信号を使用し、密な報酬設計のエンジニアリングオーバーヘッドを回避する。

主要な貢献

1. サンプル効率の高い RL 微調整システム： 事前学習済み VLA モデルの RL による信頼性の高い微調整を可能にする完全なフレームワーク（EXPO-FT）であり、最小限のオンラインデータで高い成功率を達成する。
2. アーキテクチャの拡張： 時間的に拡張されたアクションチャンクをサポートする EXPO アルゴリズムの拡張と、VLA 微調整に特化したヒューマン・イン・ザ・ループ介入の統合。
3. オープンソース公開： ロボット工学コミュニティにおける VLA モデルの RL 微調整のより広範な採用を促進するためのオープンソースコードベースの公開。

実験結果

著者は、高い精度、動的なアクション、および多様な初期状態に対する堅牢性の組み合わせを必要とする8 つの困難な実世界の操作タスクにおいて EXPO-FT を評価した。タスクには以下が含まれる：

• 動的/接触豊富： エッグフリップ（フライパンで目玉焼きをひっくり返す）、プールショット（ビリヤードの玉を打つ）。
• 精度/アライメント： フラワーインサート（茎をボトルに挿入する）、キューブピック（ランダム化条件下での把持）、ストリングライトルーティング（電球を吊り下げ、電源を接続する）。
• 変形可能/ノイズあり： キャンディースクープ（スプーンでキャンディを移す）。

性能指標：

• 成功率： EXPO-FT は、評価されたすべてのタスクで**完璧な成功率（30/30）**を達成した。
• サンプル効率： システムは、平均 19.1 分のオンラインロボットデータ内でこの信頼性の高い性能に到達した。
• 比較： EXPO-FT は以下の手法を上回った：
  • HIL-SERL（HIL を用いたゼロからの RL）：平均 5.5/30 の成功率のみを達成し、大きな初期状態分布に苦戦した。
  • DSRL（VLA 上の潜在空間 RL）：平均 19/30 を達成したが、事前分布内での最適化制約に制限された。
  • HG-DAgger（修正付き模倣学習）：平均 22.1/30 を達成したが、動的タスクにおける累積誤差からの回復に苦戦した。
  • 教師あり微調整（SFT）： 平均 20.5/30 を達成した。

特に、動的なアクション（エッグフリップ、プールショット）や高い精度を必要とするタスクにおいて、EXPO-FT と既存の手法との性能差が最も顕著であった。

意義と主張

本論文は、適切なアーキテクチャ選択を伴う場合、VLA の RL 微調整はサンプル効率と信頼性の両方を兼ね備えうると主張している。事前学習済み VLA の意味的事前知識と、効率的なオフポリシー RL アルゴリズム（EXPO）およびヒューマン・イン・ザ・ループ修正を組み合わせることで、このシステムは、一般化された事前学習と実世界展開に必要な信頼性の間のギャップを埋める。

著者は、この研究を、一般化された VLA モデルの強化学習による微調整のより広範な採用に向けた足がかりとして位置づけている。彼らは、現在の環境リセットの人手による必要性や、数十億パラメータモデルでの高頻度訓練の計算上の課題といった限界を認め、これらを今後の研究課題として特定している。しかし、中核的な貢献は、統合されたサンプル効率の高いパイプラインが、一般化された VLA を、複雑な操作タスクのための極めて信頼性の高い専門家に転換しうることを検証した点にある。