Reinforcement Learning for Real-Time Vision-Language-Action Policies

技術要約: Real-Time EXPO-FT

問題提起
大規模な学習済み視覚言語行動（VLA）モデルの強化学習（RL）によるファインチューニングは、信頼性の高いロボット展開への期待を集めている。しかし、これらのモデルの規模の大きさは、重大な推論レイテンシ（遅延）をもたらす。動的な実世界環境において、アクションを生成するために使用される観測情報は、実行が行われる頃には既に古くなっていることが多い。これにより、ポリシーが古い状態情報に基づいて行動するという分布シフトが発生し、信頼性と性能を大幅に低下させる。先行研究では、このレイテンシを軽減するために非同期実行（例：Real-Time Chunking）を探索してきたが、これらの手法は主に模倣学習に基づいており、学習分布を超えていくためのメカニズムを欠いている。さらに、標準的なRLを遅延のあるポリシーに直接適用すると、アクションが過去の観測から予測されるため、標準的なクレジット割り当てに必要なマルコフ性を破壊してしまい、RLによる完全な信頼性向上を得ることができない。

手法: Real-Time EXPO-FT
本論文は、リアルタイムの制約下でのRLファインチューニングを可能にするために、低速で表現力豊かなアクション生成と、高速で反応的なアクション編集を分離するフレームワークであるReal-Time EXPO-FTを提案する。このアプローチは、VLAファインチューニングのためのサンプル効率の高いRLシステムであるEXPO-FTに基づき、Training-Time Real-Time Chunking (RTC) の概念を統合したものである。

コアアーキテクチャは、異なるタイムスケールで動作する3つのコンポーネントで構成される：

1. 非同期VLAアクション生成（低速）: 大規模な学習済みVLAベースポリシー（$\pi_{VLA}$）がバックグラウンドで非同期に動作する。これは、推論遅延 $d$ を考慮するために、観測 $s_t$ と前回のチャンクからの「コミット済み」アクション接頭辞（$a^{prev}_{t:t+d}$）に基づき、複数の候補アクションチャンクを生成する。このステップでは、多様な候補をサンプリングするためにフローマッチングを利用する。
2. 高速・同期型エディット（高速）: ロボットが実行時刻 $t+d$ に到達し、最新の観測 $s_{t+d}$ を取得すると、軽量なエディット・ポリシー（$\pi_{edit}$）が反応的な意思決定を行う。これは、VLAによって生成された候補チャンクを受け取り、現在の状態に基づいてそれらを編集することで、推論遅延中に発生した状態の変化を補正する。
3. Q関数による選択: 学習されたQ関数（$Q_\phi$）が、現在の状態 $s_{t+d}$ のもとで、元のVLA候補と編集された候補の両方を評価する。システムは、実行のために最も高いQ値を持つアクションチャンクを選択する。

学習手順

• VLAファインチューニング: ベースとなるVLAは、推論遅延を訓練中にシミュレートする修正されたフローマッチング目的関数を用いてファインチューニングされる。損失は最初の $d$ アクション（遅延ウィンドウ）を除外するようにマスクされており、モデルに、コミットされた接頭辞に条件付けられた残りのアクションを予測することを強制する。
• エディット・ポリシーの学習: エディット・ポリシーは、編集されたアクションのQ値を最大化するように学習され、ベース・ポリシーの出力をアクション空間内のより高い価値を持つ領域へと効果的にシフトさせることを学習する。
• クリティック（Critic）の学習: クリティックは、フルアクションチャンクに対して時間差学習（TD学習）を用いて訓練される。計算コストを削減するため、この手法は（FASTERに着想を得た）ノイズ空間フィルタリングメカニズムを採用している。軽量なクリティック（$Q^{dn}_\psi$）が、フルデコードの前に候補ノイズベクトルをスコアリングし、システムがノイズ空間内で候補をフィルタリングし、エディットを適用する前に最適な候補に対して一度だけVLAデコードを実行できるようにする。

主な貢献

1. リアルタイムRLのためのフレームワーク: 本論文は、リアルタイムの制御頻度を維持しながら、推論レイテンシを明示的に考慮した大規模VLAモデルのRLファインチューニングを可能にする初のフレームワークを導入する。
2. 分離された制御アーキテクチャ: 低速で高容量な行動生成（VLA）と、高速で反応的な状態補正（エディット・ポリシー）の新しい分離を提案し、システムがVLAの事前知識を活用しつつ、反応性を維持することを可能にする。
3. サンプル効率の高い適応: EXPO-FTのサンプル効率とリアルタイム実行戦略を組み合わせることで、最小限のオンラインデータで動的な環境への迅速な適応を実現する。

実験結果
著者らは、Kinetixベンチマーク（10のシミュレーションタスク）および4つの動的な実世界タスク（ロボットによる物体受け渡し、ボールバランシング、卓球キック、動的物体ピッキング）においてReal-Time EXPO-FTを評価した。

• シミュレーション: Kinetixベンチマークにおいて、Real-Time EXPO-FTは、遅延ありおよび遅延なしの両方の手法の中で、10個の環境すべてにおいて最高の性能を達成した。4ステップの推論遅延を伴うにもかかわらず、遅延のあるベースライン（DSRL、RTCあり/なしのEXPO-FT）を大幅に上回り、非遅延のRLPDベースライン（平均成功率81.4% vs 96.2%）さえも凌駕した。
• 実世界: 10分間のオンラインロボットデータに制限された実世界実験において、Real-Time EXPO-FTは平均ポリシー成功率を42% (12.5/30) から 97% (29/30) に向上させた。Dynamic PickingとObject Passingではほぼ完璧な性能（30/30）を達成し、Ball BalancingとSoccer Kickingでは28/30を記録し、すべてのベースラインを大幅に上回った。
• 堅牢性: 本手法は、変化する推論遅ディや環境速度に対しても安定した性能を示したが、RTCのようなベースラインは、遅延が増加するにつれて著しく性能が低下した。

意義と主張
本論文は、Real-Time EXPO-FTが、RLファインチューニングの高い信頼性と、動的な実世界操作に必要な反応性の間のギャップを正常に埋めることを主張している。推論レイテンシを明示的にモデル化し、アクション生成と実行を分離することで、本手法は大規模なVLAモデルを、性能を犠牲にすることなく高頻度の制御ループにデプロイすることを可能にする。結果は、モデルのレイテンシによって引き起こされる分布シフトを克服し、訓練中の人間による介入なしに、困難な実世界のダイナミクスへ迅速かつサンプル効率よく適応できることを示している。

限界
著者らは、現在の実装が環境のリセットに人間のオペレーターに依存しており、それが運用上の負担を生んでいることを認めている。さらに、報酬信号はタスク固有の成功分類器（ルールベースまたは学習されたもの）に依存しており、新しいタスクごとに手動設計が必要となる。論文では、リセットの自動化や代替的な報酬定式化の探索が、今後の課題として残されていると述べている。