技術要約: Elastic Queries Reinforcement Learning (EQRL)

問題提起

Vision-Language-Action (VLA) モデルは、ロボット操作のための強力な生成器として台頭しており、通常、時間的に一貫したアクションチャンクを生成するために、フローベースまたは拡散ベースのアーキテクチャを利用しています。しかし、現在の実行インターフェースは硬直的です。これらは、状態の難易度に関わらず、固定されたデノイジング・予算（サンプリングステップ数）と固定されたアクションチャンク長を採用しています。この硬直性は非効率性を招きます。例えば、簡単な状態（自由空間での移動など）では過剰な計算と頻繁な再計画が行われる一方で、困難な状態（接触を伴う精密な位置合わせやリカバリなど）では、不十分なフィードバックや計算リソースに直面する可能性があります。既存のポストトレーニング手法は、潜在空間のステアリングを通じてVLAを適応させますが、実行スケジュール（サンプリング予算とチャンク長）をマニュアルなハイパーパラメータとして残しており、ポリシーが状態の難易度に基づいて計算資源を動的に割り当てることを妨げています。

手法: EQRLフレームワーク

著者らは、Elastic Queries Reinforcement Learning (EQRL) を提案します。これは、凍結されたVLAモデルをファインチューニングすることなく、潜在的なステアリング、デノイジング予算、およびアクションチャンク長に関する結合決定問題としてVLAの実行を扱うフレームワークです。

1. 潜在スケジュール・クエリ・アクション

各クエリ $j$ において、軽量なRLアダプター（アクター）は現在の状態 $o_{t_j}$ を観測し、結合アクション $u_j = (w_j, z^K_j, z^C_j)$ を出力します。

• $w_j$: 凍結されたVLAサンプラーを誘導する潜在ステアリング変数。
• $z^K_j, z^C_j$: デノイジング予算 ($K$) とチャンク長 ($C$) のベーススケジュール周囲の残差を表す連続スケジュール変数。

2. 難易度に基づいたスケジュール・パラメータ化

スケジュールが難易度を認識することを保証するため、EQRLは結合潜在スケジュール・アクション空間上で学習されたクリティック・アンサンブル $\{Q^{(i)}_\psi\}$ を採用しています。

• 難易度シグナル: システムは、ベーススケジュールにおけるクリティック・アンサンブルの予測の不一致（標準偏差）から、状態難易度シグナル $s(o)$ を導出します。高い不一致は、高い難易度を示します。
• スケジュール・プライア: このシグナルは、困難な状態に対してはより多くのデノイジングステップ ($K$) と短いチャンク ($C$) を、簡単な状態に対してはより少ないステップと長いチャンクを割り当てる「スケジュール・プライア」を生成します。
• 最終スケジュール: 最終的な実行パラメータは、この難易度由来のプライアと、有効な整数範囲にクリップされたアクターの学習済み残差との組み合わせになります。

3. クエリレベルの学習目的

EQRLは、問題をクエリレベルのマクロアクション強化学習として定式化します。

• マクロ遷移: 長さ $C$ のチャンクを実行することは、環境におけるマクロ遷移を誘発します。ベルマン・バックアップは、チャンク依存の割引率 $\gamma^L$ （ここで $L$ は実際に実行されたステップ数）を使用します。
• 報酬構造:
  • タスク報酬: 成功したエピソードの最終クエリに対して、終了成功ボーナスが割り当てられます。
  • 計算コスト: エピソードレベルの、累積関数評価回数（NFE）の償却予算が課されます。コストは、総デノイジングステップと総実行アクションの比 ($\sum K / \sum C$) として定義されます。エピソードが予算バンドを超えるとペナルティが発生し、バンド内に収まっている場合は節約ボーナスを受け取ります。
• 最適化: アクターは、エントロピーを維持しながらクリティックのQ値を最大化するように、最大エントロピー目的関数（SACスタイル）を用いて最適化されます。補助的なアライメント損失は、アクターのローカルな計算割り当てが、クリティック由来の難易度シグナルと一致するように促します。

主な貢献

1. 弾力的な実行の定式化: 本論文は、凍結されたVLAの実行を、潜在ステアリング、デノイジング予算、およびアクションチャンク長を共同で選択するクエリレベルのRL問題として定式化しました。
2. クリティック由来の難易度ガイダンス: クリティック・アンサンブルの不一致から状態依存の計算割り当てシグナルを導出するメカニズムを導入し、ポリシーが「いつ、より多くの計算を費やすべきか」を知ることを可能にしました。
3. 可変長マクロアクションRL: チャンク依存の割引率とエピソードレベルの償却NFE目的関数を用いた、可変長チャンクを使用する学習フレームワークを開発しました。

実験結果

著者らは、LIBERO および ALOHA シミュレーションベンチマーク、ならびにオフラインおよびオンラインの実ロボット操作タスク（DISCOVER Roboticsプラットフォームを使用）においてEQRLを評価しました。

• シミュレーション性能: EQRLは、DSRL、RLinf-Noise、RLinf-SDEなどのベースラインと比較して、SOTA（最先端）または改善された成功率を達成しつつ、推論コストを大幅に削減しました。
  • LIBERO-4Tasks において、EQRLはSuccess AUCを0.04向上させ、相対的なNFEを**24.3%**削減しました。
  • ALOHA-Cube において、EQRLは100%の最終成功率を達成し（DSRLは0.94）、相対的なNFEを**20.0%**削減しました。
• 実ロボット性能: オフラインおよびオンラインの両方の設定において、EQRLは同等またはより高いタスク成功率を維持しながら、相対的なNFEを約**32%削減し、ウォールクロック・タイム（実時間）の軌跡時間を11–17%**短縮しました。
• アブレーション研究: 「Put Cheese」タスクを用いた実験により、これらの利点が単に平均計算予算を下げることによるものではないことが示されました。ステップのみを調整した場合、チャンクのみを調整した場合、あるいは難易度認識なしに固定予算を使用したバリアントは、いずれも性能が低下しました。これは、結合スケジューリングとクリティック由来の難易度認識の必要性を裏付けています。

意義と主張

本論文は、VLAの実行は根本的に状態依存のリソース配分問題であると主張しています。EQRLは、軽量なアダプターを通じて、凍結されたVLAポリシーを「弾力的（エラスティック）」にできることを示しています。

• ファインチューニングなしでの効率化: この手法は、事前学習されたVLAの行動的プライアを保持しながら実行効率を適応させるため、フルモデルのファインチューニングのコストを回避します。
• 適応的な実行: 困難なフェーズ（例：接触による位置合わせ）にはより多くの計算とフィードバックを費やし、簡単なフェーズ（例：自由空間への接近）にはより少ない計算を費やすことで、EQRLは推論コストとタスク成功率のトレードオフを改善します。
• 実用性: 結果は、弾力的なクエリが実世界のロボット学習における実行可能なインターフェースであり、計算の節約を実用的なスピードアップと、接触時間のトレードオフの改善へと変換できることを示唆しています。

著者らは、オフライン学習では環境からのフィードバックなしに異なるスケジュールの因果的影響を完全に観察できないこと、および現在の実ロボットへの適応にはタスクごとのファインチューニングが必要であり、大きく異なる操作スキル間の汎用性を制限していることを認め、限界についても述べています。