Adapting Generalist Robot Policies with Semantic Reinforcement Learning

技術要約：意味論的強化学習による汎用ロボット・ポリシーの適応

問題提起
視覚・言語・行動（VLA）モデルは、大規模な事前学習を通じて多様なスキルのレパートリーを学習する能力を示しており、ロボットの行動における強力な事前知識として機能している。しかし、これらの汎用的なポリシーを活用して、新規かつ複雑、あるいは長期的なホライゾンを持つタスクを解決することは依然として大きな課題である。ゼロショット・プロンプティングのような標準的なデプロイ戦略は、VLAが複雑なタスクのセマンティクス（意味論）を実行可能な原子的行動へと正しく分解できなかったり、それらの行動をロボットの特定の物理的コンテキストに接地（グラウンディング）できなかったりするために、しばしば失敗する。

VLAを強化学習（RL）によって改善する既存のアプローチは、通常、低レベルのロボット行動空間（例：関節位置やエンドエフェクタのデルタ値）に対して直接作用する。これらの手法は、ベースとなるポリシーの行動分布がすでに高性能なポリシーに近いことを前提としている。この仮定は、ベースとなるポリシーの初期行動が誤っているか、あるいは失敗モードに陥っているような、分布外（OOD）のタスクにおいては崩壊する。その結果、行動空間におけるRL手法は効果的な探索を行うことや、重大なエラーから回復することに苦慮し、VLAを新しい複雑なシナリオに適応させる能力を制限してしまう。

手法：意味論的行動強化学習（SARL）
著者らは、RLの最適化空間を低レベルのロボット行動から言語プロンプトの意味論的空間へと移行させるフレームワークである、意味論的行動強化学習（SARL）を提案する。核心となる洞察は、十分に表現力豊かな汎用ポリシーにおいて、言語プロンプトが効果的な代替行動空間として機能するという点である。これらのプロンプトを調整することで、ポリシーの事前学習レパートリーに既に存在するスキルを引き出すことができ、ゼロショット能力を超えたタスクを解決するために既存のスキルを構成することが可能になる。

本手法は、以下の主要なコンポーネントで構成される：

1. 意味論的MDPの定式化： SARLは、VLAの言語プロンプトを「意味論的行動」（$\ell \in A_{sem}$）として扱う。システムは、$\pi: S \to A_{robot}$ というポリシーを学習する代わりに、言語コマンドを選択するポリシー $\pi_{sem}: S \to A_{sem}$ を学習する。VLAは変換関数として機能し、選択された意味論的行動 $\ell$ をロボットの行動 $a \sim \pi_{vla}(\cdot | s, \ell)$ へと変換する。
2. オンラインRLループ： SARLは、意味論的Q関数（$Q_{sem}$）を学習するためのオンラインRLループを採用する。この関数は、タスク報酬への進捗に対する特定の言語プロンプトの効果を推定する。ポリシーは、これらのQ値のソフトマックス分布に基づいてプロンプトを選択し、これによりシステムはVLAを適応的に制御してタスクの成功へと導くことができる。
3. 候補生成とキャッシュ： 無限に存在する可能性のある言語プロンプトの空間における探索を扱いやすくするため、SARLは各ステップにおいて、現在の観測とタスクに基づき、視覚言語モデル（VLM）を用いて一連の候補意味論的行動（$A_{sem}^t$）を生成する。さらに、探索空間を制約し効率的な学習を可能にするため、システムは有限のプロンプトをキャッシュする。その後、VLMはこのキャッシュから候補を選択するように制限され、これにより行動空間の一熱エンコーディングと効率的なQ学習が可能になる。
4. 接地（グラウンディング）： 極めて重要な点として、SARLはこれらの意味論的行動を現実世界の経験に接地させることを学習する。環境との相互作用を通じて、システムはどの特定の言語コマンドが実際に成功する物理的行動を誘発するかを学習し、意味論的には妥当だが物理的には効果のない指示と、成功につながる指示を区別する。

主な貢献

• 意味論的行動空間： 本論文は、言語プロンプトをRLの主要な行動空間として扱う概念を導入し、学習問題を低レベルの制御から意味論的なステアリング（操舵）へと引き上げた。これにより、VLAにエンコードされた行動の事前知識を活用した、構造化され、意味的に有意義な探索が可能になる。
• SARLアルゴリズム： 著者らは、オンラインの相互作用を通じてVLAのプロンプトを最適化することを学習するSARLを提示する。これは、候補生成のためのVLMの意味論的事前知識と、物理的な結果に基づいてプロンプト選択を洗練させるためのRLの接地能力を組み合わせたものである。
• 分解と接地： 本研究は、成功的な適応には、複雑な目標をサブタスクへと分解すること（VLMが得意とする）だけでなく、意味論的な指示とそれが誘発する物理的行動との間の接地されたマッピングを学習すること（RLが提供するもの）が必要であることを実証している。

結果
著者らは、シミュレーション・ベンチマーク（Libero-10）およびWidowXロボットを用いた実世界の設定において、SARLを評価している。実験は、ゼロショットでのVLAデプロイが不可能であり、既存のRL手法にとっても困難な、複雑で長期的なホライゾンのタスクに焦点を当てている。

• 性能： SARLは、Diffusion Steering via RL (DSRL)、Residual RL、およびIn-Context Learning (ICL) VLMアプローチを含む既存のベースラインを大幅に上回る。実世界のタスクにおいて、SARLはベースとなるVLAの成功率を、60〜100のエピソード以内で、ほぼ0%から約80%へと向上させた。
• 行動空間RLとの比較： ベースとなるポリシーの初期行動分布に制約され、ベースのポリシーが著しく誤っている場合に学習に失敗することが多いDSRLやResidual RLとは異なり、SARLは異なる意味論的プロンプトを探索することによって、これらの失敗モードを克服することに成功した。
• VLMベースラインとの比較： ICL VLMベースラインはタスクを分解できるものの、意味論的には意味があるが物理的には効果のない指示（例：誤った動詞や物体参照の使用）を頻繁に選択してしまう。SARLは、物理的な成果に基づいてプロンプトを選択することを学習することで、これらのベースラインを凌駕する。

意義と主張
本論文は、SARLが汎用ロボット・ポリシーを適応させるための根本的に新しい能力を解禁すると主張している。意味論的行動空間に対して最適化を行うことで、SARLは以下のものにとって実行不可能な、複雑で長期的なホライゾンのタスクをロボットが解決することを可能にする：

1. ロボットの行動レベルで動作する既存のRLアプローチ。
2. ゼロショットのVLAデプロイ。
3. 高レベルの言語ステアリングをVLMを用いて行うが、オンラインRLを伴わないVLAデプロイ。

著者らは、SARLの効率性が、新しいスキルをゼロから学習するのではなく、事前学習されたスキルを再利用することによって得られるという点にあると強調しており、それによって探索空間をタスクに適した行動へと制約している。さらに、本手法は、意味論的な指示を物理的な行動に接地させることの極めて重要な重要性を浮き彫りにしており、これは純粋な言語ベースのアプローチや純粋な行動ベースのアプローチには欠けている能力である。本研究は、将来の汎用ロボット・ポリシーがより強力な言語追従能力を備えて設計される可能性があり、SARLがオープンエンドな環境における自律的な適応のための標準的なツールキットとなり得ることを示唆している。