技術サマリー：少ないデータからより多くを学ぶ：Hindsightによる強化学習

問題提起

強化学習（RL）は、ロボット制御を向上させるためのVision-Language-Action（VLA）モデルのポストトレーニングにおいて、ますます活用されています。しかし、決定的なボトルネックが存在します。それは、RLの更新が物理的なロボットのロールアウト（実行）に依存していることであり、これらは低速でコストが高く、スケールアップが困難です。このため、**サンプル効率（sample efficiency）**が主要な懸当事項となります。

この課題は、報酬が通常**疎（sparse）**である操作タスクにおいてさらに悪化します。ロールアウトは、ロボットが指令された通りの動作を完全に完了した場合にのみ報酬（成功）を受け取ります。それ以外のすべての挙動はゼロ報酬となります。トレーニングの初期段階では、ポリシーが弱いため、ほとんどのロールアウトは特定の指令に対して失敗します。標準的なRLは、これらの軌跡全体を「失敗」として扱い、無用なデータとして破棄してしまいます。これは、失敗したロールアウトであっても、実際には別のタスクに関連する一貫した意味のある挙動を実行している可能性があるという事実を無視しています（例：ロボットに「電子レンジを閉める」よう指示された際、「カップを持ち上げる」ことに成功している場合など）。標準的なRLは、これらの「失敗」から学習信号を抽出できないため、収束が遅くなったり、分布外（OOD）設定において停滞したりします。

手法：Hindsightからの学習（Learning from Hindsight: LfH）

著者らは、Hindsight Experience Replay（HER）の概念をVLAのRLポストトレーニングに適応させた手法である**Learning from Hindsight (LfH)**を提案しています。失敗したロールアウトを破棄する代わりに、LfHはVision-Language Model（VLM）を使用して、ロボットが実際に達成した内容に基づいてそれらを再ラベル付け（relabeling）します。

コアメカニズム

LfHは、Group Relative Policy Optimization (GRPO) フレームワーク内で動作します。プロセスは、元の指令に失敗した軌跡のグループに対して、以下の2つの主要なステージで行われます。

1. 指令の再ラベル付け（Instruction Relabeling）:

   • 指令 $g$ に対して失敗した軌跡のグループに対し、システムは「アンカー」となる軌跡（失敗したロールアウト）を選択します。
   • VLM ($M_\psi$) がアンカーの視覚的観測と行動を分析し、実際に実行された挙動を記述するヒンサイト指令（hindsight instruction） ($g'$) を生成します（例：「電子レンジを閉める」を「マグカップを持ち上げる」に変更するなど）。
   • ノイズの多いプロンプトを避けるため、VLMはまず「興味深いものとは言えない」軌跡（例：物理的な物体との接触がないもの）をフィルタリングします。

2. 報酬の再ラベル付け（Reward Relabeling）:

   • 同じVLMが、新しいヒンサイト指令 $g'$ に対して、グループ内のすべての軌跡を評価します。
   • VLMは、報酬 $\tilde{R}_i \in \{0, 0.5, 1\}$ を割り当てます。ここで、1は $g'$ の達成における成功、0は失敗、0.5は曖昧な結果を表します。
   • 決定的な点として、アドバンテージ計算における報酬の比較可能性を確保するため、グループ全体に対して単一の共有されたヒンサイト指令が使用されます。

最適化目的関数

ポリシーは、元のロールアウトと、ヒンサイトによって再ラベル付けされた対照的なロールアウトの両方を用いて共同で訓練されます。損失関数は、標準的なGRPO目的関数 ($L_{GRPO}$) とヒンサイト目的関数 ($L_{H-GRPO}$) を組み合わせたものです。
$$L_{LfH}(\theta) = L_{GRPO}(\theta) + \lambda L_{H-GRPO}(\theta)$$

分布シフト（$g$ の下でロールアウトされたが、$g'$ のために最適化される軌跡）に対処するため、LfHは重要度補正比（importance correction ratio）を適用します。
$$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} | o_{i,t}, g')}{\pi_{\theta_{old}}(a_{i,t} | o_{i,t}, g)}$$
これにより、ポリシーは元のタスクの分布との整合性を維持しながら、「意図していなかったが意味のある」挙動から学習することが可能になります。

主な貢献

1. VLAのためのHindsight再ラベル付け: 本論文は、言語空間において失敗したロールアウトを再ラベル付けするために、VLAの言語汎化能力を活用するユニークなアルゴリズムを導入し、ゼロ報酬の失敗を代替タスクの成功したデモンストレーションへと変換します。
2. 指令と報酬の共同再ラベル付け: 指令の拡張や報酬の整形のみを行う先行研究とは異なり、LfHは両方を結合させています。著者らは、指令の拡張のみ、あるいは報酬の再ラベル付けのみでは不十分であり、大幅な改善には両方のシナジーが必要であることを示しています。
3. 疎な報酬レジームにおけるサンプル効率: この手法は、初期のポリシーがほぼゼロの成功率となる「コールドスタート」問題に特化しており、標準的なRLが破棄してしまうデータから学習信号を回収します。

実験結果

著者らは、LIBERO-PROデータセットの分布外（OOD）タスク、および物理的なFranka FR3ロボットを用いてLfHを評価しました。

• サンプル効率: LIBERO-PROタスクにおいて、LfHは標準的なGRPOと比較して5倍のサンプル効率向上を達成しました。標準的なGRPOが最終的な成功率に達するまでの約5分の1のトレーニングステップで、そのレベルに到達しました。
• 高密度報酬（Dense Rewards）との比較: LfHは、高密度な進行報酬（RobotsMETER）を用いたベースラインを上回りました。これは、成功率が低いレジームにおいては、元の指令に対するフィードバックを単に高密度化することよりも、ロールアウトが「どのタスク」に対してクレジットされるべきかを変えることの方が価値が高いことを示唆しています。
• データの活用: 標準的なGRPOでは、報酬の分散がゼロであるために軌跡グループの約60〜80%が破棄されますが、LfHは失敗を再ラベル付けすることで、**70〜80%**のグループを保持し、収集されたデータを効果的に活用しています。
• 汎化性能: 改善は異なるVLAバックボーン（GR00TやOpenVLA-OFTを含む）にわたって維持され、128ロールアウト時点での実世界の物理ロボット実験においても、標準的なGRPOの成功率を倍増させることに成功しました。
• アブレーション研究: 実験により、得られた利得がランダムな報酬注入や単純な指令の言い換えによるものではないことが確認されました。また、本手法は、トレーニング中の多様な行動分布の維持に寄与し、ポリシーが反復的な失敗モードに陥るのを防ぐ効果があることも示されました。

重要性と主張

本論文は、LfHがRLのポストトレーニングにおけるロボットデータの有用性を根本的に変えるものであると主張しています。軌跡を、観察された挙動と一致するあらゆる言語目標の証拠として扱うことで、LfHは「ロボットのサンプルあたりのビット数」をより多く抽出します。

著者らは、このアプローチが、既に言語指示間の汎化能力を備えている事前学習済みVLAにとって非常に自然なものであると強調しています。LfHは、モデルに「求められたこと」だけでなく、「実際に実行したこと」から学習することを可能にします。これは、VLAのポストトレーニングへの実用的な道筋を提示しています。つまり、単にロールアウトを増やしたり、同じラベルで最適化時間を長くしたりするのではなく、各ロールアウトを言語を通じて再解釈することで、サポートされているタスク間で学習を転移させることができるのです。

また、本論文は限界についても認めています。LfHは、収集されたデータの失敗の多様性と解釈可能性に依存しています。もしポリシーが反復的または情報量の少ない軌跡を生成する場合、回収できる意味のあるヒンサイト目標は少なくなります。さらに、手法はリラベルを行うVLMの品質に依存しており、不適切または過度に一般的なプロンプトは、ノイズの多い教師信号を導入する可能性があります。