Learning Generalizable Skill Policy with Data-Efficient Unsupervised RL

技術要約：データ効率的な非教師ありRLによる汎用的なスキル・ポリシーの学習

問題提起
非教師あり強化学習（Unsupervised Reinforcement Learning: URL）は、ダウンストリームの制御タスクのための基盤となる、スケーラブルなスキル条件付きポリシーを、外的な報酬なしに事前学習することを目的としている。著者らは、近年の進展にもかかわらず、現在のオフポリシーURL手法には、スケーラビリティを阻害する2つの決定的な、かつ見落とされているボトルネックが存在すると主張している。

1. スキルの意味論の非定常性（サンプル非効率性）: オフポリシー設定では、軌跡（trajectory）はスキルラベル（$z$）と共にリプレイバッファに保存されるが、このラベルは収集時のタイミングでサンプリングされたものである。スキルポリシーと潜在表現関数（$\phi$）が学習中に進化するにつれ、固定された$z$の意味論的な意味合いは変化する。その結果、バッファに保存された同一の$z$が、時間の経過とともに異なる行動軌跡に対応してしまう。これらの「古くなった（stale）」ラベルを用いて学習を行うことは、高分散なノイズと意味論的なドリフト（semantic drift）を導入し、学習を不安定化させ、データ効率を低下させる。
2. 脆弱な汎化性能: 既存の手法は、多くの場合、グローバルなコンテキスト情報（例：絶対座標や背景の視覚情報）を含む全状態観測に基づいてスキルポリシーを条件付けしている。これにより、ポリシーは特定のグローバルなコンテキストに過学習してしまう。分布がシフトした環境（例：異なる開始位置や背景）に展開された際、同一のスキル$z$が一致した行動を生み出せなくなり、ダウンストリームタスクにおける再利用性を制限する。

手法：GenDa
著者らは、これら2つのボトルネックに対処するために、主に2つのメカニズムを通じて設計された統一フレームワークであるGenDa（Generalizable Data-efficient Agent）を提案する。

1. 表現およびポリシー学習のためのスキル・リラベル（再ラベル付け）:

   • メカニズム: 意味論的なドリフトを軽減するために、GenDaはリプレイバッファ内の過去の軌跡を動的にリラベルする。元のロールアウト・ラベル（$z_{roll}$）を使用する代わりに、本フレームワークは現在の潜在表現関数$\phi$に基づいて新しいラベル（$z_{relab}$）を計算する。具体的には、$z_{relab}$は潜在空間における終端状態と初期状態の差の単位ベクトルとして定義される：$z_{relab} = \text{unit}(\phi(s_T) - \phi(s_0))$。
   • 最適化: 表現学習の目的関数は、これらのリラベルされたターゲットを用いて更新されるが、その際、ターゲットネットワークに対して勾配を停止させる（指数移動平均：EMAを使用）。これにより、監督信号を現在の潜在空間の解釈に整合させる。
   • 一様性正則化項（Uniformity Regularizer）: リラベルされたスキルの非固定な分布によって引き起こされる表現崩壊（すべての状態が狭い領域にマップされる現象）を防ぐため、対照学習スタイルの一様性正則化項が導入される。これは、リラベルされたスキルのエントロピー（$H(z_{relab})$）を最大化し、多様な行動の発見を保証する。
   • ポリシーのリラベル: ポリシー学習においては、同一の軌跡内にある中間状態ペアから導出されたマルチホライゾン・ターゲット（$z_c$）とリラベルされたスキル$z_{relab}$を混合することで、内在的報酬を強化し、ブートストラップとオフポリシーデータの利用能を向上させる。

2. 補完的情報ボトルネック（Complementary Information Bottleneck: CIB）:

   • メカニズム: スキルの実行をグローバルなコンテキストから切り離すために、GenDaはCIBモジュールを導入する。変分エンコーダ $q_\psi(\ell|s)$ は、メトリック（距離）を考慮した潜在表現 $\phi(s)$ に対して補完的な埋め込み $\ell$ を学習する。
   • 目的関数: エンコーダは、変分情報ボトルネック目的関数（$J_{CIB} = I(\ell; s) - I(\ell; \phi(s))$）を通じて訓練される。デコーダはすでに$\phi(s)$によって捉えられている情報を再構成できるため、エンコーダは状態 $s$ を再構成するために必要な「残りの」情報のみを保持するように強制される。
   • 適用: スキルポリシー $\pi(a|s, z)$ は、生の状態ではなく、CIB埋め込み $\ell$ に条件付ける $\pi(a|\ell, z)$ に置き換えられる。これにより、構造的にポリシーがグローバルなコンテキストのヒントを利用することを防ぎ、スキルに関連するエゴセントリック（自己中心的な）な特徴量に依存するように強制する。

主な貢献

• 失敗モードの定式化: 本論文は、オフポリシーURLにおける「意味論的ドリフト」と、グローバルなコンテキストへの過学習による「脆弱な汎化性能」を、理論的および経験的な証拠とともに正式に特定した。
• スキル・リラベル・フレームワーク: 進化する潜在空間に過去の経験を動的に適合させることで、非定常性を緩和する新しいアプローチを提供し、データ効率を大幅に向上させた。
• 補完的情報ボトルネック（CIB）: グローバルなコンテキストとスキルの実行を分離する埋め込みを学習し、堅牢性を高めるドロップイン形式のモジュール。
• 統一フレームワーク: GenDaは、最先端のメトリック認識型目的関数に基づいた、スケーラブルな非教師ありスキル発見パイプラインへとこれらの要素を統合している。

実験結果
著者らは、高次元の環境（例：226次元の状態を持つ"Dog"）を含む、多様な状態ベースおよびピクセルベースのベンチマーク（DeepMind Control SuiteおよびMuJoCo）においてGenDaを評価している。

• データ効率: GenDaは、従来のベースライン（METRA, CSF, DIAYN, CIC）と比較して、著しく少ない環境相互作用で、優れた状態およびタスクのカバレッジを達成している。高次元の"Dog"および"Fish"環境において、GenDaはベースラインが意味のある行動を発見できない場面でも、一貫したスキルを学習することに成功した。
• ダウンストリームの汎化: 初期条件がシフトした（例：Random Start, Random Goal）ダウンストリームタスクや、複雑なナビゲーション（Mazeベンチマーク）において、GenDaは有意に高い成功率を示した。
• 堅牢性: アブレーション研究により、リラベル機構を除去すると学習が非効率になり、CIBを除去すると分布シフト（例：異なる開始座標や背景色）の下でポリシーが失敗することが確認された。
• スケーラビリティ: GenDaは、ベースラインの漸近限界に匹敵する性能を5倍少ない環境相互作用で達成しており、実世界のロボット学習における実用的な基盤としての可能性を示している。

意義と主張
本論文は、GenDaが非教師あり強化学習のスケーラビリティにおける根本的な限界に対処していると主張している。意味論的ドリフトを解決することで、本手法はURLにおけるオフポリシー学習の可能性を解き放ち、事前学習をよりデータ効率的にする。また、CIBを通じてエゴセントリックなスキル実行を強制することで、学習されたスキルが多様なダウンストリームタスクや環境の変化に対して堅牢で再利用可能であることを保証する。著者らは、GenDaを、最小限の微調整で多様なタスクに適応できる、制御のための汎用的なファンデーション・ポリシーの構築に向けた一歩として位置づけている。

限界と今後の方向性
著者らは、現在のリラベル・フレームワークが「1エピソードにつき1つのスキル」を想定しており、これが単一の軌跡内の不均一な行動には当てはまらない可能性があることを認めている。将来の研究として、時間とともに変化するスキルラベルへのリラベルの拡張を提案している。また、CIBの有効性はメトリック認識型の潜在関数 $\phi$ に依存しており、現在のメトリック認識型目的関数が微細な操作スキルの獲得を妨げる可能性があることから、将来の反復に向けてマグニチュード（大きさ）条件付きメカニズムの必要性を示唆している。