技術要約：ULEE – 非監視学習による効率的な探索（Unsupervised Learning of Efficient Exploration）

問題提起

本論文は、深層強化学習（RL）において、サンプル効率の低さと汎化性能の欠如を克服するために、転移可能な知識を持つ基盤ポリシーを開発するという課題に取り組んでいる。大規模な事前学習はコンピュータビジョンや言語モデルに革命をもたらしたが、RLエージェントは通常、新しいタスクごとにゼロから学習される。著者らは、外的な報酬なしに環境と相互作用し、自己設定した目標を通じて能力を獲得することを目指す**非監視型強化学習（unsupervised RL）**に焦点を当てている。

核心となる困難は、これらの自己設定された目標をいかに効果的に生成、選択、および学習するかという点であり、特に以下の設定において顕著である：

1. 下流タスクの分布が広く、未知である場合。
2. すべてのタスクをゼロショットで解決することが不可能な場合。
3. エージェントが、限られた情報の中で、新しい目的、ダイナミクス、またはマップ構造に適応しなければならない場合。

既存の手法は、固定された目標セットに依存したり、目標空間が評価タスクと一致していることを前提としたり、あるいはエージェントの適応能力を考慮せずに即時的なパフォーマンスに基づいて最適化したりすることが多い。本論文は、一般的なベースポリシーは、難易度のスペクトラム全体において効果的であるべきであり、簡単なタスクでは迅速なパフォーマンスを提供し、複雑なタスクではサンプル効率の良い適応を実現すべきであると主張している。

手法：ULEE

著者らは、自己設定された目標のカリキュラムを通じて、適応的なポリシーを事前学習するために設計された非監視型メタ学習フレームワークであるULEE（Unsupervised Learning of Efficient Exploration）を提案する。この手法は、主に4つのコンポーネントで構成される。

1. 事前学習済みポリシー（イン・コンテキスト・ラーナー）

既知の目標表現を必要とする従来の目標条件付きポリシーとは異なり、ULEEはブラックボックス型のメタ学習を用いて、無条件のポリシー（$\pi$）を学習する。エージェントは連続したエピソード（「ライフタイム」）にわたって環境と相互作用し、相互作用の全履歴（観測、行動、報酬）に基づいて行動を選択する。これにより、エージェントはテスト時に明示的な目標条件付けを行うことなく、イン・コンテキストで適応することを学習できる。

2. 適応後難易度指標（Post-Adaptation Difficulty Metric）

中心的な革新は、タスクの難易度の定義にある。多くの先行研究のように目標の成功率を即時的な成功（immediate success）に基づいて評価するのではなく、ULEEは、マルチエピソードのライフタイムにおける直近$K$エピソードにおけるポリシーの成功率の補集合として、目標$g$の難易度を定義する。

• 最初の$H-K$エピソードは、探索と適応のために使用される。
• この指標は、特定のタスクに適応する機会を与えられた後の、エージェントの能力を反映している。
• これにより、エージェントが適応を必要とする未知のタスクに直面するという評価設定と、学習カリキュラムを一致させている。

3. 敵対的な目標生成と選択

ULEEは、エージェントの能力の「最前線」でトレーニングを維持するために、敵対的なカリキュラムを採用している：

• 目標提案（Goal Proposal）： 目標探索ポリシー（$\pi_{gs}$）は、遭遇する目標の難易度を最大化するように敵対的に学習される。これは、現在の事前学習済みポリシーにとって困難な候補目標を見つけるために環境を探索する。
• 難易度予測（Difficulty Prediction）： 真の難易度を計算するにはポリシーを複数エピソード実行する必要があり、サンプル効率が悪いため、難易度予測器ネットワークが、環境のコンテキストに基づいて候補目標の難易度を推定する。
• 目標選択（Goal Selection）： システムは、特定の難易度範囲（下限$LB$と上限$UB$によって制限される）内に収まる候補セットから、目標を一様にサンプリングする。これにより、カリキュラムが「中間的な難易度」のタスク、すなわち、簡単すぎず、かつ解決不可能でもないタスクに集中することを保証する。

4. 学習目的（Training Objective）

事前学習済みポリシーは、自己設定された目標の分布に対する期待割引ライフタイムリターンを最大化するように最適化される。目標分布 $p(g|M)$ は、敵対的生成器と難易度予測器によって動的に調整され、エージェントが常に挑戦を受けつつも学習可能であることを保証するように調整される。

主な貢献

1. 適応後難易度指標： 即時的なパフォーマンスではなく、適応予算を充てた後のパフォーマンスに基づいて自動的な目標生成を導く指標の導入。
2. ULEEフレームワーク： 以下の要素からなる完全な非監視型メタ学習手法：
   • 自己設定された目標を用いたイン・コンテキスト・ラーナー。
   • 効率的なカリキュラム推定のための難易度予測ネットワーク。
   • 困難な目標を提案するための敵対的エージェント。
   • 望ましい難易度範囲内の目標を選択するためのサンプリング戦略。
3. 包括的な評価： XLand-MiniGridベンチマークにおける、複数のタイムスケール（ゼロショット、フューショット、ファインチューニング）および汎化タイプ（新しい目的、ダイナミクス、マップ構造）にわたる評価。

実験結果

著者らは、プロシージャルに生成された部分観測グリッド環境（XLand-MiniGrid）の「Trivial」および「Small」の難易度分布を用いてULEEを評価した。

• 探索（Exploration）： ULEEの事前学習済みポリシーは、ランダム探索やDIAYN事前学習と比較して、有意に多くの目標に到達した（20エピソード時点において2倍以上）。
• 高速適応（Fast Adaptation）： フューショット設定（30エピソードのライフタイム）において、ULEEは着実な改善を示し、30エピソードまでに平均リターンが最大$3\times$増加し、DIAYNやRL2といったベースラインを上回った。
• ファインチューニング（Fine-Tuning）： より大きな予算（最大10億ステップ）を用いた固定タスクでのファインチューニングにおいて、ULEEの初期化は、ゼロからの学習やDIAYN事前学習を一貫して上回った。
• メタ学習（Meta-Learning）： ULEEは教師ありメタ強化学習の強力な初期化を提供し、ゼロからの学習と比較して、平均およびパーセンタイル指標の両方で高いリターンをもたらした。
• 汎化（Generalization）： 本手法は、新しい環境構造（例：異なるグリッドサイズや部屋のレイアウト）への堅牢な汎化を示した。古典的なMiniGridタスクにおいて、ULEEはテストされたすべての環境で非ゼロのリターンを達成し、DIAYNおよびランダムなベースラインを上回った。
• アブレーション解析（Ablations）： 敵対的な目標探索と境界付きサンプリングの組み合わせが極めて重要であることを確認した。さらに、適応後の難易度指標を使用することは、特にタスクの難易度が高まるにつれて、即時的なパフォーマンス指標よりも有益であることが示された。

意義と主張

本論文は、ULEEが非監視型強化学習とメタ学習をうまく橋渡しし、効率的な探索と適応が可能な基盤ポリシーを生み出すことを主張している。カリキュラムの焦点を適応後のパフォーマンスへとシフトさせることで、本手法は、タスクが未知であり、進行中の学習が必要となる現実世界のシナリオにより良く備えることができる。

著者らは、ULEEを以下を扱うことができる基盤ポリシーへの一歩として位置づけている：

• 幅広いダウンストリームタスクの分布。
• 目標情報が未知、または分布外（out-of-distribution）であるシナリオ。
• さまざなるレベルの適応時間を必要とするタスク。

本研究は、カリキュラム学習における中間的な難易度の重要性を強調しており、非監視型の事前学習が、新しい目的、ダイナミクス、およびマップ構造に汎化するポリシーを生み出し、フューショット適応および長期的なファインチューニングの両方において優れた初期化を提供することを示している。著者らは、将来の研究として、より長いホライゾンのタスクのための階層構造や、事前学習を人間に関連するタスクに整合させるための視覚言語モデルの統合などが挙げられるとしている。