Curriculum reinforcement learning with measurable task representation learning

技術的概要：測定可能なタスク表現学習を伴うカリキュラム強化学習

問題定義
カリキュラム強化学習（CRL）は、難易度が上昇する一連のタスクでエージェントを訓練することにより、困難な目標タスクの学習を加速することを目指します。初期の CRL 手法は事前に定義されたタスクの順序付けに焦点を当てていましたが、近年の研究は自動カリキュラム生成へとシフトしています。この分野における支配的なパラダイムはタスク分布補間であり、KL 発散やワッサーシュタイン距離などの距離尺度を用いて、初期タスク分布と目標タスク分布の間を補間することで、新しい中間タスクを生成します。

しかし、この補間ベースのアプローチは、文脈（タスク）空間におけるユークリッド距離によってタスクの類似性を測定できるという仮定に依存しています。この仮定は、特に非ユークリッド幾何構造（例えば壁のある迷路）を有する複雑な環境では成立しません。そのような文脈では、パラメータ空間における直線的な補間は、物理的に実行不可能なタスク（例えば、壁の向こう側にゴールを配置するなど）を生成したり、難易度の意味のある進行を表さなかったりする可能性があり、それによってエージェントが知識を効果的に転移する能力を阻害します。さらに、既存の手法は、カリキュラム生成用に特別に設計された外部報酬信号なしに、複雑で高次元、あるいはスパース報酬の環境において意味のある類似性尺度を定義することにしばしば苦労します。

手法：ACRL
著者は、潜在空間において測定可能なタスク表現を学習することによってカリキュラムを生成するフレームワークである**ACRL（表現学習を伴う自動カリキュラム）**を提案します。核心的な洞察は、タスクの類似性は生きた環境パラメータではなく、エージェントの行動（状態遷移と報酬）によって定義されるべきであるという点です。

手法は主に 3 つの構成要素からなります：

1. VAE によるタスク表現学習:
   著者は変分オートエンコーダ（VAE）を用いて、タスク文脈を潜在空間にマッピングします。

   • エンコーダ: 特定のタスク文脈 $c$ から収集された軌道（状態、行動、報酬、および次の状態の系列）を受け取り、それを潜在埋め込み $z$ に符号化します。置換不変性を確保するため、軌道埋め込みは個々の遷移の埋め込みの積として計算されます。
   • デコーダ: VAE には、次の状態と報酬を再構成するための遷移デコーダ（$p_\theta(s'|z)$）および報酬デコーダ（$p_\theta(r|z)$）が含まれており、これにより潜在空間がタスクのダイナミクスと報酬構造を捉えていることを保証します。
   • タスクデコーダ: 補助的なデコーダ（$p_c^\theta(z)$）は、潜在埋め込みを文脈空間に戻してマッピングし、潜在点から新しいタスクパラメータを生成することを可能にします。
   • 訓練制約: 意味のある表現を確保するため、VAE はエージェントが特定の閾値 $\delta$ 以上のリターンを達成した軌道のみで訓練され、ランダムまたは失敗した試行は除外されます。

2. 自動カリキュラム生成:
   タスク表現が学習されると、カリキュラムはエージェントの学習進展に基づいて 2 つの戦略を用いて更新されます。

   • 潜在空間予測（LSP）: エージェントが目標タスクで一定の性能を達成した場合に使用されます。この手法は、現在の成功したタスクの潜在埋め込みと、目標タスクの潜在空間における埋め込みの間を補間します。これらの補間点は文脈空間にデコードされ、環境の幾何学的制約を尊重する、漸進的に困難な新しいタスクを生成します。
   • 探索境界更新（EBU）: 初期段階や目標タスクの性能が低い場合に使用されます。この手法は「探索境界」、つまりエージェントが現在解ける目標に最も近いタスクを特定し、この境界付近にガウスノイズを加えてサンプリングすることで探索を促進します。

3. サンプリング戦略:
   このフレームワークはタスクバッファを維持し、学習済みカリキュラム分布からのサンプリング（進展の活用）と文脈空間全体の一様分布からのサンプリング（探索の確保とモード崩壊の防止）のバランスを取るために、サンプリング比率 $\lambda$ を使用します。

主要な貢献

1. ACRL フレームワーク: 外部報酬を必要とせずにソースタスクと目標タスクの間の中間タスク分布を生成する、自動化されたカリキュラム RL フレームワークの提案。タスク表現学習を用いて文脈を潜在空間にマッピングし、タスク類似性のためのより滑らかで意味のある尺度を確保します。
2. 測定可能なタスク類似性: VAE を用いて文脈空間を潜在空間にマッピングする新しいタスク表現学習手法。このアプローチは、状態遷移と報酬を符号化することで非ユークリッド計量空間における類似性測定を可能にし、直接のユークリッド補間の限界を克服します。
3. 実証的優位性: 複雑な幾何構造を有する困難なナビゲーションタスクにおいて、補間ベースの手法（CURROT）や生成アプローチ（Goal GAN, ALP-GMM）を含む最先端のベースラインと比較して、ACRL が優れた学習効率と漸近的性能を達成することを示す実証。

実験結果
著者は ACRL を 2 つのドメインで評価しました。

• MiniGrid（離散行動空間）: キー、ドア、溶岩を含む、難易度（易、中、難）が異なる迷路ナビゲーションタスクのセット。これらの環境では、壁が直接の経路を遮るため、ユークリッド距離は失敗します。

  • 性能: ACRL は、閾値到達時間と安定性の点でベースライン（Default, Random, ALP-GMM, Goal GAN, VDS, PLR, CURROT）を上回りました。
  • カリキュラムの可視化: 生成されたタスク分布は、障害物を回避し、実行可能な経路を通じて初期位置から目標に向かって移動することに成功しました。対照的に、CURROT はエージェントを壁に導く中間タスクを生成することが多く、有効な学習経路を提供できませんでした。
  • 表現分析: 潜在空間の多次元尺度構成（MDS）により、学習された埋め込みがタスクの非ユークリッド構造を効果的に捉え、類似したタスク（難易度と幾何学的観点から）をクラスタリングしていることが明らかになりました。

• U-Maze（連続行動空間）: エージェントが U 字型のバリアを navig する必要がある連続制御環境。

  • 性能: ACRL はベースラインよりも優れたサンプル効率を示しました。Goal GAN は良い漸近的性能を達成しましたが、目標ガイダンスの欠如により閾値到達時間が悪化しました。他のベースラインは、到達不可能な領域でタスクを生成したために失敗しました。
  • アブレーション研究: この研究は、LSP と EBU の組み合わせが不可欠であることを確認しました。いずれかのコンポーネントを削除するか、サンプリング比率 $\lambda$ を高すぎる（探索を減少させる）または低すぎる（一様サンプリングに劣化する）設定にすると、性能が大幅に低下しました。また、報酬デコーダと遷移デコーダの両方を含めることが、安定した表現学習にとって不可欠であることも示されました。

意義と主張
本論文は、ACRL が自動カリキュラム生成における根本的な限界、すなわち複雑で非ユークリッドな環境におけるタスク類似性を捉えるユークリッド距離尺度の inability を解決すると主張しています。エージェントの実際の相互作用（軌道）に基づいて潜在表現を学習することで、この手法は環境の幾何学的および動的制約を尊重するカリキュラムを生成できます。

著者は、彼らのアプローチが以下の点に重点を置いていると強調しています。

• カリキュラム生成に外部報酬を必要としない。
• 既存のあらゆる RL アルゴリズム（PPO、SAC など）と互換性がある。
• 離散および連続の両方の文脈空間を処理する。
• 長期的でスパース報酬のタスクに取り組むエージェントにとって、より堅牢で効率的な学習経路を提供する。

論文は控えめに結論付け、限界を認めています。すなわち、この手法は現在、パラメトリックな文脈空間（数値パラメータ）を仮定しており、記号的または言語ベースの文脈のような非パラメトリックな定義を直接処理することはできませんが、これは意味エンコーダを伴う将来の研究の潜在的な方向性として指摘されています。