技術的概要：厳密なサブゴール実行（SSE）

問題定義

長期の目標条件付き強化学習（GCRL）は、目標が遠く、報酬が希薄である場合に根本的な課題に直面する。階層強化学習（HRL）は、タスクを高レベルのサブゴールと低レベルの実行に分解することでこれを解決しようとするが、既存の手法はしばしばサブゴールの実行不可能性に悩まされる。

従来のグラフベースの HRL 手法は、中間状態を成功したサブゴールとして再ラベルするために**ヒンズサイト・エクスペリエンス・リプレイ（HER）**に頻繁に依存している。著者らは、このアプローチが長期のシナリオにおいて欠陥があると主張する。なぜなら、エージェントが意図したサブゴールに実際に到達したかどうかを検証することなく、失敗した軌道を成功として扱うためである。これにより以下の問題が生じる：

1. 非効率な高レベル計画：高レベル方策は、信頼性が低いか到達不可能なサブゴールを選択するように学習し、不必要に長い軌道と不安定な学習をもたらす。
2. クレジット割り当ての問題：報酬が多すぎるステップに分散され、初期の重要な意思決定の強化が妨げられる。
3. スケーラビリティの限界：現在の状態と最終目標との距離が増大するにつれて、必要な高レベル決定の数が増加し、学習の不安定化を招く。

手法：厳密なサブゴール実行（SSE）

本論文は、サブゴールの選択と実行における信頼性を強制するように設計されたグラフベースの HRL フレームワークである**厳密なサブゴール実行（SSE）**を提案する。SSE は、高レベルのサブゴールが、低レベル方策によって単一の高レベルステップ内で到達可能である場合にのみ有効であるという原則に基づいて動作する。

1. フロンティア・エクスペリエンス・リプレイ（FER）

SSE の中核的な革新は、到達可能なサブゴールと到達不可能なサブゴールを明示的に区別するメカニズムである**フロンティア・エクスペリエンス・リプレイ（FER）**であり、標準的な HER を置き換える。FER は、訪問したすべての状態を成功として再ラベルするのではなく、高レベル遷移を以下の 3 種類に分類する：

• 成功：低レベル方策が定義された閾値（$\lambda$）内でサブゴールに到達する。遷移は累積報酬のすべてとともに保存される。
• 失敗で停止：低レベル方策がサブゴールに到達できない。エピソードは直ちに終了し、報酬はゼロに設定され、このサブゴールの選択を罰するために遷移が保存される。
• 部分的成功：エージェントが最終サブゴールに到達できなかったが、計画された経路上の特定のウェイポイントに到達した場合、この「最後に確実に到達した」状態が部分的成功として記録される。

このメカニズムは到達可能性フロンティアを画定し、エージェントが信頼性の低いサブゴールを特定して回避し、実行可能な遷移のみを強化することを可能にする。

2. 分離された探索方策

厳格な失敗ペナルティによって導入される保守性（これによりエージェントがリスクはあるが必要な領域の探索を避ける可能性がある）に対抗するため、SSE は分離された探索方策（$\pi_{exp}$）を採用する。

• 活用方策（$\pi_h$）：最終目標に到達するための最適なサブゴールを選択するために FER 上で訓練される。
• 探索方策（$\pi_{exp}$）：目標空間の未探索領域を標的とする専用の方策である。グリッドベースの訪問カウントやモデルベースの予測誤差を通じて特定された新規領域からサブゴールをサンプリングし、状態空間の広範なカバレッジを確保する。
• エージェントは、探索率 $\eta$ によって制御され、これらの方策を交互に使用し、希薄な報酬環境であっても到達可能なサブゴールを発見することを保証する。

3. 失敗を考慮した経路の洗練

SSE は、経路計画（例えばダイクストラ法）に使用されるグラフエッジコストの動的な調整を導入する。

• フレームワークは、低レベル実行統計に基づいて特定の領域（グリッドセルまたはノード）の失敗率を追跡する。
• 高失敗率の領域につながる遷移のエッジコストは増加する：$\tilde{d}(v_1 \to v_2) = d(v_1 \to v_2) \times \max(1, c_d \cdot \rho_f(v_2))$。
• これにより、高レベルプランナーは不安定な遷移（例えば、狭いボトルネックや衝突しやすい領域）から遠ざけられ、より安全で信頼性の高い経路へと誘導される。

4. 実装バリエーション

著者らは、異なる目標空間の次元を処理するための SSE の 2 つの変種を提案する：

• SSE（グリッド）：ランドマークの選択、新奇性の推定、失敗の追跡に、目標空間のグリッドベースの分割を使用する。2 次元/3 次元環境に適している。
• SSE（モデル）：グリッド離散化が実行不可能な高次元の目標空間を処理するために、モデルベースのアプローチ（新奇性のためのランダムネットワーク蒸留、信頼性のための失敗予測ネットワーク）を使用する。

主要な貢献

1. フロンティア・エクスペリエンス・リプレイ（FER）：失敗と部分的成功の遷移を分離して到達可能性フロンティアを定義する新規のリプレイメカニズムであり、長期タスクにおける従来のヒンズサイト再ラベルリングによって引き起こされるノイズを排除する。
2. 分離された探索：目標到達方策と探索方策を分離する戦略であり、エージェントが高レベルプランナーの安定性を損なうことなく未探索領域をカバレッジすることを可能にする。
3. 失敗を考慮した経路の洗練：観測された低レベル失敗統計に基づいてグラフエッジコストを動的に調整する方法であり、計画されたサブゴールシーケンスの信頼性を向上させる。
4. 実証的検証：AntMaze、KeyChest、Reacher タスクなどを含む 9 つの多様な長期ベンチマークにおける広範な評価により、最先端の HRL およびグラフベースの手法に対する優れた性能を実証した。

実験結果

著者らは、単純な迷路から中間目標（キーの収集など）を必要とする複雑なタスクまで、9 つの困難な環境で SSE を評価した。

• 成功率：SSE は、すべての環境においてベースライン（HIRO、HRAC、HIGL、DHRL、NGTE、BEAG など）よりも一貫して高い成功率を達成した。
• サンプル効率：SSE は、特にボトルネックおよび多段階タスクにおいて、はるかに速く収束した。例えば、AntDoubleKeyChest タスクでは、SSE は最小限の高レベルステップでタスクを解決したが、ベースラインは主に失敗するか、過剰なタイムステップを必要とした。
• ロバスト性：ランダム目標の設定において、SSE は強力な性能を維持したが、構造化された探索メカニズムの欠如により多くのベースラインは苦労した。
• アブレーション研究：FER、探索方策、または経路洗練を除去すると、性能が大幅に低下し、各コンポーネントの必要性が確認された。特に、HER または標準的なリプレイバッファを使用する手法は、複雑な逐次タスクにおいて学習に失敗した。

意義と主張

本論文は、SSE が階層強化学習における重要なギャップ、すなわち高レベル計画と低レベル実行能力の間の断絶に対処すると主張する。厳密なサブゴール到達性を強制することにより、SSE はエージェントが以下のことを可能にする：

• より少ない高レベル決定で複雑な長期タスクを解決し、方策が訓練されれば、単一の高レベルステップで遠くの目標に到達することが多い。
• 信頼性の低いまたは失敗した軌道を通じたクレジットの伝播を防ぐことで、安定した学習を達成する。
• 広範な再訓練や手動のカリキュラム設計に依存することなく、希薄な報酬環境で効果的に動作する。

著者らは、SSE を、目標条件付きエージェントの効率性と信頼性の両方を向上させるスケーラブルな階層制御フレームワークとして位置づけており、堅牢な長期計画を必要とする実世界への応用にとって有望なアプローチであるとしている。この研究は、フレームワークの有効性は、すべての中間状態が有効なサブゴールであると仮定するのではなく、達成可能なものの境界を学習する能力に由来することを強調している。