技術的サマリー：オフライン目標条件付き強化学習のための抽象化

問題定義

オフライン目標条件付き強化学習（GCRL）は、静的なデータセットを用いて、複雑で長期的なタスクを解決する汎用エージェントの訓練を目的としている。しかし、既存の手法は、データセットが低品質な遷移に悩まされている領域や、状態 - 行動空間の不完全なカバレッジが存在する領域において困難に直面する。分布シフトを緩和するためにデータセット分布に向けて行動を正則化する標準的なフラットなオフライン RL アルゴリズムは、重要な領域に最適でないデータが含まれている場合、最適な方策を回復できないことが多い。階層方策（オプション）は有効な時間的ホライズンを削減する（時間的抽象化）ために提案されてきたが、伝統的には絶対的な参照枠に固定されており、類似するが異なる文脈間での経験の再利用能力を制限していた。

手法：抽象的強化学習（ARL）

著者は、絶対的抽象化を可能にする階層性を拡張するフレームワークである**抽象的強化学習（ARL）**を提案する。これには、相対化されたオプションの学習と、階層の異なるレベルにおける固有の表現の利用が含まれる。核心的な前提は、低レベルの行動を冗長な高レベル情報から切り離し、エージェントの局所的な文脈に対して（例：「座標 X へ移動する」ではなく「前方へ移動する」）オプションを定義することで、エージェントは類似した状態空間の文脈間で行動を一般化できるというものである。

このフレームワークは、2 つの具体的な類似性の概念を導入する：

1. 高レベルの類似性：類似したオプションを誘発する状態 - 目標ペア。
2. 低レベルの類似性：類似した即時行動を誘発する状態 - オプションペア。

これを具現化するために、著者は 2 つのアルゴリズムを提案する：

1. ARLi（相対化されたオプションの暗黙的学習）

このアルゴリズムは、価値の類似性ではなく行動の類似性を通じて相対化されたオプションを学習する。

• アーキテクチャ：高レベルの価値関数（$V_h$）と低レベルの価値関数（$V_l$）という 2 つの異なる価値関数を採用する。
• オプション学習：価値関数を通じてオプション埋め込みを学習する従来の階層的手法（例：HIQL）とは異なり、ARLi はオプション埋め込み（$\phi_\omega$）を低レベル方策（$\pi_l$）と共同で学習する。これにより、類似した低レベル行動を誘発する状態 - 経由点ペアのグループ化が促進される。
• 訓練：価値学習には Implicit Q-Learning（IQL）を、方策抽出には Advantage-Weighted Regression（AWR）を使用する。高レベル方策は高レベル価値に基づいてオプションをサンプリングし、低レベル方策は状態とサンプリングされたオプションを条件として行動を実行する。

2. ARLe（明示的な並進不変性の強制）

このアルゴリズムは、特に高次元の操作タスクにおいて、低レベルの意思決定プロセスに対して並進不変性を明示的に課すことで ARLi を発展させたものである。

• 相対化された状態：正規化されていない変位ベクトル（$v = g_s - s$）を用いて低レベルの価値関数を定義し、状態 - 経由点空間を実質的に相対変位の多様体に縮約する。
• オプション埋め込み：オプションはこれらの相対化された状態の観点で定義される。著者は「ソフト正規化」手法を用いてこれらの埋め込みを超球面上にマッピングし、暗黙的な時間的意識（大きさは変位に比例）を維持しつつ幾何学的正則化を可能にする。
• 目的：この帰納的バイアスにより、幾何学的に類似した相対的構成を同等とみなすことで、エージェントは状態空間全体で経験を再利用でき、高次元空間における状態カバレッジの希薄化という課題に対処できる。

主要な貢献

1. 絶対的抽象化の動機付け：この論文は、オフライン RL における階層性は時間的ホライズンを削減するだけでなく、絶対的抽象化を可能にするべきであると論じる。相対化されたオプションと固有の表現を使用することで、エージェントは、特に低品質なデータが存在する領域において、フラットな方策と比較して期待リターンの最大誤差を制限できる。
2. 理論的誤差 bound：著者は、絶対的抽象化を持つ階層方策が以下の 4 つのメカニズムを通じて誤差 bound を削減することを導出した：
   • ホライズンの削減：高レベル方策の有効な割引因子を削減する。
   • 基数の削減：状態 - 目標ペアを同値クラスにマッピングする。
   • オプションの効率性：相対化を通じてオプション空間のサイズを削減する。
   • 集中度の改善：類似した文脈間で確率質量を集約し、集中度係数（$\kappa$）を削減してサポートの不一致を緩和する。
3. 2 つの新しいアルゴリズム：行動類似性を通じてオプションを学習し、並進不変性を強制する ARLi と ARLe の導入。これらは追加のハイパーパラメータを導入することなく、パフォーマンスを大幅に向上させることを実証した。
4. 実践的ガイドライン：低レベル方策と共同で行動類似性を通じてオプションを学習する、意思決定プロセスを切り離すために 2 つの価値関数を使用する、高次元の操作に対して並進不変性を課すなど、実践者への具体的な推奨事項を提供する。

実験結果

著者は、OGBench データセット上で ARLi と ARLe を評価し、困難な移動および操作環境（例：antmaze-giant、humanoidmaze-giant、puzzle-4x4-play）に焦点を当てた。

• パフォーマンス：両方の ARL 変種は、フラットな方策（IQL）および絶対的階層ベースライン（HIQL 変種）を上回った。すべてのタスクにおいて、ARL はベンチマークよりも少なくとも10 パーセントポイント高い平均成功率を達成した。
• 具体的な成果：
  • ARLi：階層ベンチマークに対して一貫して改善し、humanoidmaze 環境では成功率を 2 倍以上に、scene-play-v0 ではほぼ 2 倍に向上させた。
  • ARLe：高次元の操作タスクで卓越したパフォーマンスを示した。puzzle-4x4-play-v0（83 次元）において、ARLe は88% の成功率を達成し、次点のベンチマークを 39 パーセントポイント上回った。
• 一般化：分析により、パフォーマンスの向上は状態次元の増加とデータの希薄さの増加と相関していることが示された。特に ARLe は、同等の相対状態を縮約することで、より滑らかな低レベルの価値関数を学習した。
• ロバスト性：これらの結果は、ベースライン HIQL 用に調整されたハイパーパラメータを使用して達成されており、パフォーマンスの向上が広範な調整ではなく帰納的バイアスに起因することを示している。

意義と主張

この論文は、階層性が低品質な遷移に悩まされている領域におけるよりロバストな方策抽出を可能にすると主張する。絶対的な参照枠から抽象化することで、エージェントは類似した文脈間で最適な経験を再利用でき、オフラインデータのカバレッジの制限を効果的に緩和する。

著者は、この作業を、階層の異なるレベルにおける固有の表現がオフライン GCRL における一般化を改善できるという概念実証として位置づけている。彼らは明示的に、現在の結果は有望であるが、このアプローチは将来の研究への道を開くと述べている。例えば：

• 行動チャンキングを通じて相対化されたオプションを学習する。
• 幾何学的深層学習（GDL）を使用してより柔軟な帰納的バイアスを組み込む。
• 帰納的バイアス（例：並進不変性）が環境構造（例：高密度で低次元の迷路）と一致しない場合の制限に対処する。

この作業は、すべてのオフライン RL の課題を解決すると主張するものではないが、特定の構造的バイアス（相対化と固有の表現）が、複雑なハイパーパラメータ調整を必要とすることなく、高次元設定における方策の一般化を大幅に強化できることを実証している。