技術的概要：長視野オフライン目標条件付き強化学習のための適応的粗から細へのサブゴール精緻化

1. 問題定義

オフライン目標条件付き強化学習（GCRL）は、追加的な環境相互作用なしに、固定された軌跡データセットから多様な目標に到達する方策を学習することを目的としている。短視野タスクに対しては効果的であるが、この設定は長視野タスクにおいて重大な課題に直面する。

主な困難は長視野価値推定に起因する。スパースな目標到達報酬の下では、遠隔の状態 - 目標ペアは直接的な監督情報を弱く提供する。その結果、価値関数は多くのブートストラップ更新を通じて目標情報を伝播させなければならない。時間的距離が増大するにつれて、近似誤差がバックアップ連鎖に沿って蓄積し、遠くの目標の評価が不正確になる。これらのノイズの多い価値推定値に基づいてフラットな目標条件付き方策を直接訓練すると、信頼性の低い長視野の意思決定をもたらす。

既存の階層化手法は、中間サブゴールを導入することでこれを緩和しようとし、長視野の到達をより短い範囲の決定の連続へと還元する。しかし、これらの手法はしばしば固定された時間的抽象化（例えば、固定されたサブゴール視野）や固定された階層の深さに依存している。そのような固定されたスケールは、到達可能性視野が異なる状態 - 目標ペアに対して頻繁にミスマッチする：

• 過度に局所的なサブゴールはわずかな進歩しかもたらさず、小さな価値の差が長視野推定誤差によって支配され、誤った選択につながる可能性がある。
• 過度に遠いサブゴールは、低レベル方策の信頼できる実行範囲の外側にある可能性がある。

ここで扱われる核心的な問いは、オフライン階層エージェントが、規定された分解スケールに依存するのではなく、各特定の状態 - 目標ペアに対して適応的に適切な中間目標を識別できるかどうかである。

2. 手法：CFHRL

著者は、実行前に遠隔の目標を適応的に精緻化する完全オフラインの GCRL フレームワークである**Coarse-to-Fine Hierarchical Goal Reinforcement Learning（CFHRL）**を提案する。このフレームワークは、サブゴールが正確な中点または大域的最適である必要はなく、信頼性の高い進歩を提供し、残りの到達難易度を低下させるだけでよいという原則に基づいて動作する。

2.1 中核コンポーネント

CFHRL は、目標条件付き価値関数から導出された共有到達可能性コスト $D_\phi(s, g)$ によって調整される 3 つの学習済み方策を利用する：

1. 精緻化プランナー（$\pi_p$）： 現在の状態 $s$ と現在の計画目標 $g$ に条件付けられた中間目標 $u$ を提案する。
2. 抽象化方策（$\pi_z$）： 精緻化された目標 $\bar{g}$ をローカルコマンド $z$ にマッピングする。
3. 低レベル方策（$\pi_a$）： コマンド $z$ をプリミティブな動作 $a$ にマッピングする。

2.2 適応的粗から細への精緻化

固定された階層の代わりに、CFHRL は適応的停止則を備えた再帰的精緻化プロセスを採用する：

1. 初期化： 最終目標 $g^{(0)} = g$ から開始する。
2. 実行可能性チェック： 精緻化レベル $\ell$ において、学習された到達可能性コストを用いて、現在の目標 $g^{(\ell)}$ が状態 $s$ から局所的に実行可能かを確認する：
   $$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$$
   ここで $\epsilon_{exec}$ は閾値である。
3. 精緻化ループ： 条件が満たされれば、精緻化は停止し、$g^{(\ell)}$ が実行モジュールに渡される。そうでない場合、プランナーは新しい中間目標 $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$ を提案し、これが次の目標 $g^{(\ell+1)}$ となる。
4. 終了： 目標が局所的に到達可能になるか、最大深さ $K_{max}$ に達するまでこのプロセスを繰り返す。

このメカニズムにより、実効的な分解の深さは、固定された時間的スケールではなく、各状態 - 目標ペアの推定到達可能性によって決定されることを保証する。

2.3 精緻化プランナーのオフライン学習

プランナーは、オンライン相互作用や手動ラベル付けされたサブゴールなしに、オフラインデータのみから完全に訓練される：

• 候補構築： 状態 $s_t$ と目標 $g$ に対して、候補サブゴールの集合 $\mathcal{C}_D$ をオフラインデータセットからサンプリングする（$g$ が同じ軌跡内にある場合は将来の状態、そうでない場合はリプレイ分布から）。
• スコアリング： 候補はボトルネック到達可能性コストによってスコア付けされる：
  $$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$$
  この指標は、最大残差視野を収縮させる候補を好む。
• 訓練目的： プランナーは価値誘導重み付け模倣によって訓練される。候補は負のスコアに対するソフトマックスで重み付けされ、プランナーが問題をより簡単な残差到達問題に分解するリプレイでサポートされたサブゴールを模倣することを促す。

2.4 実行方策

抽象化方策と低レベル方策は、短視野セグメントにおける進歩重み付け行動クローニングを用いて訓練される。ローカル目標への学習済み価値を増加させる遷移には高い模倣重みが割り当てられ、方策を局所的に進歩的な動作にバイアスさせる。

3. 理論的解析

本論文は、ノイズの多い推定値の下で、適応的精緻化が固定された局所スケール選択よりも頑健である理由を正当化するための様式化された解析を提供する：

• 固定スケールの失敗： 固定された局所スケール階層において、総視野 $T$ が増大するにつれて、正しい局所的移動と誤った局所的移動を区別するための信号対雑音比は消失する。$T \to \infty$ となるにつれて、誤った候補を選択する確率は 0.5 に近づく。
• 近似収縮の十分性： 解析は、正確な中点予測が不要であることを示している。学習されたコストが、視野を収縮させる候補（残りの距離を定数係数 $\rho < 1$ で減少させる）とそうでない候補との間に粗いマージンを保持すれば十分である。
• 誤差境界： 全体の失敗確率は、精緻化の失敗（収縮するサブゴールを選択できないこと）と最終的な局所実行誤差の和によって境界付けられる。これは、価値閾値付き停止則を動機づける：目標が遠すぎる間は精緻化し、目標が局所的に実行可能と推定されたら停止する。

4. 実験結果

著者は、移動（PointMaze, AntMaze, HumanoidMaze, AntSoccer）と操作（Cube, Scene）タスクを網羅するオフライン目標条件付き制御のベンチマークであるOGBench上で CFHRL を評価する。

• 性能： CFHRL は、HIQL（23.2）、GCIVL（16.5）、フラット手法などのベースラインと比較して、最高集計スコア（37.5）を達成する。
• 長視野の改善： 最も顕著な改善は、長視野の迷路風タスク（例：PointMaze-Giant-Stitch）で観察され、CFHRL は成功率をフラット/固定階層ベースラインの 0% から 57% に向上させた。
• アブレーション研究：
  • 適応的停止： 適応的停止則を除去し、固定された精緻化深さ（$K=2, 3$）を強制すると性能が低下し、過度の精緻化がプランナー誤差を蓄積することを確認した。
  • プランナーの必要性： 学習済みプランナーをランダムなデータセットサブゴールに置き換えると失敗し、サブゴールは学習された到達可能性コストに基づいて選択されなければならないことを証明した。
  • 候補予算： 訓練候補の数（$N_c$）を増やすと、ある点（$N_c=16$）まで性能が向上し、監督の質と訓練スループットのバランスが取れる。
• 限界： CFHRL は、接触に富む操作タスク（Cube）において、フラットな価値ベース手法と比較して性能が劣り、経路点のような分解が、精密な接触ダイナミクスを必要とするタスクに対しては効果的でないことを示唆している。

5. 意義と主張

本論文は、3 つの主要な貢献を主張する：

1. 定式化： 長視野オフライン GCRL を適応的停止時間サブゴール精緻化として定式化し、分解の深さは固定された視野ではなく、学習された実行可能性によって決定されるようにする。
2. アルゴリズム： テスト時のグラフ探索やオンライン相互作用を必要とせずに、償却された精緻化プランナーを訓練するリプレイ支援収縮目的を導入する。
3. 検証： 様式化された解析と経験的アブレーションの両方を提供し、近似収縮と適応的停止が迷路風環境における長視野の目標到達を効果的に改善することを示す。

著者は謙虚な立場を維持し、この手法が学習された到達可能性コストの品質に依存しており、現在の抽象化インターフェース（単純なローカル目標表現）は、精密な接触シーケンスを必要とする複雑な操作タスクには不十分である可能性があることを認めている。今後の研究は、適応的計画をより豊かなオブジェクト中心の抽象化と組み合わせ、フレームワークを他のオフライン GCRL 価値推定器に拡張することに焦点を当てるべきであると示唆している。