技術的概要：階層的ニューラルオプションと抽象的世界モデルの同時学習（AgentOWL）

1. 問題定義

本論文は、既存のスキルを組み合わせることで、意思決定エージェントが新たなスキルを累積的に獲得することを可能にする課題に取り組んでいる。オプションフレームワークは、これを、より困難な目標を達成するポリシー（オプション）の階層を学習することとして形式化するが、標準的な**モデルフリー階層強化学習（RL）**アプローチは、サンプル効率の低さに苦しむ。獲得されたスキルの数が増えるにつれて、実効的な行動空間が拡大し、ポリシーの学習はデータ集約的となり、新たな目標に対しては処理不可能になる。

核心的な問題は、新しいスキルを迅速に学習することと、既に獲得されたスキルの数との間のトレードオフである。標準的なモデルフリー手法は、学習が進むにつれて指数関数的に多くのサンプルを必要とする。著者らは、モデルベースRLが、現実世界での実行前にプランニングを行い、オプションを除外するために世界モデルを使用することでこれを解決できると提案する。しかし、既存の世界モデル化アプローチは、限られたサンプルから複雑なダイナミクスを学習するために必要なデータ効率を欠くか、あるいはプランニングを処理可能にするために必要な時間的および状態の抽象化を提供できないことが多い。

2. 手法：AgentOWL

著者らは、AgentOWL（Option and World model Learning Agent）を提案する。これは、サンプル効率よく階層的ニューラルオプションのセットと抽象的世界モデルを同時に学習するシステムである。

2.1 抽象的世界モデル化

本システムは、状態と時間の両方に対して抽象化された世界モデルを学習するための**Product-of-Experts（PoE-World）**フレームワークを採用する。

• 状態抽象化: 生ピクセル遷移を予測する代わりに、このモデルは、目標述語 $f(s) = (g_1(s), g_2(s), \dots)$ によって定義される将来の抽象状態を予測する。これにより、予測タスクの次元が削減される。
• 記号的表現: 世界モデルは、エキスパートの積として表現される。ここで、各エキスパートは、大規模言語モデル（LLM）によって生成された短い記号プログラム（Python スニペット）である。これらのプログラムは、独立した因果メカニズムをモデル化する。
• フレーム公理の事前分布: サンプル効率を維持するために、モデルは「フレーム公理の事前分布」を組み込む。これは、オプション $o_i$ が対応する特徴 $f_i$ を主に変化させ、他の特徴 $f_j$ ($j \neq i$) は変化させないという信念をモデルにバイアスかけるものである。これは、ガウス事前分布を用いた最大事後確率（MAP）推定によって実装され、遷移ダイナミクスを学習するために必要なデータを大幅に削減する。
• 再構成: 抽象モデルが $p(f' | s)$ を予測するため、カーネル密度推定量（重み付け関数）がヒューリスティックに使用され、抽象状態 $f'$ から完全な状態 $s'$ をサンプリングする。これにより、エージェントは完全なパラメトリック生成モデルを学習することなく、シミュレートされた環境と相互作用できる。

2.2 階層的オプションの同時学習

AgentOWL は、対応するオプション $\{o_1, \dots, o_n\}$ を学習することで、目標の系列 $\{g_1, \dots, g_n\}$ をマスターするために反復的に訓練される。

• LLM ベースのサブオプション仮説: エージェントが新しい目標 $g$ を達成する必要があるが、直接のオプションを持たない場合、LLM に新しいサブオプション $o_{h \to g}$ を仮説立てるよう指示する。LLM は、既存のオプション集合 $\Omega$ から、足がかりとなり得る事前条件 $h$（以前に学習された部分目標）を選択する。この新しいオプションとその仮説的な世界モデルがシステムに追加される。
• モデルベース探索: エージェントは、抽象的世界モデル内で深層 Q 学習（DQN）を用いてポリシー $\pi_{wm}$ を学習する。このポリシーは、現実世界のポリシー $\pi_{real}$ に対する探索ガイドとして機能する。組み合わせられたポリシーは $\pi(a|s) = (1-\epsilon)\pi_{real}(a|s) + \epsilon\pi_{wm}(a|s)$ と定義される。探索率 $\epsilon$ は 1 から 0 へ減衰させられ、現実世界のポリシーが安定するにつれて、エージェントはモデルベースのプランニングから完全なモデルフリー学習へ移行できる。
• 安定した階層的訓練: 下位レベルのオプションの訓練によって引き起こされる非定常性（これにより上位レベルのオプションが直面する環境が変化する）を緩和するために、システムは安定化メカニズムを採用する。エピソードからのデータは、そのエピソードで実行されたすべてのサブオプションが「安定している」（すなわち、十分なサンプル数 $n > n_{threshold}$ で訓練され、高い目標完了率 $\delta > \delta_{threshold}$ を持っている）場合にのみ、訓練用のリプレイバッファに追加される。

3. 主要な貢献

1. AgentOWL フレームワーク: 階層的ニューラルオプションと抽象的世界モデルを同時に学習する新しいアーキテクチャ。これにより、サンプル効率の高いスキル獲得が可能になる。
2. 記号プログラムを備えた抽象的世界モデル: PoE-World と LLM によって生成された記号プログラムの統合により、非常に少ないデータから複雑で時間的に抽象的なダイナミクスを学習可能にし、低レベルモデルの「ワンステップの罠」を克服する。
3. LLM 駆動型オプション発見: 既存のスキルに基づいて LLM を用いて新しいサブオプション（事前条件）を仮説立てる手法。これにより、部分目標の人手による設計を必要とせず、スキル獲得のカリキュラムを事実上自動化する。
4. 安定した階層的 DQN: サブオプションの安定性に基づいてデータをフィルタリングすることで、深層オプション階層の学習を安定させる訓練手順。これは、階層的 RL に内在する非定常性の問題に対処する。

4. 実験結果

この手法は、困難な探索で知られる 3 つのオブジェクト中心 Atari（OCAtari）ゲーム、Montezuma's Revenge、Pitfall、Private Eyeで評価された。

• スキル獲得効率: AgentOWL は、Rainbow DQN、Goal-conditioned DQN、世界モデルなしの Hierarchical DQN などのベースラインと比較して、より少ない環境ステップで、はるかに高い割合のオプションをマスターした。ベースラインは獲得されたスキルの数で低い水準に頭打ちになるのに対し、AgentOWL は複雑なスキルの獲得を継続した。
• 困難な目標への汎化: 定性的分析により、ベースラインは（Pitfall における特定の部屋への到達など）困難な目標に対するオプションを獲得できず、必要な長い行動系列を発見できなかったことが示された。AgentOWL は、これらの系列を抽象的に計画し、階層的に実行することに成功した。
• 暗黙的学習: 実験により、AgentOWL は上位レベルの目標に対してのみ報酬を与えられた場合でも、サブオプションを暗黙的に改善することが示された。目標となるゴールに有用なサブオプションは成功率が向上したが、無関係なものは向上しなかった。
• ゼロショット汎化: 新しい開始状態の実験において、AgentOWL は追加の訓練なしに、元の開始状態から新しい開始状態へ移動するための単一の新しいオプションを与えられれば、既存のオプションを組み合わせることで、以前にマスターした目標を達成できた。抽象的世界モデルと階層的構成を持たないベースラインは、ゼロショットでの適応に失敗した。

5. 意義と主張

本論文は、オプション学習と世界モデル学習は深く絡み合っていると主張する。オプションの効果を捉える抽象的世界モデルを学習することで、エージェントは効率的にプランニングでき、それが逆に、新しいスキルの発見と洗練を促進する。

著者らは、AgentOWL が以下を実証していると強調している。

• サンプル効率: モデルフリーのベースラインよりもはるかに少ないデータで、複雑なスキル階層を達成する。
• 構成的汎化: 学習されたスキルを組み合わせることで、新しい問題を解決する能力（ゼロショット汎化）と、上位レベルの目標に必要な下位スキルを暗黙的に学習する能力。
• プランニングのスケーラビリティ: 時間的に拡張された抽象モデルを使用することで、低レベルのモデルでは処理不可能な長期的な計画が可能になる。

本論文は、現在の限界（順序付けられた目標系列や記号的入力の必要性など）が存在する一方で、このアプローチが、スキル獲得と世界モデル化の相互作用を通じて、知識と能力を累積的に拡張できるエージェントを構築するための有望な方向性を示していると結論づけている。