Imagine-then-Plan (ITP): 世界モデルに基づく適応的先読みによるエージェント学習

この論文は、大規模言語モデル（LLM）を基盤とした自律エージェントが、複雑なタスクを遂行する際の「浅いグラウンディング（浅い環境理解）」の問題を解決するため、Imagine-then-Plan (ITP) という新しいフレームワークを提案しています。ITP は、学習された世界モデルを用いて未来を「想像（想像的ロールアウト）」し、その結果に基づいて行動を計画する**適応的先読み（Adaptive Lookahead）**メカニズムを導入したものです。

以下に、論文の技術的な要点を問題定義、手法、貢献、結果、意義の観点から詳細にまとめます。

---

1. 背景と問題定義

問題点：浅いグラウンディングと固定された先読み

現在の LLM ベースのエージェントは、直近の観測と過去の履歴に基づいて意思決定を行うことが多いです。これにより、現在の行動が将来の環境状態にどのような因果的影響を与えるかを深く理解できておらず（浅いグラウンディング）、実行後に致命的な失敗や状態の矛盾に気づくことが多々あります。

既存の世界モデルを用いた手法は、主に以下の限界を抱えていました：

• 単一ステップまたは固定ホライズンのロールアウト: 複雑なタスクでは長期的な依存関係を見逃すか、単純なタスクで過剰な計算コストを要する。
• 硬直的な戦略: タスクの進行状況や難易度に応じて、どれくらい先まで想像（シミュレーション）すべきかを動的に調整できない。

提案の核心

エージェントは、現在の観測だけでなく、「想像された未来の軌跡」に基づいて意思決定を行うべきであり、その想像の深さ（ホライズン）はタスクの進行状況と最終目標の達成度に応じて適応的に決定されるべきです。

---

2. 手法：Imagine-then-Plan (ITP)

ITP は、従来の部分観測マルコフ決定過程（POMDP）を拡張した**「部分観測かつ想像可能なマルコフ決定過程（POIMDP）」**を概念化し、以下の構成要素で実現されます。

2.1 世界モデルの学習

• LLM を世界モデルとして機能させ、現在の状態 $s_t$ と行動 $a_t$ から次の状態 $s_{t+1}$ を予測するモデル $M_\phi$ を学習します。
• 専門家によるデモンストレーションデータと、エージェントによるロールアウトデータを組み合わせて学習し、分布外（OOD）の行動に対しても頑健なモデルを構築します。

2.2 適応的先読みと POIMDP

エージェントの方針 $\pi_\theta$ は、現在の観測 $s_t$ と、世界モデルによって生成された想像された未来軌跡 $\hat{\tau}^{(K_t)}_t$ の両方を条件として行動 $a_t$ を決定します。
$$a_t \sim \pi_\theta(\cdot \mid s_t, \hat{\tau}^{(K_t)}_t)$$
ここで、$K_t$ は時間ステップ $t$ における適応的な先読みホライズン（想像するステップ数）です。

2.3 2 つの実装バリアント

ITP は、トレーニングの有無に応じて 2 つのバリアントとして実装されています。

(A) 学習不要版：ITP-I (In-Imagination Learning)

• 特徴: 推論時（Inference-time）にのみ機能し、追加のトレーニングは不要です。
• 仕組み:
  1. 適応的ホライズン選択: エージェントが現在の状態と指示に基づき、必要な先読みステップ数 $K_t$ を動的に選択します。
  2. 世界モデルによる想像: 選択された $K_t$ ステップ分、世界モデルと対話して未来の軌跡を生成します。
  3. 反射的ポリシー生成: 生成された軌跡を「暗黙的なフィードバック」として利用し、目標への進捗や潜在的な衝突（ボトルネック）を評価・反省（Reflection）した上で、最適な行動を決定します。

(B) 強化学習版：ITP-R (Reinforced Training)

• 特徴: 行動方針と「いつ、どれくらい先を読むか」を同時に最適化する強化学習アプローチです。
• 仕組み:
  1. 疑似ラベル付け: 専門家軌跡と凍結された世界モデルを用いて、各ステップで最適な先読みステップ数 $K_t$ の疑似ラベルを生成します。
  2. ウォームアップ学習: 行動方針と $K$ ヘッド（先読みステップを予測する軽量な予測器）を、疑似ラベルを用いた教師あり学習で初期化します。
  3. オンライン最適化: 強化学習（A2C アルゴリズム）を用いて、タスク成功報酬と計算コスト（先読みステップ数に応じたペナルティ）のバランスを最適化します。これにより、エージェントは効率的に「想像」の深さを調整することを学習します。

---

3. 主要な貢献

1. POIMDP の概念化: 過去の相互作用と「想像された未来」を統合した意思決定プロセスを形式化し、エージェントが能動的に未来をシミュレーションする理論的基盤を提供しました。
2. ITP フレームワークの提案: 世界モデルに基づく想像と、タスク進行度に応じた適応的先読みメカニズムを統合し、行動方針計画に対する deliberative（熟考的な）ガイダンスを提供します。
3. 実験的検証: 学習不要（ITP-I）と強化学習（ITP-R）の両方のバリアントを通じて、複雑で長期的なタスクにおける成功率の大幅な向上を実証しました。

---

4. 実験結果

評価ベンチマーク

• ALFWorld: 家庭内の身体化タスク（物拾い、掃除、加熱など）。
• ScienceWorld: 科学実験シミュレーション。
• WebShop: 長期的な Web ナビゲーションと商品購入。
• StableToolBench: 多ターンツール利用タスク。

主要な結果

• ベースラインとの比較:
  • ITP-I: 追加トレーニングなしで、ReAct や RAP などの強力なプロンプトベース手法を大幅に上回る成功率を達成しました（例：ALFWorld で Qwen3-8B を使用し、ReAct の 19.29% から 41.43% へ向上）。
  • ITP-R: 教師あり学習（SFT）や既存の世界モデル手法（WKM, IWM）を凌駕し、すべてのバックボーンモデルで最高成績を記録しました（例：ALFWorld で 88.57% の成功率）。
• 適応的先読みの有効性:
  • 固定ホライズンとの比較: 固定されたステップ数（$k$）で先読みを行う手法は、コスト増大とともに成功率が低下するのに対し、ITP の適応的アプローチは低コストで高い成功率を維持しました。
  • ランダム先読みとの比較: 状態に依存せずランダムにステップ数を選ぶ手法と比較しても、状態に応じた適応的割り当ての方が圧倒的に優れていました。
• 世界モデルの信頼性: 先読みステップ数が増えるにつれて世界モデルの予測精度（Fact-F1）は低下しますが、エージェントの成功率は $k=3$ 付近でピークに達し、その後低下します。ITP はこの「予測の信頼範囲内」で最適な深さを動的に選択できることを示しました。

---

5. 意義と結論

この研究は、自律エージェントが「浅い反応」から「熟考的な計画」へ移行するための重要な一歩です。

• 理論的意義: POMDP を POIMDP に拡張し、エージェントが内部で未来をシミュレーション（想像）して行動を最適化する枠組みを確立しました。
• 実用的意義: 計算コストとタスク成功のトレードオフを、タスクの難易度や進行状況に応じて動的に調整するメカニズムを提供しました。これにより、複雑な長期的タスクにおいて、不要な計算を避けつつ、重要な局面で深い先読みを行うことが可能になります。
• 将来展望: 現在の評価はテキストベースの環境に限定されていますが、このアプローチはマルチモーダル環境や実世界ロボット制御への拡張可能性を秘めており、より高度な自律性の実現に寄与すると期待されます。

要約すると、ITPは、世界モデルを「心の砂場（Mental Sandbox）」として活用し、エージェントに「想像して計画する（Imagine-then-Plan）」能力を与えることで、複雑な環境下での意思決定の質と効率を飛躍的に向上させる画期的なフレームワークです。