技術的概要：初期経験によるエージェント学習

1. 問題定義

言語エージェントの長期的な目標は、複雑な実世界のタスクにおいて自らの経験を通じて学習し、改善することである。しかし、現在の訓練パラダイムは重大な限界に直面している：

• 強化学習（RL）： 検証可能な報酬が得られる領域（例：ゲーム）では成功しているが、実世界の言語エージェントへの RL の適用は困難である。多くの環境（例：ウェブサイト、多ターンツール利用）は、検証可能で密な報酬信号を欠いているか、またはクレジット割当を不安定にする非効率的な長_horizon_ロールアウトを必要とする。
• 教師あり微調整（SFT/模倣学習）： 現在のほとんどのエージェントは、専門家によってキュレーションされたデータを用いた SFT に依存している。効率的である一方で、このアプローチには本質的な限界がある：
  • 分布シフト： エージェントは訓練中に環境と相互作用しないため、専門家の行動以外の行動の結果を一度も観察しない。これにより、エージェントが訓練分布から逸脱した際に、誤差が累積する。
  • 汎化能力の限界： 専門家のデモンストレーションは狭い範囲のシナリオしか捉えておらず、エージェントが未見の状況に汎化したり、失敗から回復したりする能力を制限する。
  • スケーラビリティ： 高品質な専門家のデモンストレーションは、スケーリングがコストがかかる。

核心的な課題は、外部報酬信号に依存せず、また人間のデモンストレーションのカバレッジに厳密に縛られることなく、エージェントが自らの経験から成長するように訓練する方法である。

2. 手法：初期経験パラダイム

著者は、模倣学習と強化学習の中間的なパラダイムである**初期経験（Early Experience）**を提案する。この設定において、エージェントは人間によってキュレーションされたデータだけでなく、環境における自らの提案された行動によって駆動される未来の状態からも学習する。これらの未来の状態は、外部報酬を必要とせずに教師信号として機能する。

このパラダイムは、専門家の軌跡のデータセット $D_{expert} = \{(s_i, a_i)\}$ と、エージェントの方策からサンプリングされた代替行動 $a^j_i$ および環境で観測された結果としての次の状態 $s^j_i$ を含むロールアウトデータセット $D_{rollout} = \{(s_i, a^j_i, s^j_i)\}$ を組み合わせて拡張する。

このパラダイムのもとで、2 つの具体的な訓練戦略が研究されている：

A. 暗黙的世界モデル化（IWM）

• 概念： エージェントは、観測された未来状態の集合を、環境のダイナミクスを内在化するための補助的な予測タスクとして扱う。
• メカニズム： ロールアウトデータセット内の各状態 - 行動ペア $(s_i, a^j_i)$ に対して、モデルは結果としての次の状態 $s^j_i$ を予測するように訓練される。
• 目的： 訓練目的は次のトークン予測損失である：$L_{IWM} = -\sum \log p_\theta(s^j_i | s_i, a^j_i)$。
• 利点： これにより、方策は環境の挙動（遷移、副作用、無効な結果）の規則性を直接学習でき、独立したシミュレータモジュールなしにエージェントをその運用コンテキストに根ざさせることができる。

B. 自己反省（SR）

• 概念： エージェントは、専門家の行動と比較することで自らの最適でない行動から学習し、なぜ専門家の選択が優れているのかについての自然言語による説明を生成する。
• メカニズム： 各専門家の状態 $s_i$ において、エージェントは専門家の行動 $a_i$ を実行して $s_{i+1}$ を得るとともに、代替行動 $a^j_i$ を実行して $s^j_i$ を得る。その後、モデルは結果の違いに基づき、$a_i$ が $a^j_i$ よりも優れていることを正当化する思考連鎖の説明 $c^j_i$ を生成するようにプロンプトされる。
• 目的： モデルは、状態 $s_i$ が与えられたときに、推論 $c^j_i$ と専門家の行動 $a_i$ を同時に予測するように訓練される：$L_{SR} = -\sum \log p_\theta(c^j_i, a_i | s_i)$。
• 利点： これにより、エージェント自身の探索的な失敗から、微細で転用可能な意思決定の原則（例：制約充足）が抽出され、単なる暗記的な模倣を超えた学習が可能になる。

3. 主要な貢献

1. 初期経験の形式化： 本論文は、模倣学習と RL の間のスケーラブルで報酬不要の架け橋として初期経験を提唱し、形式化する。これにより、エージェントは外部報酬なしに自らの相互作用を学習信号に変換できるようになる。
2. 2 つの訓練戦略： 著者は、暗黙的世界モデル化（状態予測によるダイナミクスの内在化）と自己反省（最適でない行動に関する推論による意思決定原則の蒸留）を提案し、体系的に研究する。
3. 包括的な評価： これらの手法は、8 つの多様な環境（具象的ナビゲーション、ウェブナビゲーション、多ターンツール利用、科学シミュレーション、計画）および複数のモデルファミリー（Llama-3.2-3B、Qwen-2.5-7B、Llama-3.1-8B）において評価されている。

4. 実験結果

評価は、純粋な模倣学習のベースラインに対する一貫した改善を示している：

• 有効性： 8 つすべてのベンチマークとモデルサイズにおいて、IWM と SR の両方が標準的な SFT を上回った。
  • IWM は、予測可能なダイナミクスを持つ構造化された環境（例：ALFWorld、ScienceWorld、WebShop）で着実な改善を示した。
  • SR は、多段階推論と制約充足を必要とするタスク（例：TravelPlanner、BFCLv3）で大幅な改善をもたらした。
  • 特に WebShop において、IWM は模倣学習に対して最大 18.4% の成功率向上を達成した。
• 分布外（OOD）汎化： 初期経験の手法は、OOD スプリットにおける性能ギャップの相当部分を一貫して回復させた。いくつかのケース（例：SearchQA）では、ドメイン内設定よりも OOD 設定での相対的な改善が上回っており、自らのロールアウトから学ぶことが、デモンストレーションでカバーされていない状態に対するエージェントの準備を促していることを示している。
• データ効率： 初期経験は、専門家のデモンストレーションを大幅に少なく使用した場合（例：WebShop でデータの 1/8）でも、模倣学習に対して優位性を維持した。
• モデルスケーリング： 初期経験の恩恵は、モデルサイズが 70B パラメータ（Llama-3.3-70B）にスケールアップしても持続し、初期経験でチェックポイントしたモデルは一貫して最高性能曲線に位置した。
• RL の基盤： 初期経験で訓練されたチェックポイントに対して後続の RL（GRPO を使用）を適用した場合、最終的な性能の天井は、純粋な模倣学習のチェックポイントから開始した場合よりも大幅に高かった。これは、初期経験が「経験の時代」に向けた堅牢な初期化を提供することを示唆している。

5. 意義と主張

本論文は、初期経験を自律的な言語エージェントの発展にとって不可欠な足がかりとして位置づけている。その意義は以下の点にある：

• ギャップの架け橋： 報酬が利用できない、あるいは信頼できない環境に対する実用的な解決策を提供し、エージェントが静的なデモンストレーションだけでなく、結果から学習することを可能にする。
• スケーラビリティ： エージェント自身の行動を教師信号の生成に利用することで、高コストで高品質な人間のデモンストレーションへの依存度を低下させる。
• 将来への準備： 新しい環境で検証可能な報酬が利用可能になった際に、エージェントを完全に経験駆動型の学習（RL）に備える「中間訓練」の架け橋として機能し、ゼロから再訓練することなくさらなる改善を可能にする。

著者は、初期経験がエージェントに現在、自らの相互作用から成長する能力を与え、現在の模倣ベースのアプローチの限界を克服しつつ、将来の経験駆動型エージェントの時代に向けた基礎を築くと結論づけている。