Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization

この論文は、探索を強化し、メモリ利用時と非利用時の両方で堅牢な性能を発揮するハイブリッド強化学習フレームワーク「EMPO²」を提案し、ScienceWorld や WebShop などのタスクで既存手法を大幅に上回る成果と、パラメータ更新なしでの新規タスク適応能力を実証しています。

要約

探検家とメモ帳：AI が「失敗」から学ぶ新しい方法

（EMPO2：探検的メモリ強化オン・オフポリシー最適化）

この論文は、「巨大な言語モデル（AI）」が、新しい環境でどうすればもっと賢く、たくましく探検できるようになるかという問題を解決するための新しい方法を提案しています。

これまでの AI は、すでに知っている知識（教科書）を頼りに行動するのが得意でしたが、**「教科書に載っていない未知の場所」**に行くと、すぐに立ち往生してしまいました。

この論文のアイデアを、**「冒険家とメモ帳」**の物語に例えて説明します。

---

1. 従来の AI の悩み：「教科書依存症」

これまでの AI 冒険家は、非常に頭が良いのですが、**「失敗を繰り返す」**のが苦手でした。

• シチュエーション: 部屋に「赤い電球」を点けるミッションがある。
• AI の行動: 「赤い電球を探せ」と言われたので、部屋をぐるっと見回す。でも、赤い電球はそこにはない。
• 結果: 「あ、見当たらないな」と言いつつ、同じことを繰り返す。なぜなら、AI は「失敗した理由」を深く考えず、ただ「教科書（事前に学習した知識）」通りに動こうとするからです。

これでは、新しい場所（未知の環境）では永遠に先へ進めません。

2. 解決策：EMPO2（探検家とメモ帳のチーム）

この論文が提案するEMPO2という方法は、AI に**「失敗のメモ帳」**を持たせ、それを活用して学習させるという画期的なアプローチです。

🧠 2 つの「脳」と「メモ帳」の連携

EMPO2 は、AI を**「脳（モデルの重み）」と「メモ帳（外部メモリ）」**の 2 つで構成されるチームとして考えます。

1. メモ帳（非パラメータ更新）：

   • 冒険中に失敗したら、すぐに**「メモ帳」に書き留めます**。
   • 例：「赤い電球は廊下ではなく、作業室にあった。前回、廊下で探して失敗した。」
   • このメモ帳は、AI の「脳」そのものを変える必要なく、その場ですぐに追加できます。これにより、次の試行では「あ、作業室に行けばいいんだ！」と即座に学習できます。

2. 脳（パラメータ更新）：

   • 失敗した経験やメモ帳のヒントを元に、「脳（AI の根本的な能力）」を少しずつ鍛え直します。
   • これにより、将来的には「メモ帳がなくても」、AI 自体が「失敗から学ぶ力」を身につけるようになります。

🔄 2 つの「練習モード」

EMPO2 は、この 2 つを組み合わせるために、2 つの練習モードを巧みに使い分けます。

• モード A：メモ帳ありの練習（オン・ポリシー）

  • 「メモ帳」を見ながら行動します。失敗しないように、過去のヒントを参考にしながら、「脳」をメモ帳のヒントに合わせて調整します。
  • 役割: 安全に、確実に学習を進める。

• モード B：メモ帳なしの練習（オフ・ポリシー）

  • ここがミソです。「メモ帳を見ずに」行動したデータを使って、AI の「脳」を鍛えます。
  • 仕組み：「メモ帳を見ながら成功した行動」を、**「メモ帳なしでも自然にできるようになるように」**脳に焼き付けます。
  • 役割: 最終的に、メモ帳がなくても、AI 自身が「探検家としての勘」を身につけること。

3. なぜこれがすごいのか？（魔法の「内化」）

この方法のすごいところは、**「メモ帳に頼りすぎない」**点です。

• 従来の方法（Reflexion など）: メモ帳（過去の失敗記録）を常に参照し続ける必要があります。メモ帳がなくなれば、AI はまた失敗します。
• EMPO2 の方法: メモ帳を「足場（足場）」として使い、その足場を登りながら、「足場なしでも登れる筋肉（AI の能力）」を育てます。

最終的には、メモ帳がなくても、AI 自身が「未知の場所でも失敗から学んで探検できる」能力を脳の中に定着させることができます。

4. 実験結果：「科学の世界」と「ネットショッピング」で大成功

研究者たちは、この方法を 2 つの難しいゲームで試しました。

1. ScienceWorld（科学実験ゲーム）:
   • 複雑な道具を使って実験をするゲーム。
   • 結果: 従来の AI（GRPO）は途中で立ち往生していましたが、EMPO2 は**「失敗のメモ帳」を駆使して**、128% もの劇的な性能向上を達成しました。
2. WebShop（ネットショッピング）:
   • 指示された商品をネットで見つけて買うゲーム。
   • 結果: ここでも EMPO2 が最も高く、11.3% の向上を達成しました。

さらに驚くべきは、「見たことのない新しいタスク」に対しても、メモ帳を少し見せるだけで（パラメータ更新なしで）、すぐに適応できたことです。まるで、「探検のコツ」を身につけたベテラン冒険家のように振る舞いました。

5. まとめ：AI 探検家の進化

この論文が伝えているのは、**「AI に失敗を恐れない『探検心』と、それを記録する『メモ帳』を持たせ、それを脳に定着させる」**ことが、より賢く、汎用性の高い AI を作る鍵だということです。

• 失敗＝無駄な時間ではなく、「メモ帳に書き込むための貴重なデータ」。
• メモ帳は、AI が**「自分自身で探検する力」を育むための「トレーニング器具」**。

EMPO2 は、AI が単なる「知識の引き出し」から、「未知の世界を切り開く探検家」へと進化するための、非常に有望な一歩を示しています。

技術概要

論文「EXPLORATORY MEMORY-AUGMENTED LLM AGENT VIA HYBRID ON- AND OFF-POLICY OPTIMIZATION (EMPO2)」の技術的サマリー

本論文は、大規模言語モデル（LLM）を強化学習（RL）でエージェントとして訓練する際の「探索（Exploration）」のボトルネックを解決するための新しいフレームワーク、EMPO2（Exploratory Memory-Augmented On- and Off-Policy Optimization）を提案しています。

1. 背景と課題

LLM エージェントは、事前学習で得られた知識を利用（Exploitation）することは得意ですが、未知の環境や新しい状態の発見を必要とするタスクにおいて、体系的な探索（Exploration）が不足しているという課題があります。

• 既存手法の限界: 従来の RL ベースのアプローチ（例：GRPO）は、スカラー報酬信号のみに基づいて学習するため、失敗の原因分析や非典型的な行動の試行が難しく、局所最適解に陥りやすい傾向があります。
• メモリベース手法の限界: 外部メモリ（Reflexion など）を用いて過去の失敗を言語的に記録し、次の試行で利用する手法は存在しますが、パラメータ更新を行わないため、獲得した知識がモデル内部に定着せず、長期的な一般化や適応性に限界があります。

2. 提案手法：EMPO2

EMPO2 は、パラメータ更新（LLM の重み）と非パラメータ更新（外部メモリ）を統合し、オンポリシーとオフポリシーの学習をハイブリッドに行うフレームワークです。

2.1 核心的な仕組み

EMPO2 は、ロールアウト（試行）フェーズと更新フェーズのそれぞれで以下のモードを組み合わせます。

1. ロールアウトモード:

   • メモリなし: 現在の状態とタスクのみに基づいて行動を生成。
   • メモリ付与: 過去の試行から生成された「ヒント（Tips）」をメモリから検索し、プロンプトに含めて行動を生成。これにより、過去の失敗を回避し、新たな探索を促します。
   • ヒントの生成: 別のモデルではなく、エージェント自身のポリシー（$\pi_\theta$）が、終了したエピソードの軌跡を振り返り、要約や反省（Tips）を自己生成してメモリに蓄積します。

2. 更新モード（ハイブリッド学習）:

   • オンポリシー更新: メモリ付与プロンプトで生成された軌跡を、同じプロンプト条件で学習します。
   • オフポリシー更新（重要）: メモリ付与プロンプトで生成された軌跡（教師データ）を用いますが、学習時にはヒントを除外した条件（$\pi_\theta(\cdot|s, u)$）で確率を再計算し、更新を行います。
     • これは「報酬ガイド付き知識蒸留」として機能します。ヒント付きの行動が成功した場合、その行動をヒントなしでも再現できるようにモデルを学習させます。これにより、推論時に外部メモリに依存せずとも、探索能力がモデルのパラメータに内蔵されます。

2.2 探索の促進技術

• 内在的報酬（Intrinsic Reward）: 新規な状態への到達に対して報酬を与え、探索をさらに促進します。
• 安定化メカニズム: オフポリシー学習における不安定性（低確率トークンによる勾配の暴走）を防ぐため、確率閾値以下のトークンに対するアドバンテージ項をマスクする手法を導入しています。

3. 実験結果

ScienceWorld（科学実験シミュレーション）と WebShop（オンラインショッピング）の 2 つのベンチマークで評価されました。ベースモデルには Qwen2.5-7B-Instruct を使用しました。

• 性能向上:
  • ScienceWorld: 強力なオンライン RL ベースラインである GRPO と比較し、128.6% の性能向上を達成しました。特に、初期に負の報酬しか得られなかったタスクでも、最大スコア（100）に到達するケースが多く見られました。
  • WebShop: GRPO および GiGPO（既存の最上位手法）を上回るスコアと成功率を記録しました（GRPO 比で 11.3% 向上）。
• 分布外（OOD）:
  • 訓練タスクとは異なる新しいタスクにおいて、パラメータ更新を行わず、メモリのみを初期化して適用したところ、数回の試行で高い適応性を示しました。これは、モデルがメモリを活用して未知の環境を探索する能力を学習していることを示唆しています。
• アブレーション研究:
  • オンポリシー学習とオフポリシー学習の両方が不可欠であり、バランスよく統合することで最適な性能が得られることが確認されました。

4. 主な貢献

1. ハイブリッド RL フレームワークの提案: 外部メモリによる探索支援と、パラメータ更新による能力の定着を同時に実現する EMPO2 を提案しました。
2. 探索と一般化の両立: メモリを「足場（Scaffolding）」として利用しつつ、オフポリシー学習を通じてその恩恵をモデル内部に内蔵させることで、推論時のメモリ依存を減らしつつ、高い探索能力を維持します。
3. 実証的有効性: 複雑な多段階タスクにおいて、既存の RL 手法やメモリベース手法を大幅に凌駕する性能を示しました。

5. 意義と将来展望

EMPO2 は、LLM エージェントが「試行錯誤」を通じて自律的に成長し、未知の環境に適応するための重要なステップです。このアプローチは、単なる報酬最大化を超えて、エージェントが「どのように学ぶか（学習プロセスそのもの）」を改善する可能性を示しています。将来的には、より大規模なモデルへのスケーリングや、数学、コーディング、マルチモーダルタスクへの応用が期待されます。

---

要約: EMPO2 は、LLM エージェントの「探索不足」を解決するため、外部メモリによる自己反省と、それをモデル内部に定着させるハイブリッドな強化学習手法を提案し、ScienceWorld や WebShop などの複雑なタスクで画期的な性能向上を達成しました。