技術概要：APEX（自律的方策探索による自己進化型 LLM エージェント）

1. 問題定義：自己進化型エージェントにおける探索の崩壊

大規模言語モデル（LLM）エージェントは、複雑で長期的なタスクにおいて高い能力を示していますが、決定的な限界が存在します。それは、モデルの重みを更新することなく、テスト時にその場で学習できないという点です。既存の自己進化型エージェントは、メモリを蓄積しエピソード間でリフレクションを行うことでこの課題を克服しようとしています。しかし、著者らは**「探索の崩壊（exploration collapse）」**と呼ばれる現象を特定しました。

エージェントが経験を蓄積するにつれ、その行動は慣れ親しんだ高報酬のルーチンの周りに集中する傾向があります。平均リターンは安定するか、あるいは増加する可能性がありますが、エージェントの探索的多様性は低下し、狭い行動パターンに陥ってしまいます。その結果、エージェントは現在の「既知」の空間の外部に存在する、質的に異なり、より優れた戦略を発見できなくなります。本論文は、既存のメモリやリフレクションのメカニズムは局所的なガイダンスを提供するものの、持続的で明示的な方策空間を維持するに至らず、エージェントがまだ試していない選択肢を認識できないままにしていることを主張しています。

2. 手法：APEX フレームワーク

探索の崩壊に対処するため、著者らはAPEX（自律的方策探索：Autonomous Policy Exploration）を提案します。中核的な革新は、エージェントの知識を構造化し探索を誘導する明示的な戦略マップ（Strategy Map）、すなわち有向非巡回グラフ（DAG）の維持にあります。

2.1 戦略マップ

戦略マップ $G = (V, E, \theta)$ は、以下の要素からなる DAG です：

• ノード（$V$）： マイルストーンを表します。これらは自然言語で記述され、関連する主要な行動（例：「真鍮のランタンを回収する」）を伴う離散的なサブゴールとして定義されます。
• エッジ（$E$）： 前提条件の依存関係をエンコードします（例：ノード $u$ はノード $v$ より先に達成されなければならない）。
• 統計量（$\theta$）： 各ノードは訪問回数（$n$）、平均報酬（$\bar{r}$）、および報酬分散（$Var$）を追跡します。

このマップは、オープンエンドな行動空間を構造化された計画問題に変換し、エージェントの状態を達成されたマイルストーン集合として定義します。

2.2 中核コンポーネント

APEX は、4 つの明確なメカニズムのサイクルを通じて動作します：

1. 方策選択（エピソードレベルの探索）：
   エピソード中、エージェントは資格のあるマイルストーン（前提条件が満たされているもの）の集合から次のマイルストーンを選択します。これは多腕バンディット問題として定式化されます。著者らは 3 つの戦略を評価しました：

   • トンプソンサンプリング（デフォルト）： 平均と分散に基づいた事後分布からサンプリングします。これはハイパーパラメータの調整を必要とせず、自然に高不確実性（未探索）のマイルストーンを好みます。
   • UCB（Upper Confidence Bound）： 訪問回数に基づいた楽観的ボーナスを追加します。
   • $\epsilon$-Greedy： 確率 $\epsilon$ でランダムに探索します。
   • メカニズム： 選択は逐次的に行われます。あるマイルストーンが失敗した場合、エージェントは事前に決定されたシーケンスに固定されるのではなく、資格のあるマイルストーンを再評価します。

2. マップ精製（知識の修正）：
   定期的に（$N$ エピソードごと）、LLM が最近のエピソードの構造化された要約を分析し、既存のマップを更新します。これは観測事実に基づき、主要な行動を精緻化し、誤った依存関係のエッジを修正し、重複するノードを剪定します。これにより、マップは環境のメカニクスに対して正確に保たれます。

3. リターン伝播（クレジット割り当て）：
   これも定期的に実行され、マイルストーンの統計量（$\theta$）を更新します。DAG 上の逆トポロジカルパスを使用して、下流のマイルストーンからの報酬をその前提条件へと伝播させます。これにより、高報酬の後続マイルストーン（例：「宝箱を開ける」）を解除する機能を持つマイルストーン（例：「鍵を見つける」）が、たとえ即座の報酬を生み出さなくても、その貢献に対してクレジットを受け取ることが保証されます。

4. フォーク発見（方策空間の拡張）：
   これは探索の崩壊を防ぐための主要なメカニズムです。既知の経路を修正する精製とは異なり、フォーク発見はマップのフロンティアを積極的に拡張します。LLM がエピソードの要約を分析し、観測されたか利用可能であったが、一度も追求されなかった行動や方向を特定します。これにより、未探索の可能性をエンコードする新しいマイルストーンと依存関係のエッジを提案し、エージェントにこれまで試したことのない戦略を検討することを強制的に行わせます。

3. 主な貢献

• 探索の崩壊の特定： 本論文は、自己進化型エージェント（Reflexion など）が、静的で学習しないエージェントが単なる多様性によって偶発的に見つけることがある優れた戦略を見逃し、狭い行動ルーチンに収束することを実証的に示しています。
• 明示的な方策空間： APEX は、非構造化されたメモリやリフレクションのみに依存するのではなく、方策空間（マイルストーンと依存関係）の明示的かつ構造化されたマップを維持する、自己進化型エージェントのための最初のフレームワークを導入しました。
• 二重ループ探索： このフレームワークは、**マップレベルの拡張（フォーク発見）とエピソードレベルの選択（方策選択）**を分離し、新しい領域が継続的に開かれ体系的に訪問される閉ループを構築します。
• 堅牢なクレジット割り当て： DAG ベースのリターン伝播は、機能を持つ行動が正しく評価されることを保証し、複雑なタスクにおけるスパースな報酬の問題に対処します。

4. 実験結果

著者らは、APEX を 2 つのベンチマーク、Jericho（9 つのテキストアドベンチャーゲーム）とWebArena（812 の現実的な Web 相互作用タスク）で評価しました。

• パフォーマンス： APEX は、すべての環境においてすべてのベースライン（Static, Memory, Reflexion, EvoTest, ACE）を一貫して上回りました。
  • Jerichoでは、APEX は 9 つのゲームすべてで最高 Final-5 スコアを達成しました。特に、多様な戦略を必要とするゲーム（例：Ztuu）において、APEX は局所最適解に収束しがちな Reflexion を大幅に上回りました。
  • WebArenaでは、APEX は 5 つのカテゴリ（ショッピング、Reddit、GitLab、CMS、マップ）すべてで首位となり、特に多段階で非自明なシーケンスが要求される Reddit と GitLab で大きな改善が見られました。
• アブレーション研究：
  • DAG vs フラットリスト： 依存関係の構造（DAG）は決定的でした。フラットなマイルストーンリストは著しく低いパフォーマンスを示し、前提条件に関する推論が鍵であることを確認しました。
  • フォーク発見： フォーク発見を除去すると、特に複雑なゲームにおいてパフォーマンスが著しく低下しました。これは、方策空間の能動的な拡張が崩壊を防ぐために必要であることを証明しています。
  • 方策選択： トンプソンサンプリングは UCB や$\epsilon$-Greedy を上回り、分散を考慮した探索の重要性を浮き彫りにしました。
  • リターン伝播： DAG ベースのクレジット伝播は、逐次的なパスベースの伝播を上回り、機能を持つマイルストーンに対する正確な値推定を確保しました。
• 一般化： APEX は WebArena において強力なタスク間一般化を示し、タスク固有の事前知識なしに、既知のタスクから未知のタスクへ知識を転送しました。
• コスト： 追加のリフレクションコンポーネントがあるにもかかわらず、マイルストーンに誘導されたプロンプトの簡潔さにより、APEX の API コストは他の手法と同程度でした。

5. 意義と主張

本論文は、APEX が、暗黙的でメモリベースの学習から明示的でマップベースの探索へと移行することにより、自己進化型 LLM エージェントにおける探索の崩壊問題を効果的に解決すると主張しています。

• 意義： この研究は、エージェントが時間とともに改善を維持するためには、自分が何をしたかをリフレクションするだけでなく、自分が何をしていないかのマップを能動的に構築し、それをナビゲートする必要があることを示しています。
• 謙虚さ： 著者らは限界を認めています。戦略マップの質は、LLM がマイルストーンを特定し、未探索の方向を推論する能力によって制限されます。深く隠されたゲームのメカニクスや、エージェントの過去の知識を完全に超える戦略は、依然として見逃される可能性があります。さらに、現在のアプローチは自然に離散的なマイルストーンに分解されるタスクに依存しており、連続的または構造化の少ない環境ではマイルストーンの定義に対する適応が必要になる可能性があります。

結論として、APEX は持続的な探索のための堅牢なフレームワークを提供し、従来のリフレクションベースの手法では発見できない優れた戦略を自己進化型エージェントが発見することを可能にします。