技術要約: ExpGraph

問題提起

大規模言語モデル（LLM）エージェントは、推論、ツールの使用、および多段階の環境相互作用において強力な能力を示している。しかし、決定的なボトルネックが依然として存在する。ほとんどのエージェントは「ワンショット実行器（one-shot executors）」として動作しており、成功した戦略や失敗から学んだ教訓を体系的に再利用することなく、各タスクをゼロから解決している。収集された経験に基づいて実行器をファインチューニングすることは一般的な解決策であるが、LLMが急速に進化する中で、これはますます柔軟性を欠くものとなる。より強力またはより適切な実行器が登場した場合、経験学習のプロセスは特定のモデルインスタンスに対して再学習を必要とすることが多く、システムが特定のモデルに密結合してしまう。さらに、多くの有能なLLMはクローズドソースであったり、巨大すぎたり、あるいは高価であったりするため、パラメータレベルの修正は非現実的である。

本研究が取り組む核心的な課題は、「LLMエージェントがいかにして、実行器自体を凍結し、かつ交換可能な状態に保ったまま、蓄積された経験から学習できるか？」という点である。既存の手法は、再利用可能な経験を孤立した記録として扱ったり、フラットな最近傍探索に依存したりすることが多く、戦略、制約、および失敗パターンの相関的な性質を捉えきれていない。さらに、表面的な意味的類似性は、必ずしもダウンストリームでの有用性と一致しない。構造的に関連する経験は極めて重要な転移可能な戦略を提供する可能性がある一方で、見た目が似ているだけの経験は、ほとんど恩恵をもたらさない可能性がある。

手法: ExpGraph

著者らは、凍結されたLLM実行器を改善するための、自己進化型のリレーショナルメモリと学習可能なリトリーバル・コパイロットを備えた、モデルに依存しない経験学習フレームワークであるExpGraphを提案する。このフレームワークは、実行と経験学習を分離しており、同じ外部システムを用いて、パラメータを変更することなく異なる凍結実行器を向上させることを可能にする。

コアコンポーネント

1. 経験グラフの構築:

   • 履歴の軌跡（$\tau = (x, \xi, y, s)$）は、コンパクトな自然言語による経験ユニット（$e$）へと要約される。
   • 高スコアの軌跡は「スキル」（成功パターン、ヒューリスティック）へと蒸留され、低スコアの軌跡は「教訓」（失敗モード、制約）へと蒸留される。
   • これらのユニットは、疎な無向グラフのノードを形成する。エッジは、コサイン類似度の閾値に基づいて意味的または戦略的に関連する経験同士を接続し、単なるフラットなリストを超えた構造を作り出す。

2. ユーティリティ誘導型グラフ・リトリーバル:

   • リトリーバル・コパイロット（Retrieval Copilot）: 軽量で学習可能なポリシー（$\pi_{ret}$）が、各タスクに対して2つの適応的な制御変数となる値を予測する：
     • $R$（拡散深度/Diffusion Depth）：グラフ探索の広がりを制御する。
     • $W$（ユーティリティ・ユーティリティ・トレードオフ/Utility-Utility Trade-off）：意味的類似性と履歴上の有用性のバランスを制御する。
   • セマンティック・シーディング（Semantic Seeding）: システムはまず、タスクの埋め込みに対するコサイン類似度を通じて、上位$M$個のシードノードを特定する。
   • グラフ拡散（Graph Diffusion）: パーソナライズド・ページランク（Personalized PageRank）を用い、シードセットからグラフ全体へと拡散する。再起動確率は$R$によって制御され、リトリーバルがローカルに留まるか、あるいはさらに伝播して構造的に関連する経験を見つけ出すかを制御する。
   • ユーティリティ認識型ランキング: 候補は、意味的関連性と推定ユーティリティ・スコア（$u_v$）を組み合わせた上限信頼限界（UCB）スコアを用いて再ランキングされる。これにより、高価値な経験の活用（exploitation）と、テストされていないノードの探索（exploration）の両方を促進する。

3. ユーティリティ・フィードバックからの学習:

   • システムは、**ユーティリティに基づいた報酬（utility-grounded reward）**メカニメントを採用する。各タスクについて、凍結された実行器は、リトリーバルされた経験がある場合（$s_{with}$）とない場合（$s_{without}$）の2回評価される。
   • 報酬は $r = (s_{with} - s_{without}) + \eta s_{with}$ として計算され、絶対的なタスク品質を確保しつつ、リトリーバルの限界的な利得を測定する。
   • コパイロットの最適化: リトリーバル・コパイロットは、この報酬を最大化するように近接方策最適化（PPO）を用いて最適化される。これにより、単に意味を一致させるだけでなく、実行を真に改善する経験をリトリーブすることを学習する。
   • オンライン・グラフ進化: リトリーバルされたノードは、報酬に基づいた新しいユーティリティ統計量を用いて更新される。新しい軌跡は要約されてグラフに挿入される一方、低ユーティリティのノードは削除（プルーニング）され、メモリが自己進化することを可能にする。

主な貢献

• モデルに依存しない設計: ExpGraphは、経験のグラフ構造、グラフ拡散、ユーティリティ認識型ランキング、および適応型リトリーバルを、凍結された実行器に対して共同でサポートする初のフレームワークである。これは、基礎となるLLMの再学習を必要としない。
• リレーショナル・メモリ: フラットなメモリシステムとは異なり、ExpGraphは経験をグラフとして構成することで、即時的な意味的隣接関係にはない、転移可能な戦略や失敗パターンの発見を可能にする。
• 適応型リトリーバル・ポリシー: 拡散深度と関連性・ユーティリティのトレードオフを動的に制御するリトリーバル・コパイロットの導入により、システムはタスクの複雑さと実行器の能力の両方に適応できる。
• ユーティリティに基づいた学習: 単なる類似性ではなく、実際のダウンストリームのパフォーマンス向上に基づいてリトリーバルを最適化することで、システムは単に「関連しているもの」と「真に有用なもの」を区別することを学習する。

実験結果

著者らは、単一ターンの静的タスク（質問回答、数学的推論、コード生成）および多段階のエージェント環境（ALFWorld、AppWorld）をカバーするExpSuiteを用いてExpGraphを評価した。

• 性能向上:
  • 静的タスク: ExpGraphは、より小さな実行器（Llama-3.2-3B）において最強のベースラインに対して平均スコアを**12.2%向上させ、より大きな実行器（Llama-3.1-8B）において4.7%**向上させた。
  • エージェント環境: 向上はより顕著であり、最強のベースラインに対して、重み付き平均スコアを（小さな実行器で）21.4%、（大きな実行器で）**12.7%**向上させた。
  • 効率性: エージェント環境において、ExpGraphは最も効率的な競合ベースラインと比較して、平均インタラクション・ステップ数を**12.7%および21.6%**削減した。
• 汎化性能: フレームワークは強力なゼロショット転移能力を示した。小さな実行器から学習された経験コンポーネントは、大きな実行器へ効果的に転移し、非推論型の実行器から得られたコンポーネントは、推論能力を持つモデルにも良好に汎化した。
• アブレーション研究: 主要なコンポーネント（グラフ構造、拡散、ユーティリティ・ランキング、または類似性フィルタリング）のいずれかを取り除くと、一貫して性能が低下した。これは、共同設計が効果的な経験再利用に不可ントであることを裏付けている。

意義と主張

本論文は、ExpGraphが、基礎となる実行器を再学習することなく、LLMエージェントが経験から学習するための実用的かつ実行器に依存しない経路を提供すると主張している。著者らは以下の点を強調している：

1. 弱い実行器にとって経験の再利用は不可欠である: 相対的な利得は、より小さく能力の低いモデルにおいて著しく高く、外部の経験が、組み込まれた推論能力やプランニング能力の弱さを補完できることを示唆している。
2. 長期的なタスクにおける価値: 経験の恩恵は、長期的な意思決定を必要とするエージェント環境において最も顕著であり、そこでは事前の軌跡が行動を直接導き、不要な探索を減らすことができる。
3. 学習と実行の分離: 実行器を交換可能なタスクソルバーとして扱い、外部システムを介して「どのようにコンテキストを提供するか」を学習することで、ExpGraphは、急速に進化するLLMの展望におけるファインチューニング手法の非柔軟性という問題に対処している。

著者らは、経験間の関係をモデリングし、ユーティリティ認識型の適応的リトリーバルを学習することが、特に実行器を更新できない設定において、LLMエージェントがタスク知識を効果的に蓄積し、転移させるために不可欠であると結論付けている。