ExpWeaver: LLM Agents Learn from Experience via Latent RAG

技術要約: ExpWeaver: Latent RAGを通じて経験から学習するLLMエージェント

問題提起
過去のインタラクションを再利用可能な経験として統合することは、大規模言語モデル（LLM）エージェントのプランニングと推論を強化するための極めて重要なアプローチである。しかし、既存の手法は主に明示的なテキスト空間に限定されている。現在の手法は通常、経験をテキストの要約として保存し、意味的類似性に基づいて検索して、モデルのコンテキストウィンドウに結合する。このパラダイムは、以下のような重大な非効率性を導入する：

1. トークンオーバーヘッド: 明示的な結合は膨大なコンテキストウィンドウのスペースを消費し、検索可能な経験の数を制限し、推論コストを増大させる。
2. アーキテクチャのデカップリング（分離）: ほとんどの手法は、LLMの内部表現とは独立して動作する個別の検索拡張生成（RAG）モジュール（例：埋め込みベースのリトリーバーや検索エンジン）を採用している。この分離により、ダウンストリームのタスク目標に向けて検索と生成を共同で最適化することが妨げられる。
3. 表現のボトルネック: テキストレベルの検索は表面的な意味的類似性に依存しており、複雑な推論やコーディングのタスクに求められる、問題解決戦略におけるより深い構造的な対応関係を捉えられない可能性がある。

手法: ExpWeaver
これらの制限に対処するため、著者らは潜在的な検索拡張生成（latent retrieval-augmented generation）を介してLLMエージェントが経験から学習することを可能にするフレームワークであるExpWeaverを提案する。先行研究とは異なり、ExpWeaverは個別のRAGモジュールを必要とせず、LLMの潜在空間内で直接検索を行う。このフレームワークは、以下の3つのコアコンポーネントで構成される：

1. オンポリシー・アライメントを備えた経験バンク（Experience Bank）:

   • 過去の軌跡（クエリ、推論トレース、出力、報酬）は、テキスト要約へと圧縮され、生成に使用される同一のLLM（$p_\theta$）を用いて、高密度な潜在埋め込み（$z$）へとエンコードされる。
   • 具体的には、埋め込みは最終的なTransformerレイヤーにおける最後のトークンの隠れ状態から派生する（$z = h_\theta(s)$）。
   • この設計はオンポリシー・アライメントを保証する。つまり、トレーニング中にポリシーが進化するにつれて、最近の経験は自然に互換性のある埋め込み領域に位置することになり、オンポリシーの強化学習に類似した暗黙的な最新性バイアスを生み出す。

2. 潜在的検索拡張生成（Latent Retrieval-Augmented Generation）:

   • 潜在的検索: 各デコーディングステップ $t$ において、現在の隠れ状態 $h_t$ がクエリとして機能し、コサイン類似度を用いて経験バンクからトップ-$K$ 個の経験埋め込み（$Z_t$）を検索する。外部のリトリーバーは不要である。
   • クロスアテンションによる集約: 検索された埋め込みは、学習可能なクエリ・トークン（$u$）を用いたクロスアテンション・メカニズムを介して集約される。これにより、モデルは現在の生成状態に対する関連性に基づいて経験を動的に重み付けすることができる。
   • ゲート付き統合: 集約された経験信号は、ゲート付き残差メカニックを通じて隠れ状態に統合される。学習可能な保持ゲート（$r_t$）と入力ゲート（$i_t$）、および混合係数（$a_t$）が、元の隠れ状態の保持と外部知識の取り込みのバランスを制御する。これにより、過剰な経験の影響がモデルの推論フローを乱すことを防ぐ。

3. 強化学習によるエンドツーエンドの学習:

   • 全体のパイプライン（ポリシー $\theta$ および経験パラメータ $\psi_{exp}$）は、Group Relative Policy Optimization (GRPO) を用いて共同で最適化される。
   • 本フレームワークは、経験強化されたデコーディングを介してテキスト出力を生成する生成タスク（例：QA、コーディング）と、最終的な隠れ状態と候補埋め込みとの間の関連性スコアを計算するランキングタスク（例：レコメンデーション）の両方をサポートする。

主な貢献

• 統一された潜在空間フレームワーク: ExpWeaverは、検索と生成を共有された表現空間内に統合し、個別のリトリーバーの必要性を排除し、テキスト結合によるトークンオーバーヘッドを回避する。
• 適応的検索: 現在の隠れ状態に基づいて毎ステップ検索を行うことで、システムは表面的なテキストの重複ではなく、より深い構造的パターンを捉える、クエリ依存の経験活用を学習する。
• タスク非依存性: このアーキテクチャは、質問応答、数学的推論、コード生成、科学的予測、逐次的なレコメンデーションを含む、多様なタスクタイプに自然に拡張できる。

実験結果
著者らは、3つのシナリオ（汎用的：QA、推論、コーディング、科学的：医薬品化学、レコメンデーション）にわたる13の多様なタスクを含むベンチマーク ExpBench でExpWeaverを評価した。

• パフォーマンス: ExpWeaverは13タスク中12のタスクで最先端の結果（SOTA）を達成し、最強のベースラインであるSearch-R1を平均で6.8%上回った。
• トークン効率: Search-R1のようなテキストベースの検索手法は、明示的な結合により1.5〜2倍のトークンを必要としたが、ExpWeaverは非検索ベースのベースライン（例：HRPO）と同等のトークン効率を維持し、精度を大幅に向上させつつ、消費トークンをわずか約10%増に抑えた。
• 汎化性能: ExpWeaverは優れたクロスドメイン汎化能力を示した。ゼロショット転移設定において、最強のベースラインを16.32%、フューショット転移において**15.21%**上回っており、これは潜在的な経験表現がより転移性の高い問題解決パターンを捉えていることを示している。
• アブレーション研究: 実験により、単純なプーリングに対するクロスアテンション集約の必要性が確認され、経験の統合と隠れ状態の保持のバランスを取るための混合係数の最適な初期化範囲が特定された。

意義と主張
本論文は、ExpWeaverがLLMエージェントにおける経験学習の重要な転換を象徴していると主張している。明示的なテキストレベルの操作から潜在空間への統合へと移行することで、本フレームワークは従来の手法のスケーラビリティと適応性のボトルネックを克服する。著者らは、このアプローチによってエージェントが過去のインタラクションからより効率的に学習でき、より低い計算コストで優れたパフォーマンスを実現できると断言している。さらに、実証されたクロスドメインの汎化性能は、潜在的な経験表現が未知のドメインへ学習されたパターンを転移させるのに十分な堅牢性を備えていることを示唆しており、ラベル付きデータが乏しい科学研究のような専門分野の開発を加速させる可能性がある。本研究は、ExpWeaverを、大規模言語モデルにおけるより効率的で統一された、効果的な知識利用への一歩として位置づけている。