技術要約: ERSkill - スキル誘導型適応的メモリ検索のための進化

問題提起

大規模言語モデル（LLM）エージェントが持続的なインタラクションのために長期メモリに依存する場面が増える一方で、そのメモリを制御する検索メカニズムは、通常、静的なままです。既存の自己進化手法は、メモリ内容の洗練（例：推論トレースの蒸留やメモリ項目の更新）に焦点を当てていますが、クエリ実行時には既定の固定された検索戦略（高密度検索やBM25など）に依存することがよくあります。この静的なアプローチは、多様な証拠構築戦略を必要とするヘテロジニアス（異種混合）なメモリクエリに対して、性能を制限します。例えば、特定のイベントの検索を必要とするクエリは、複数のイベントにわたる因果関係の推論を必要とするものとは根本的に異なります。ここで対処される中心的な問題は、LLMエージェントがいかにして複雑な検索アクションを構成するように進化・学習し、異なるクエリの多様な情報要求に適応した検索行動を実現できるかという点です。

手法: ERSkill フレームワーク

著者らは、メモリへのアクセスをスキル誘導型の証拠構築としてモデル化する、検索中心のフレームワークである ERSkill (Evolving Retrieval Skill) を提案しています。このシステムは、以下の3つのコアコンポーネントで構成されています。

1. 構造化メモリとプリミティブ・ライブラリ

ERSkillは、インタラクション履歴を、原子レベルの記録 ($A$)、インデックス ($I$)、およびグラフ ($G$) からなる構造化メモリ格納庫 $M(D) = (A, I, G)$ へとコンパイルします。メモリを受動的な格納庫として扱うのではなく、ERSkillはこれを固定された検索プリミティブ ($P$) のライブラリを通じて公開します。これらのプリミティブは状態遷移 ($p: (q, s, M(D)) \to s'$) として機能し、以下を含みます。

• 探索プリミティブ: entity_search（エンティティベース）、lexical_search（BM25）、および dense_search（意味的類似性）。
• 拡張プリミティブ: グラフのエッジを通じて証拠を成長させるための temporal_focus_expand、similarity_expand、および relation_expand。
• プロセス・プリミティブ: クエリの書き換え、フィルタリング、および動的制御のための llm_process。

2. 検索スキルとルーター

検索スキル ($\kappa$) は、一連のプリミティブからなる実行可能なプログラムとして定義されます。この抽象化により、検索行動の再利用、解釈可能性、および洗練が可能になります。

• スキルルーター: 学習済みモデル $R_\theta$ が、クエリ $q$ に対して現在のセット $K$ から最適なスキル $\kappa$ を動的にマッチングさせます。ルーターは、クエリとスキルの記述の両方をベクトル表現にエンコードし、適合度スコアを計算することで、回答生成に最適な証拠ビューを構築できるスキルを選択します。

3. スキルとルーターの共進化

静的なスキルセットの限界を克服するため、ERSkillはスキルセットとルーターを共同で更新する共進化プロセスを採用しています。このプロセスは、2つの主要なメカニズムによって導かれます。

• 経験トリー (Experience Trie): 探索されたプリミティブのパスを記録する効率的なデータ構造です。これにより、スキル生成器は過去のロールアウト経験を再利用し、重複する候補を検出し、冗長な探索を回避できます。
• ダブル・フロンティア・メカニズム: これは、能力の拡張とデプロイの安定性を切り離します。
  • 能力フロンティア ($C_t$): 「オラクル側」の価値（すなわち、常に最適なスキルが選択された場合の最高性能）が最も高い、コンパクトなスキルのセットを維持します。これは、発見された最大級の検索能力を追跡します。
  • デプロイ・フロンティア ($B_t$): 推論時に実際に使用されるスキルセットを維持します。これには、ルーターが確実に選択できるスキルのみが含まれます。
  • 進化プロセス: 新しいスキルの候補は、能力フロンティアのパスを編集することによって生成されます。候補は、トレーニングおよび検証バッチ上で評価されます。能力フロンティアはオラクルの性能を保持するように更新され、デプロイ・フロンティアは、新しいセットがルーティングされた性能を向上させるか、あるいは許容範囲内でコンパクトさを維持する場合にのみ更新されます。これにより、システムは新しい能力を探索しながら、デプロイされたエージェントを不安定化させることなく進化できます。

主な貢献

1. 検索中心のフレームワーク: 本論文は、メモリへのアクセスを固定された検索戦略ではなく、クエリ適応型の証拠構築として扱うパラダイムシフトを導入しています。
2. ERSkill アーキテクチャ: 経験トリーとダブル・フロンティア・デザインを用いて、検索スキルとルーターを共進化させる、スキル誘導型のフレームワークを提供します。
3. 実証的性能: 広範な実験により、ERSkillが強力な非進化型および自己進化型のベースラインを大幅に上回ることが示されました。

実験結果

著者らは、2つのバックボーンLLM（Qwen3-Next-80B-A3B-Instruct および GPT-5.4-nano）を用い、3つのエージェントメモリベンチマーク（LoCoMo、LongMemEval、PerLTQA）においてERS킵を評価しました。

• 性能向上: ERSkillは、F1、BLEU-1、およびLLM-as-a-Judgeスコアの全体平均において最高の成績を収めました。
  • Qwen3-Next-80B-A3B-Instructを使用した場合、最強のベースラインに対して全体平均を 31.3% 向上させました。
  • GPT-5.4-nanoを使用した場合、全体平均を 28.1% 向上させました。
• 転移性: LoCoMoで訓練されたスキルは、追加の訓練なしにLongMemEvalへ効果的に転移し、優れた性能を維持しました。
• コスト・パフォーマンスのトレードオフ: ERSkillは良好なトレードオフを示しました。他のLLMベースのメモリ構築手法と比較して、メモリ構築トークンおよび推論トークンの両方において軽量でありながら、最高のL-Jスコアを達成しました。
• アブレーション研究: キーとなるコンポーネント（スキルの進化、ルーター、ダブル・フロンティア、または経験トリー）を除去すると、大幅な性能低下を招きました。これは、各設計要素の必要性を裏付けています。

意義と主張

本論文は、検索側の進化が、長期LLMエージェントにとって有望な方向性であることを強調しています。著者らは、メモリの内容や推論のガイダンスはますます適応的になっている一方で、検索行動自体は依然として大部分が既定のままであることを指摘しています。検索をスキル誘導型かつ進化可能なプロセスとしてモデル化することで、ERSkillはエージェントがヘテロジニアスなクエリに対してカスタマイズされた証拠を構築することを可能にします。

その意義は、以下の点にあります：

1. 適応的検索の重要性: 検索メカニズムが固定されたままであれば、メモリの要約や推論トレースを更新するだけでは不十分であること。
2. 安定した進化の可能性: ダブル・フロンティア・メカニズムにより、デプロイされたエージェントの信頼性と安定性を確保しながら、検索能力を拡張できること。
3. 効率性: 単に多くのコンテンツを検索するよりも、ターゲットを絞った証拠構築の方が効果的であることを示唆しており、高い性能を達成しながらも、過度な推論コストを発生させていないこと。

著者らは、現在のシステムが固定されたプリミティブ・ライブラリとロールアウトベースの評価に依存しており、訓練コストが発生することを認めつつ、控えめな姿勢を保っています。彼らは、より安価な評価器による効率性の向上、プリミティブの発見のサポート、および計画やツール使用への適応的検索の拡張といった、将来の研究方向を特定しています。