技術要約：AdMem – タスク解決エージェントのための高度なメモリ

問題提起

大規模言語モデル（LLM）は、推論やツールの使用において著しい進歩を遂げているが、記憶、整理、およびセッションを越えた知識の再利用を必要とする**長期的なタスク（long-horizon tasks）**においては依然として限界がある。先行研究では、アーキテクチャの変更（例：微分可能なアテンション）や記号的・テキスト的な格納庫（例：検索拡張生成、コンテキスト・ページング）を通じてメモリの課題に対処してきたが、既存のアプローチには以下のような特有の限界が存在する：

1. 事実的／エピソード的データへの偏重： 多くのシステムは事実情報の保存や履歴の圧縮を優先しており、手続き的メモリ（procedural memory）（意思決定のガイダンス）を軽視している。
2. 不十分な手続き的メモリ： 近年の手続き的メモリに関する研究の多くは、成功した軌跡を再生することに終始しており、失敗事例への対処や、モデルが通常失敗するクリティカルなステップに対する粒度の高いフィードバックを提供できていない。
3. オンラインにおけるスケーラビリティの欠如： ほとんどの手続き的メモリシステムは、オフラインの学習・推論設定で動作し、疎でバイナリなタスクレベルのフィードバックに依存している。これらは、オンラインかつ生涯にわたる環境における、自動的なメモリ評価、能動的な消去、リランキング、および適応的な想起のためのメカニズムを欠いている。
4. 理論と実践の乖離： 理論的なフレームワークは、短期／長期、意味的／エピソード的／手続き的メモリ、およびフィードバックループを備えた理想的なエージェントを提唱しているが、実用的な実装では、報酬駆動型の更新、信念モデリング、およびクレジット割り当てといった重要なコンポーネントが省略されることが多い。

メソドロジー：AdMem フレームワーク

著者らは、生涯にわたるタスク解決エージェントのために設計された、統一された自動メモリフレームワークである AdMem を導入する。これは、二層構造（短期および長期）内で意味的、エピソード的、および手続き的メモリを統合し、アクター（Actor）、クリティック（Critic）、およびメモリ・エージェント（Memory Agent）からなるマルチエージェント・アーキテクチャを利用する。

1. マルチエージェント・アーキテクチャ

• アクター・エージェント（Actor Agent）： 環境と相互作用するLLMベースのエージェント。ターンごとに更新され、タスク終了時にクリアされる**短期メモリ（STM）**状態を保持する。STMは長期メモリへとエンコードされる。アクターはメモリツールを使用して、計画、思考、およびサブゴールを生成する。
• クリティック・エージェント（Critic Agent）： 手続き的メモリの生成を担当するLLMベースのエージェント。アクターからの「未完成の（half-baked）」メモリ・エントリ（コンテキスト、アクション、期待される結果）と実際の観測結果を受け取る。期待される結果と実際の結果を比較し、以下の処理を行う：
  • コンテキストとアクションの要約。
  • より良い代替案の提案。
  • 報酬信号（$r_t \in \{0, 1\}$）の割り当てとリフレクション（内省）。
  • 将来の意思決定を導くための手続き的メモリ・エントリの生成。
• 長期メモリ（LTM）エージェント： 永続的なストア $M$ を管理する検索ベースのエージェント。以下の3種類のメモリを格納する：
  • 意味的メモリ ($M_S$)： 環境やタスクに関する事実および一般的知識。
  • エピソード的メモリ ($M_E$)： 過去の相互作用イベントの要約。
  • 手続き的メモリ ($M_P$)： 過去のアクションから抽出された、期待される結果や報酬の注釈を含む意思決定ガイダンス。

2. メモリ管理と検索

• 二層アーキテクチャ：
  • 短期メモリ (STM)： コンピュータプログラムの実行に触発されたスタックベースの構造を使用する。現在のサブゴールと計画を維持し、コンテキスト長を効率的に管理するために、現在のサブゴールの範囲外にあるターンを圧縮する。
  • 長期メモリ (LTM)： **報酬ベースの評価、結合、およびプルーニング（枝刈り）**によって管理される。
• 手続き的メモリの検索と評価：
  • システムは、適応パラメータ $v_m \in [0, 1]$ を用いて、手続き的メモリ・エントリ $m$ の有効性をモデル化する。
  • タスクの成功は、検索されたメモリが役立つかどうかに影響されるバイナリの確率過程であると仮定する。
  • **期待最大化（EM）**アルゴリズムに基づき、観測された報酬に基づいて $v_m$ を更新する。
  • 検索スコアは、コンテキストの類似性（高密度埋め込み）と推定される有効性（$v_m$）を組み合わせる。
• プルーニングと結合：
  • 頻度の閾値 $\epsilon$ を下回る頻度で検索されるメモリは削除される。
  • 常に一緒に検索されるメモリ（頻度 $> 1-\epsilon$）は、検索効率を向上させるために結合される。

3. 実行パイプライン

アクターはアクションと、結果に対する明示的な**期待（expectations）**を生成する。クリティックはこれらのシナリオをキャッシュする。アクターが実際の観測結果を受け取ると、クリティックは期待と照らし合わせて結果を評価し、報酬を生成してメモリ・ストアを更新する。これにより、システムは成功と失敗の両方から学習することができ、多段階タスクにおけるクレジット割り当ての問題に対処できる。

主な貢献

1. 統一されたメモリフレームワーク： AdMemは、二層（短期／長期）設計を持つ、統一された自動システムの中で、意味的、エピソード的、および手続き的メモリを統合した初のフレームワークである。
2. フィードバックを伴う手続き的メモリ： 単に成功したワークフローを保存するだけの先行研究とは異なり、AdMemはクリティック・エージェントを使用して、手続き的メモリに報酬信号とリフレクションを付与し、エージェントが失敗事例やクリティカルなステップから学習することを可能にする。
3. 適応的なメモリ管理： 本フレームワークは、手続き的メモリを評価、結合、およびプルーニングするための報酬駆動型メカニズムを導入しており、オンライン設定におけるスケーラビリティと継続的な改善を保証する。
4. マルチエージェントの協調： 役割の分離（実行のためのアクター、評価のためのクリティック、格納・検索のためのメモリ・エージェント）により、手動のポリシー設計なしに、自動的なメモリ生成と適応的な検索が可能になる。

実験結果

著者らは、Embodied AI、テキストゲーム、Webリサーチ、ツール呼び出しなどの多様なドメインにわたる、生涯にわたるストリーミング・マルチタスク設定をシミュレートした AgentBoard 環境で AdMem を評価した。バックボーンとなるLLMは Claude Haiku 4.5 である。

• ベースライン： （クロスタスクメモリを持たない）ReAct および（手続き的メモリのベースラインである）AWM (Agent Workflow Memory) と比較した。
• パフォーマンス：
  • AdMemは、ほとんどのドメインにおいてベースラインを大幅に上回った。特に AlfWorld（AWMの47.0%に対し、AdMemは63.4%の完了率）および Tool-query（94.7% 対 55.0%）において顕著であった。
  • メモリ転送の恩恵が少ないドメインにおいても、AdMemはベースラインと同等か、あるいはわずかに優れたパフォーマンスを維持し、ナイーブなメモリ実装でよく見られる「混乱」を回避した。
• アブレーション研究：
  • **短期計画（Short-term planning）**単体では進捗は向上したが、ホライゾンの長さとともにスケールはしなかった。
  • **長期メモリ（Long-term memory）**単体では、短期計画ツールのサポートがない場合、初期の性能低下（「バーンイン」）を引き起こした。
  • 完全な AdMem が最良の結果を示し、エージェントがメモリを蓄積し洗練していくにつれて、複数のエポックにわたってパフォーマンスが向上した。
• 効率性： マルチエージェント・パイプラインにより追加のLLMコールが発生する（単純なタスクでは最大3倍）が、エージェントの並列実行によってレイテンシを最小限に抑えており、システムは最小限のステップあたりのコストよりも、堅牢性と学習能力を優先している。

重要性と主張

本論文は、AdMemが理論的な認知アーキテクチャと実用的なLLMエージェントの実装との間の溝を埋めるものであると主張している。適応的な手続き的学習を通じて、このフレームワークはエージェントが以下を行うことを可能にする：

• オンライン環境における経験を通じた自己進化。
• ユーザーおよびタスクの要件に基づいた挙動のカスタマイズ。
• 標準的なLLMがコンテキスト制限やクレジット割り当てに苦慮する、長期的なマルチターン・タスクにおける堅牢性の向上。

著者らは、包括的で適応的なメモリが、特に持続的な相互作用と反復的な改善を必要とするシナリオにおいて、LLMベースのエージェントを進化させるために極めて重要であることを強調している。成功したエージェント設計には、単に情報を保存するだけでなく、報酬信号に基づいて情報を能動的に評価、洗練、および検索することが必要である。