技術要約: ElasticMem

問題提起

長期的なメモリ（記憶）は、大規模言語モデル（LLM）エージェントが長期的なインタラクションを通じて一貫した推論を行い、回答をパーソナライズし、過去の経験を再利用するために極めて重要です。しかし、既存のメモリ拡張システムは、メモリを固定されたリソースとして扱っており、メモリのクエリ依存の有用性と、静的に割り当てられたメモリ容量との間にミスマッチを生じさせています。

現在の手法には大きく分けて2つのカテゴリーがありますが、どちらも重大な限界を抱えています：

1. テキスト空間手法（Text-Space Methods）: 自然言語のレコードを検索してコンテキストウィンドウに結合します。これらは解釈可能ですが、トークンオーバーヘッドが膨大になり、ノイズや冗長な証拠に対して脆弱です。なぜなら、無関係なメモリであっても、その有用性に関わらずコンテキストトークンを消費してしまうからです。
2. 潜在空間手法（Latent-Space Methods）: テキストコストを削減するために、メモリを連続的なベクトルやソフトトークンに圧縮します。しかし、これらは通常、硬直的な検索メカニメント（例：固定されたコサイン類似度）や、検索された各チャンクに対して一律の潜在予算を与える固定容量のインターフェースに依存しています。これは、重要な証拠を含むチャンクと、単に語彙的に類似しているだけで役に立たないチャンクを区別できていません。

核心となる課題は、メモリの有用性はクエリやタスクに強く依存するものであるにもかかわらず、検索と容量割り当てが、タスクの結果から学習されるのではなく、固定された設計上の選択によって決定されてしまうことです。

手法: ElasticMem

著者らは、メモリを学習可能な弾力的な潜在リソース（learnable, elastic latent resource）として扱うフレームワークであるElasticMemを提案します。固定された検索と一律の割り当てではなく、ElasticMemは、理由付けを行うモデル（reasoner）の内部状態に基づいてメモリを適応的に検索し、そのダウンストリームの有用性に基づいて各メモリに可変の潜在予算を割り当てることを学習します。

本フレームワークは、以下の4つの主要なステージで構成されます。

1. 潜在メモリバンクの構築 (Latent Memory Bank Construction)

オフラインの潜在メモリバンクを一度構築し、学習中も凍結した状態に保ちます。各メモリチャンク $m_i$ は、凍結されたベースLLMエンコーダによって以下のようにエンコードされます：

• 検索キー ($k_i$): チャンクの最終的な隠れ状態。
• コンテンツキャッシュ ($C_i$): チャンクの最後の $N_c$ 個の隠れ状態。
  これにより、推論時にコーパス全体を再エンコードすることなく、効率的な検索が可能になります。

2. クエリ条件付き検索 (Query-Conditioned Retrieval)

標準的なシステムが独立した固定の検索器を使用するのに対し、ElasticMemは理由付けモデル自身の隠れ状態から検索クエリを導出します。

• LoRAで適応された理由付けモデルは、クエリ $q$ が与えられたとき、検索制御トークン (retrieval-control token) $a$ をサンプリングします。
• 理由付けモデルは $(q, a)$ を処理し、クエリ状態 $h_q$ を生成します。
• メモリは、$h_q$ とキャッシュされた検索キー $k_i$ の間のコサイン類似度に基づいて検索されます。これにより、検索が表面的な意味一致だけでなく、クエリに対するモデルの内部的な解釈に適応できるようになります。

3. 弾力的な潜在予算の割り当て (Elastic Latent Budget Allocation)

上位 $Z$ 個の候補チャンクを検索した後、軽量なTransformer予算ポリシー ($\pi_\phi$) が、各チャンクに対して可変の潜在トークン数 ($b_j$) を割り当てます。

• 予算 $b_j$ は離散分布 $\{0, 1, \dots, B_{max}\}$ からサンプリングされます。
• 予算 $b_j=0$ は、類似しているものの役に立たない検索チャンクを抑制することを可能にします。
• このポリシーは、クエリ状態、メモリキー、検索スコア、および学習されたランク埋め込みを含む特徴量を取り込み、容量を割り当てる前に自己注意（self-attention）を用いてメモリ同士を比較します。
• 有用なチャンクには大きな予算が与えられ、冗長または誤解を招くチャンクは圧縮または抑制されます。

4. 潜在メモリの注入と最適化 (Latent Memory Injection and Optimization)

コンテンツキャッシュから選択された隠れ状態は、学習された潜在プロジェクター ($P_\psi$) を通じてソフトメモリトークンへと投影され、理由付けモデルの入力シーケンスに注入されます。

• 学習: 検索制御、予算割り当て、投影、および生成のプロセス全体が、Group-Relative Policy Optimization (GRPO) を用いて結合的に最適化されます。
• 報酬信号（例：精度、タスク成功率）は、最終的な回答だけでなく、検索の決定や予算の割り当ても監督します。これにより、モデルはどのメモリを検索すべきか、そして実際のタスク結果に基づいて各メモリにどれだけの表現容量を与えるべきかを学習できます。

主な貢献

1. 弾力的潜在メモリ (Elastic Latent Memory): メモリを固定されたテキストまたは潜在インターフェースから、有用性に基づいて容量を動的に割り当てる学習可能な弾力的リソースへと転換する、新しいパラダイム。
2. 理由付け状態適応型検索 (Reasoner-State Adaptive Retrieval): 制御トークンと理由付けモデルの内部状態に条件付けられた検索メカニズムにより、硬直的な意味一致を超えたものを提供。
3. 有用性認識型予算ポリシー (Utility-Aware Budget Policy): 検索されたチャンクに対して可変の潜在予算を割り当てる学習済みポリシーであり、モデルが有用な証拠を優先し、ノイズを抑制することを可能にする。
4. エンドツーエンドの最適化 (End-to-End Optimization): 検索、割り当て、および生成をダウンストリームのタスク報酬を介して結合的に最適化する学習フレームワークであり、メモリ管理をタスクの有用性に適合させる。

実験結果

ElasticMemは、Qwen2.5-3BおよびQwen2.5-7Bをバックボーンとして、メモリ集約的なQA（PersonaMem, LoCoMo, LongMemEval）と、身体性を持つエージェントの意思決定（ALFWorld）を含むMemorySuiteを用いて評価されました。

• 性能向上:
  • QAタスク: ElasticMemは、最強のベースラインと比較して、加重平均精度を26.2%（Qwen2.5-3B）および24.6%（Qwen2.5-7B）向上させました。
  • エージェントタスク (ALFWorld): ElasticMemは、加重平均成功率を66.3%（Qwen2.5-3B）および27.2%（Qwen2.5-7B）向上させました。
• 効率性: ElasticMemは、ALFWorldにおいて比較された全手法の中で最も低いトークンコストを達成しており、性能向上が長いインタラクション・トレジェクトリや過剰なメモリ使用によるものではないことを示しました。
• アブレーション研究:
  • 予算ポリシー: Transformerベースの予算ポリシーは、ランダム、一律、およびMLPベースの割り当て戦略を大幅に上回り、メモリ間の相互作用を学習することの価値を裏付けました。
  • 検索: 制御トークンを用いたクエリ状態による検索は、意味的および凍結状態による検索よりも優れた結果を示し、検索を理由付けモデルの内部状態に適応させる重要性を浮き彫りにしました。
  • 容量制限: 適度なチャンクあたりの予算制限（$B_{max}=20$）が最良の結果をもたらし、過大な予算を割り当てると、有用でないチャンクに容量を割いてしまうことで性能が低下することを示唆しました。

意義と主張

本論文は、ElasticMemが現行のメモリシステムにおける根本的なミスマッチ、すなわち「メモリ割り当ての静的な性質と、メモリ有用性の動的な性質との乖離」に対処すると主張しています。メモリを学習可能なリソースとして扱うことで、本フレームワークはエージェントに以下のことを可能にします：

• たとえクエリに対して最も語彙的に類似していなくても、有用な証拠や転移可能な計画を優先すること。
• コンテキストや潜在容量を消費してしまうノイズや冗長なメモリを抑制すること。
• 高いトークン効率を維持しながら、推論と意思決定の両方のタスクにおいて優れた性能を実現すること。

著者らは、弾力的潜在メモリ（elastic latent memory）が、固定コンテキストや硬直的な検索パラダイムの限界を超え、より効率的で適応的な、長期的なLLMエージェントを構築するための有望な方向性であると結論付けています。