技術概要：BudgetMem

問題定義

大規模言語モデル（LLM）エージェントは、長期的な相互作用や知識集約的な推論を行うために、単一のコンテキストウィンドウを超えて動作する際にメモリへの依存度を高めています。しかし、既存のシステムは主にオフラインかつクエリ非依存のメモリ構築を利用しています。これらのパラダイムでは、過去のコンテキストは、特定のダウンストリームクエリに条件付けられることなく、固定された方法で前処理、圧縮、またはインデックス付けされます。この「一度構築し、常に使用する」というアプローチは、クエリの具体的なニーズに関係なく計算リソースを消費し、特定のクエリに不可欠な情報を失うリスクがあるため、しばしば非効率的です。

一方、ランタイムメモリ利用（オンデマンド抽出）は柔軟な代替手段を提供しますが、大きなオーバーヘッドと遅延をもたらします。現在の産業用 LLM システムは、品質とコストのバランスを取るために、「思考」モードや推論レベルなどの明示的な階層型計算制御を提供する傾向が強まっていますが、エージェントメモリシステムには、ランタイム抽出中の明示的かつ制御可能な性能–コストのトレードオフのための体系的な枠組みが欠けています。核心的な課題は以下の通りです：

1. 予算配分：ランタイム設定における予算化の適切な単位を定義することです。メモリを固定計算を持つ単一のパイプラインとして扱うと、トレードオフが粗くなり、制御が困難になります。
2. 予算実現：予算制御を体系的に運用化する方法を決定することです。恣意的なコスト削減や単純な計算量の増大に依存するのではなく、これを確立する必要があります。

手法：BudgetMem

著者は、明示的かつクエリを認識した性能–コスト制御を可能にするランタイムエージェントメモリフレームワークであるBudgetMemを提案します。このフレームワークは、メモリ処理を多段階モジュール型パイプラインとして構造化し、モジュールレベルで計算を制御可能にします。

1. モジュール型パイプラインアーキテクチャ

BudgetMem は、メモリ抽出（$f_{mem}$）をモジュールのシーケンスとして実装します。対話中心の評価において、パイプラインは以下のようにfollowします：
$$M_{fil} \rightarrow \{M_{ent}, M_{tmp}, M_{top}\} \rightarrow M_{sum}$$

• フィルタモジュール（$M_{fil}$）：取得した生チャンクを洗練させます。
• 並列抽出モジュール：補完的なコンテキストを抽出します：
  • $M_{ent}$：エンティティ中心の事実。
  • $M_{tmp}$：時間的手がかり。
  • $M_{top}$：トピック要約。
• 要約モジュール（$M_{sum}$）：中間コンテキストを集約し、最終的な抽出メモリ（$m$）を生成します。

重要なのは、このフレームワークが特定のモジュールセットを前提とせず、各モジュールが共通の予算階層インターフェースを公開することを要求する点です。

2. 予算階層と実現戦略

各モジュールは、LOW、MID、HIGHの 3 つの予算階層を公開します。これらの階層は、増加する計算予算と、通常は向上する抽出品質に対応します。本論文では、これらの階層を実現するための 3 つの相補的戦略を検証します：

• 実装階層化：モジュールの実装を変化させます。
  • LOW：軽量ヒューリスティック（ルール、正規表現、spaCy）。
  • MID：コンパクトな学習モデル（例：BERT ベース）。
  • HIGH：LLM ベースの処理。
• 推論階層化：モデルのバックボーンを固定したまま、推論行動を変化させます。
  • LOW：直接生成。
  • MID：思考連鎖（CoT）スタイル。
  • HIGH：多段階または反射スタイルの推論。
• 容量階層化：モジュール内で使用するモデル容量（サイズ）を変化させます。
  • LOW：小規模モデル（例：30 億パラメータ）。
  • MID：中規模モデル（例：80 億～320 億パラメータ）。
  • HIGH：大規模モデル（例：700 億パラメータ以上）。

3. 強化学習によるクエリ認識ルーティング

これらの階層化された選択を動的にナビゲートするために、BudgetMem は強化学習（RL）で訓練された共有軽量ルーターを採用します。

• 方策（$\pi_\theta$）：各モジュール呼び出しステップ $k$ において、ルーターは状態 $s_k$（クエリ、現在のモジュール入力、モジュール記述子から構成）を観測し、アクション $a_k \in \{LOW, MID, HIGH\}$ を選択します。
• 目的：ルーターは、タスク性能とメモリ抽出コストのトレードオフを最適化するように設計されます。報酬関数は以下のように定義されます：
  $$r = r_{task} + \lambda \cdot \alpha \cdot r_{cost}$$
  ここで、$r_{task}$ はタスク性能報酬（F1 または LLM-Judge）、$r_{cost}$ は正規化されたコスト報酬、$\lambda$ はトレードオフの好みを制御し、$\alpha$ は訓練を安定化させる分散ベースの整合性因子です。
• 訓練：ルーターは Proximal Policy Optimization（PPO）を用いて訓練されます。コストはトークン使用量と API 価格に基づいてモデル化され、タスク報酬との比較可能性を確保するためにスライディングウィンドウを通じて正規化されます。

主要な貢献

1. フレームワークの導入：著者は、予算階層化モジュールを介したオンデマンドメモリ抽出のための明示的な性能–コスト制御を可能にする、モジュール型ランタイムエージェントメモリフレームワークである BudgetMem を導入します。
2. ルーティング機構：RL によって訓練された共有軽量ルーターが抽出中に予算階層を動的に選択する予算階層ルーティングを提案します。これは、統合されたフレームワーク内で 3 つの相補的戦略（実装、推論、容量）を用いて具体化されます。
3. 実証分析：LoCoMo、LongMemEval、HotpotQA における実験を通じて、BudgetMem が性能優先の設定で強力な性能を発揮し、より厳しい予算下で明確かつ制御可能な性能–コストのトレードオフ曲線を確立することを示しています。分析は、異なる階層化戦略の強みを解明し、さまざまな予算レジーム下でどのメカニズムが最高のリターンをもたらすかについての洞察を提供します。

実験結果

著者は、LLaMA-3.3-70B および Qwen3-Next-80B をバックボーンとして使用し、BudgetMem を強力なベースライン（例：ReadAgent、MemoryBank、LightMem）と比較評価しました。

• 性能優先（高予算）：性能を優先する設定（$\lambda=0$）において、BudgetMem のバリアントはベースラインを一貫して上回りました。例えば、LLaMA を用いた LongMemEval において、BudgetMem-CAP は60.50のジャッジスコアを達成し、最良のベースラインである LightMem（48.51）を大幅に凌駕しました。
• 性能–コストのトレードオフ：コスト重み $\lambda$ を変化させることで、BudgetMem はベースラインを包み込む滑らかなフロンティアをトレースします。
  • 実装および容量階層化：より広いコスト範囲をカバーします。実装階層化は中程度の予算下で急速な利益をもたらす一方、容量階層化は高予算レジームにおいてフロンティアを外部へ押し広げます。
  • 推論階層化：顕著なコスト集中を示します。これは限られたコスト帯域内で微細な品質ノブとして機能し、同様のコストで改善をもたらしますが、他の戦略と比較して極端な低/高予算の両端における柔軟性は低いです。
• コスト効率：性能優先レジームであっても、BudgetMem は必要な場合のみクエリに関連する生チャンクをオンデマンドで処理することで、履歴全体をオフライン処理するオーバーヘッドを回避し、コスト効率を維持します。

意義と主張

本論文は、BudgetMem が「ワンオフのヒューリスティック」や「計算集約的な増大」を超えて、性能–コスト制御の体系的な視点へと移行することで、エージェントメモリシステムの重要なギャップを埋めると主張しています。

• 制御性：これは、明示的かつ制御可能なトレードオフのための実用的なメカニズムを提供し、「思考」モードなどの階層型計算オプションという業界のトレンドと整合します。
• 統合比較：統合されたテストベッドを使用することで、どの階層化戦略（実装、推論、容量）が最も有利なトレードオフをもたらすかを明確にし、さまざまな予算制約下での展開に関するガイダンスを提供します。
• ランタイム焦点：過去の研究がオフライン構築に焦点を当てていたのに対し、BudgetMem はランタイム抽出に焦点を当てており、計算がクエリの要件に比例して必要な場合のみ行われることを保証します。

著者は、BudgetMem が現実世界の予算制約下でのエージェントメモリの有用性と制御性を向上させ、長期的推論の品質を犠牲にすることなくメモリ計算を明示的に管理可能にすると結論付けています。