MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

MEMAUDIT の技術的サマリー

問題定義
長期 LLM エージェントは、将来のクエリが知られる前に、過去の相互作用のストリームを永続的なメモリに圧縮するという課題に直面しています。既存の評価プロトコルは、通常、最終的な質問応答（QA）の精度を測定します。著者らは、このアプローチは欠陥があると主張しています。なぜなら、それはメモリ書き込み（選択と表現）、検索、および読者推論という 3 つの異なる失敗モードを混同してしまうからです。システムが失敗する原因は、間違ったメモリを保存したためか、検索器が優れたメモリを見逃したためか、あるいは読者が証拠を無視したためかによって異なりますが、最終的な QA 精度だけでは、どの層が失敗したかを特定できません。さらに、展開されたシステムは、ターゲットの予算に対して高すぎる形式でアイテムを保存したり、候補セットから最適な表現（例：生スパン対抽出事実対トムストーン）を選択できなかったりすることがよくあります。

手法：MEMAUDIT プロトコル
本論文は、メモリ書き込み層を単独で評価するために設計された正確なパッケージ・オラクル評価プロトコルであるMEMAUDITを導入します。評価の核心単位はMEMAUDIT パッケージであり、これはメモリ選択問題を、保証された分母を持つ有限で監査可能な最適化問題へと変換します。

• パッケージの定義: パッケージ $P$ は、固定された経験ストリーム、候補メモリ表現のセット（例：生テキスト、事実、要約、トムストーン）、保存コスト、意味的証拠単位、将来のクエリ要件、および保存予算 $B$ によって定義されます。
• 実行可能性制約: 実行可能なメモリストア $X$ は、2 つの制約を満たさなければなりません。
  1. ナップサック制約: 総コスト $\sum c_u \le B$。
  2. 分割マトロイド制約: 経験ごとに高々 1 つの表現のみが選択される（$|X \cap G_i| \le 1$）。これにより、すべてのバリエーションを保持するのではなく、表現の選択が強制されます。
• 目的関数: ストアの効用は、凹関数・モジュラーな意味的カバレッジ目的関数によって定義されます。
  $$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$$
  ここで、$R$ は証拠単位、$w_r$ は重要度重み、$a_{ur}$ はメモリ $u$ による単位 $r$ のカバレッジ、$h_r$ は凹関数かつ非減少関数（デフォルトでは $\min(1, z)$）です。この構造により、同じ証拠単位の重複カバレッジに対しては逓減するリターンが保証されます。
• 正確な最適化: プロトコルは、ブランチ・アンド・バウンドソルバーを使用して正確なパッケージ最適解（$OPT_P(B)$）を計算し、混合整数線形計画法（MILP）で結果を検証します。これにより、任意の書き込み器をスコアリングするための真の基準となる分母が提供されます。
• 外部システムのための結合分母: 定義済みの候補セット外でメモリを生成する可能性のある実世界のシステム（Mem0、Letta、A-Mem など）を評価するために、プロトコルは結合パッケージを使用します。エクスポートされたメモリは、裁定されたカバレッジ行を伴うファーストクラス候補として追加されます。スコアは、システムが達成した効用と、結合（元の候補＋システムのエクスポート）の任意の部分集合によって達成可能な最適効用との比率です。これにより、抽出の質（どの程度の有用な内容が見つかったか）と選択の質（予算下でどの程度適切に選択されたか）を区別します。

主な貢献

1. 有限パッケージ・オラクルの定義: 本論文は、再現可能で検証済みの分母を持つ予算付きメモリ書き込みのための厳密なフレームワークを定義し、書き込み時の質をダウンストリームの検索や推論から分離します。
2. 意味的カバレッジ構造: 意味的メモリ保存をモデル化するために、既知の凹関数・モジュラー部分モジュラーカバレッジ構造を実装し、無効状態（例：古い事実を無効化するためのトムストーン）を否定的なペナルティではなく、肯定的な証拠単位として明示的に扱います。
3. 正確なソルバーとベースライン: 著者は、ブランチ・アンド・バウンドと MILP 検証を通じて正確なパッケージ最適解を提供します。また、正確な限界値を使用してシステムを較正する**グループ値閾値（GVT）**参照ベースラインを導入し、密度のみのヒューリスティックが任意に悪い結果をもたらす可能性があることを実証します。
4. MEMAUDIT スイート: データセットとツールのリリース。
   • 制御された正確なパッケージ: 表現の選択をテストするための隠しイベントグラフを備えた合成環境（MEMAUDIT-Small）。
   • 無効性重視のストレステスト: 現在の真実と陳腐化した事実の保存（例：更新チェーン、時間間隔）を特にテストするように設計されたシナリオ。
   • 自然およびエクスポートされたパッケージ: 現実的な会話のスライスから導出された人間による監査済みの「Natural-87」部分集合、および同じプロトコル下で評価された Mem0、A-Mem、Letta からのエクスポートされたメモリストア。

結果

• 層の分離: 制御された実験において、MEMAUDIT は表現の質を成功裏に分離しました。例えば、「密度のみ」のヒューリスティック（コストあたりの価値が最も高いアイテムを選択する）は、無効状態単位（トムストーン）を体系的に保存できず、厳しい予算条件下では正確な OPT の 26〜36% しか達成できませんでしたが、GVT ベースラインは最適に近い状態を維持しました。
• 無効性候補の重要性: トムストーン/複合更新候補を候補セットから削除すると、達成可能な最大効用（OPT）が大幅に減少します（予算に応じて完全な OPT の約 52〜81% まで低下）。これは、候補生成のボトルネックと選択のボトルネックが明確に異なることを証明しています。
• 外部システムの診断: エクスポートされたストアに適用した場合：
  • Mem0: 高い「上限剪定」境界（有用な証拠の優れた抽出を示す）を示しますが、選択されたストアの比率は低く、予算を考慮した選択が主要なボトルネックであることを特定しました。
  • Letta: 強力な注目度剪定結合比率を達成し、関連する内容の効果的な選択を示しています。
  • A-Mem: 豊富なノートに証拠を保存しますが、シリアライズされたサイズが厳格な予算を超えることが多く、圧縮されない限り完全ストアビューではゼロスコアとなります。
• 安定性: プロトコルは、コストモデルの変動（例：単語数対バイトオーバーヘッド）や注釈ノイズに対して堅牢であり、モデル裁定ラベルと比較して人間が検証したラベルがランキングを維持しています。

意義と主張
本論文は、MEMAUDIT がエンドツーエンドの QA が提供できない、メモリ書き込み層に不可欠な診断ツールを提供すると主張しています。候補セット、コスト、証拠単位を固定することで、以下の特定の問いに答えます。「このパッケージが与えられた場合、書き込み器はパッケージ実行可能な意味的価値のどの程度を保存したか？」

著者らは、これは書き込み時の診断であり、エンドツーエンドのアシスタント評価の代替ではないと強調しています。その意義は以下の点にあります。

1. 局所化: 検索や読者のエラーと混同することなく、失敗が候補生成、表現の選択、または予算を考慮した選択のいずれに起因するかを特定します。
2. 再現性: 確率的なダウンストリーム QA に依存するのではなく、決定論的で監査可能な分母（正確な OPT）を提供します。
3. 比較可能性: 結合分母を通じて、異なる内部表現を持つ異種システムを共有する意味的真実に基づいてスコアリングすることを可能にします。

本論文は控えめであり、Natural-87 は「最初の監査済みの自然パッケージ」であり、サポートスライスされたもので、最終的なフル・ヘイスティックベンチマークというよりは診断用を意図していると述べています。これは長期メモリ問題全体を解決するものではなく、圧縮と選択コンポーネントを厳密に評価するために必要な「正確なパッケージ・オラクル」を提供するに留まります。