🤖 AI

MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

本文介绍了 MEMAUDIT，这是一种精确的包级预言机评估协议，通过将记忆选择转化为一个可由精确求解器处理的有限且可审计的优化问题，从而在存储预算约束下隔离并认证大语言模型长期记忆写入的质量，进而将表征质量与下游检索及推理效果解耦。

原作者： Nishant Bhargava, Rodrigo Sobral Barrento

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Nishant Bhargava, Rodrigo Sobral Barrento

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，正在调查一起跨越数月的谜案。你有一个笔记本，但它很小。你无法记下你看到、听到或做的每一件事。你必须决定：我记下什么，又该如何记录？ 我是复制整段对话？还是只写“客户喜欢披萨”？或者写“客户改主意想吃寿司了”？

如果你记错了，或者记录方式占用太多空间，你可能会在后续破案时失败。但如果你失败了，你怎么知道为什么？是你忘了线索？还是你记下了线索，却用了一种无人能懂的密码？又或者你记下了正确的线索，但后来阅读笔记本的侦探 simply 没理解它？

本文介绍了一种测试记忆系统的新方法，称为MEMAUDIT。它就像一位严格而公正的裁判，只关注你记录笔记的环节，而忽略之后发生的一切。

问题：记忆的“黑箱”

通常，当我们测试 AI 的记忆时，会在最后向 AI 提问，看它是否能给出正确答案。问题在于，这是一个“黑箱”。如果 AI 答错了，我们不知道是因为：

它没有保存正确的记忆。
它保存了记忆，但格式太大或太杂乱。
它保存了记忆，但“搜索引擎”找不到它。
它找到了记忆，但“思考大脑”忽略了它。

本文主张，我们需要停止猜测，转而专门测量记录阶段。

解决方案："MEMAUDIT 套件”

作者创建了一个受控实验，称为MEMAUDIT 套件。将其想象为一个具有固定规则的模拟游戏：

故事（体验流）：你获得一个特定且冻结的事件故事（例如：“用户说他们喜欢素食，后来又说现在改为 pescatarian（鱼素者）”）。
选项（候选记忆）：对于每个事件，你都会得到一份可能的记录方式列表：
- 原始片段：复制整句话（昂贵，占用大量空间）。
- 事实：仅写“喜欢素食”（便宜，但可能过时）。
- 更新：“改为 pescatarian"（中等成本，非常有用）。
- 墓碑：“旧的素食事实现已无效”（对于避免错误至关重要）。
预算：你对可用空间有严格限制（就像一个小背包）。
目标：你必须选择最佳的笔记组合以装入背包，以便当稍后有人提问时，答案能得到你所写内容的支持。

“神谕”与评分

本文使用一台超级智能计算机（“神谕”）来完美解决这个谜题。它计算出在特定背包和特定故事事件下，你能获得的绝对最佳分数。

然后，它测试不同的 AI 记忆系统，看它们能多接近这个完美分数。

分数：如果完美分数是 100，而 AI 得了 80 分，我们就确切知道它保留了多少“语义价值”（有用的真相）。
神奇之处：由于规则是冻结的，如果 AI 得分低，我们就确切知道它失败在记录环节，而非搜索或思考环节。

关键发现（“啊哈！”时刻）

本文在多种记忆系统上测试了该方法，并发现了一些有趣的现象：

“密度陷阱”：一些系统试图通过为每个单词选择“最便宜”的笔记来实现高效。本文表明这是一个陷阱。系统可能会选择一个便宜的笔记，却遗漏了最重要的细节（例如用户改变主意的事实），从而导致低分。
“墓碑”的重要性：在事实发生变化的故事中（如从素食到 pescatarian 的例子），表现最好的记忆系统是那些写下“这个旧事实已失效”（即墓碑）的系统。只写“事实”而忘记将旧事实标记为无效的系统会在测试中失败。
现实世界系统：他们测试了真实的记忆工具（如 Mem0、Letta 和 A-Mem）。
- 有些系统在寻找要记录的良好信息方面表现出色（高“提取”分数），但在背包满时选择保留什么方面表现不佳（低“选择”分数）。
- 另一些系统记录的笔记太长太乱，导致无法在有限的预算内容纳最重要的事实。

为何这很重要

将 MEMAUDIT 想象为一家工厂的质量控制检查员。

以前，我们只检查最终产品（答案）是否行驶良好。
现在，MEMAUDIT 打开引擎盖，检查引擎装配线（记忆记录）。

它告诉工程师：“你们的引擎没问题，但你们的工人把错误的零件放进了盒子”，或者“你们的工人挑选了很好的零件，但包装得太松散”。

通过将“记录”问题与“搜索”和“思考”问题分离开来，该协议帮助开发者修复其 AI 中确切出错的部件，而不是仅仅猜测。它将模糊的"AI 不擅长记忆”转化为具体的"AI 不擅长在预算限制下决定保留哪些记忆”。

MEMAUDIT 技术摘要

问题陈述
长期 LLM 智能体面临在未知未来查询之前，将过去的交互流压缩为持久化记忆的挑战。现有的评估协议通常仅测量最终问答（QA）的准确性。作者认为，这种方法存在缺陷，因为它将三种截然不同的失败模式纠缠在一起：记忆写入（选择与表示）、检索以及读取器推理。系统可能因存储了错误的记忆而失败，也可能因检索器遗漏了优质记忆而失败，或者因读取器忽略了证据而失败；仅凭最终 QA 准确性无法隔离是哪一层出现了故障。此外，已部署的系统往往以超出目标预算的昂贵形式存储项目，或者未能从候选集中选择最优的表示形式（例如：原始片段、提取的事实或墓碑）。

方法论：MEMAUDIT 协议
本文介绍了MEMAUDIT，这是一种精确的“包 - 神谕”（package-oracle）评估协议，旨在独立评估记忆写入层。评估的核心单元是MEMAUDIT 包，它将记忆选择问题转化为一个有限的、可审计的、具有认证分母的优化问题。

包定义：一个包 $P$ 由固定的经验流、一组候选记忆表示（如原始文本、事实、摘要、墓碑）、存储成本、语义证据单元、未来查询需求以及存储预算 $B$ 定义。
可行性约束：可行的记忆存储 $X$ $X$ 必须满足两个约束：
1. 背包约束：总成本 $\sum c_u \le B$ 。
2. 划分拟阵约束：每个经验最多选择一个表示（ $|X \cap G_i| \le 1$ ），强制在表示之间做出选择，而非保留所有变体。
目标函数：存储的效用由凹性 - 模块化（concave-over-modular）语义覆盖目标定义：
$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$
其中 $R$ 是证据单元， $w_r$ 是重要性权重， $a_{ur}$ 是记忆 $u$ 对单元 $r$ 的覆盖度， $h_r$ 是凹的、非递减函数（默认为 $\min(1, z)$ ）。这种结构确保了对同一证据单元的重复覆盖产生边际收益递减。
精确优化：该协议使用分支定界求解器计算精确的包最优解（ $OPT_P(B)$ ），并通过混合整数线性规划（MILP）对结果进行认证。这提供了一个真实值分母，可用于对任何写入器进行评分。
外部系统的并集分母：为了评估可能生成预定义候选集之外记忆的实时系统（如 Mem0、Letta、A-Mem），该协议使用并集包。导出的记忆被添加为具有裁决覆盖行的第一类候选项。得分为系统实现的效用与任何并集子集（原始候选项 + 系统导出项）可实现的最优效用之比。这区分了提取质量（发现了多少有用内容）和选择质量（在预算约束下选择得有多好）。

主要贡献

有限包神谕的定义：本文定义了一个严格的预算化记忆写入框架，具备可复现的、经认证的分母，将写入时的质量与下游检索和推理分离开来。
语义覆盖结构：它实例化了已知的凹性 - 模块化次模覆盖结构来建模语义记忆保留，明确将有效性状态（例如，用于使旧事实失效的墓碑）作为正面证据单元处理，而非负面惩罚。
精确求解器与基线：作者通过分支定界和 MILP 认证提供精确的包最优解。他们引入了一个**组值阈值（GVT）**参考基线，该基线使用精确边际来校准系统，并证明了仅基于密度的启发式方法可能任意糟糕。
MEMAUDIT 套件：发布的数据集和工具包括：
- 受控精确包：包含隐藏事件图的合成环境（MEMAUDIT-Small），用于测试表示选择。
- 有效性压力测试：专门设计用于测试当前真理与过时事实（例如：更新链、时间间隔）保留的场景。
- 自然与导出包：源自真实对话片段的经人工审计的"Natural-87"子集，以及在相同协议下评估的来自 Mem0、A-Mem 和 Letta 的导出记忆存储。

结果

层级分离：在受控实验中，MEMAUDIT 成功隔离了表示质量。例如，一种“仅密度”启发式方法（选择单位成本价值最高的项目）系统地未能保留有效性状态单元（墓碑），在严格预算下仅达到精确 OPT 的 26–36%，而 GVT 基线则保持在接近最优的水平。
有效性候选项的重要性：从候选集中移除墓碑/复合更新候选项会显著降低可实现的最大效用（OPT）（例如，根据预算不同，降至完整 OPT 的约 52–81%），证明候选项生成瓶颈与选择瓶颈是截然不同的。
外部系统诊断：当应用于导出的存储时：
- Mem0：显示出较高的“上界修剪”界限（表明有用证据提取良好），但选中的存储比率较低，表明预算感知选择是主要瓶颈。
- Letta：实现了较强的显著性修剪并集比率，表明有效选择了相关内容。
- A-Mem：在丰富的笔记中保留了证据，但序列化大小通常超过严格预算，导致在全存储视图中得分为零，除非进行压缩。
稳定性：该协议对成本模型变化（例如：字数与字节开销）和标注噪声具有鲁棒性，经人工验证的标签在保持排名方面优于模型裁决的标签。

意义与主张
本文主张，MEMAUDIT 提供了一种端到端 QA 无法提供的、针对记忆写入层的必要诊断工具。通过冻结候选集、成本和证据单元，它回答了具体问题：“给定这个包，写入器保留了多少包可行的语义价值？”

作者强调，这是一种写入时诊断，而非端到端助手评估的替代品。其意义在于：

定位：它 pinpoint 故障是源于候选项生成、表示选择还是预算感知选择，而不是将其与检索或读取器错误混淆。
可复现性：它提供了一个确定性的、可审计的分母（精确 OPT），而不是依赖随机的下游 QA。
可比性：它允许异构系统（具有不同的内部表示）通过并集分母在共享的语义真实值上进行评分。

本文保持谦逊，指出 Natural-87 是“首个经审计的自然包”，且经过支持切片处理，旨在用于诊断，而非作为最终的完整干草堆基准。它并不声称解决整个长期记忆问题，但提供了严格评估压缩和选择组件所需的“精确包神谕”。