💬 NLP

Total Recall at What Cost? Benchmarking the Serving Cost of Agentic Memory Systems

本文对三种智能体记忆系统与标准策略的推理成本和准确性进行了基准测试，结果表明，成本是由内部系统行为而非仅由对话长度驱动的，且在不同的骨干网络和系统之间存在显著差异，并涉及一种没有任何单一方案能同时优化成本与准确性的权衡关系。

原作者： Natchanon Pollertlam, Witchayut Kornsuwannawit

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Natchanon Pollertlam, Witchayut Kornsuwannawit

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个非常聪明但有点健忘的机器人朋友聊天。你们已经聊了好几周，分享了许多故事、计划和秘密。现在，你想问：“还记得三周前我们聊到的那家披萨店吗？”如果这个机器人没有记忆，那么每次你提问时，你都必须把从第一天开始的整个友谊故事重新讲一遍。这就像为了问一个简单的问题，就必须背着一个装满了你们所有对话内容的沉重背包。这样做虽然行得通，但很快就会变得既笨重、缓慢且昂贵。

为了解决这个问题，工程师们为这些机器人构建了“记忆系统”。与其背着整个大背包，不如让机器人把微小的笔记、事实或摘要记录在一个特殊的笔记本里。当你提问时，它只需翻到正确的一页并阅读笔记即可。这听起来很完美：更轻、更快、更便宜。但问题在于：编写笔记、整理笔记以及寻找正确页面也是需要工作的。核心问题在于：使用笔记本是否真的能让机器人省钱，还是说管理笔记本的成本实际上让整个过程比背着沉重的背包更贵？这篇论文正是深入探讨了这个谜团，通过衡量这些记忆技巧的真实世界价格标签，来观察它们是否真的物有所值。

伟大的记忆成本对决

在这项研究中，研究人员进行了一场大规模的竞赛，以观察维持一个聊天机器人的记忆到底需要多少成本。他们不仅仅是靠猜测，而是针对三种不同的“记忆系统”（可以理解为组织那个笔记本的三种不同方式）进行了受控实验：Mem0、Hindsight 和 Mastra Observational Memory。

为了确保测试公平，他们将这些记忆系统与两种极端策略进行了对比：

“滚动窗口”（廉价基准）： 这就像只记得你最后说的 10 件事。它非常便宜，但会忘记其他一切。
“全文本记录”（昂贵基准）： 这是“沉重背包”法。每次你提问时，机器人都会重新阅读你们从第一个字开始的所有对话历史。

他们让这些系统经历了长达 400 轮（即 400 次来回对话）的对话，并通过 665 个特定问题 来测试机器人是否真的记住了正确的内容。他们还测试了两种不同的“大脑”（骨干模型），以观察机器人的大脑类型是否会改变成本。

大惊喜：你无法预测价格标签

第一个重大发现是，你不能仅仅通过观察对话的长度或消息的大小来预测成本。研究人员尝试建立一个简单的数学公式，根据对话长度和消息大小来预测成本。

对于“全文本记录”和“滚动窗口”策略，数学计算非常完美。如果你知道发送了多少个词，你就确切知道要花多少钱。
对于“记忆系统”，数学计算却惨败了。该公式预测的误差高达 18% 到 69%。

为什么会这样？因为记忆系统的成本不仅仅取决于你说了多少话，还在于你在说话的同时，系统在内部做了什么。有时系统决定写一段长摘要，有时只是抓取一个简短的事实。有时它会重新组织整个笔记本。这些内部决策是由对话的内容驱动的，而不是仅仅由长度驱动。这就像试图仅通过查看地图来预测一次公路旅行的成本，却不知道司机是会停下来吃一顿丰盛的午餐，还是只抓起一个能量棒。这种“午餐”（内部处理）的变化范围极大，使得总账单变得难以预测。

“盈亏平衡点”：什么时候笔记本才真正划算？

研究人员提出了一个关键问题：在什么情况下，使用记忆系统会比重新阅读整个历史记录更便宜？

答案是：这完全取决于系统和机器人的大脑。

Mastra Observational Memory 是速度型选手。在某些情况下，它从第一轮（第 0 轮）开始就比“全文本记录”法更便宜。
Mem0 需要更长的时间，通常在 第 82 轮 左右达到盈亏平衡，但前提是消息长度相对较长。
Hindsight 是最慢的。在许多情况下，即使在 400 轮 之后，它也没有变得比“全文本记录”法更便宜。事实上，在某些设置下，直到测试结束它仍然更贵。

这意味着，如果对话很短，使用复杂的记忆系统可能比直接重新发送整个聊天记录还要贵。你必须进行一定时长的交流（即“盈亏平衡点”），记忆系统才会开始为你节省资金。

准确度 vs. 成本：没有免费的午餐

研究还检查了这些记忆系统回答问题的能力。结果显示出广泛的表现差异：

准确度 在 21% 到 54% 之间波动。
Mem0 的准确度波动最大，在某些机器人大脑上表现出色，而在另一些则表现糟糕。
Hindsight 通常是最准确的（经常高于 50%），但它也是运行成本最高的。
Mastra 是一个表现居中的选手，但如果考虑到它给出的正确答案数量，它通常是最具成本效益的。

研究人员发现，机器人的“大脑”（骨干模型）的选择与选择记忆系统同样重要。在一个机器人大脑上很便宜的记忆系统，在另一个大脑上可能会变得很贵。

最终结论

论文得出结论，并没有唯一的“最佳”记忆系统。

如果你想要在特定机器人大脑上获得每个正确答案的最低成本，那么在 gpt-oss-20b 大脑上的 Mastra 是赢家（在 100 轮时，每个正确答案的成本约为 $0.028）。
如果你使用的是不同的机器人大脑（Gemma 4 26B A4B），Mem0 则成为了最便宜的选择。
Hindsight 虽然准确，但除非对话非常长，否则通常太贵而不值得使用。

主要的启示是，你不能仅仅因为一个记忆系统听起来很酷就去选择它。你必须结合你的具体情况来看：对话会有多长？消息有多大？以及你正在使用哪种机器人大脑？只有这样，你才能知道记忆系统是在帮你省钱，还是在增加你的账单。记忆系统的“全量回忆”是有代价的，而这个代价远比单纯计算你输入的文字数量要复杂得多。

技术摘要：全量召回的代价几何？评估智能体记忆系统的推理成本

问题陈述

随着对话智能体从单会话演示向跨越数周或数月的长期部署转型，它们需要具备跨轮次保留信息的能力。目前存在两种主要策略：(1) 全文本重提交（Full-transcript resubmission），即每一轮都将整个对话历史重新发送到 LLM 的上下文窗口中；(2) 智能体记忆系统（Agentic memory systems），将过去的交互提炼为紧凑的记录（事实、摘要、知识图谱），并仅检索相关的子集。

虽然记忆系统被广泛采用以规避全文本重提交带来的无界成本增长，但这些记忆系统的实际**推理成本（serving cost）**仍缺乏深入了解。现有的评估几乎完全集中在准确率和召回率上，通常仅在特定条件下报告孤立的 Token 节省数据。目前缺乏系统的、跨系统的基准测试，无法将记忆系统的端到端推理成本与透明的基准线进行对比，并结合准确率指标进行衡量。因此，从业者无法判断一个记忆系统相比于简单地重提交全文是否具有经济可行性。

方法论

作者进行了一项受控基准测试，评估了三种智能体记忆系统相对于两种参考策略在两种骨干模型及不同推理强度设置下的表现。

评估的系统

Mem0：一种扁平化的“提取-检索”系统，将原子事实存储在向量数据库中。
Hindsight：一个利用“保留-召回-反思（retain–recall–reflect）”流水线的系统，用于记忆摄取。
Mastra Observational Memory (OM)：一个基于“观察者-反思者-行动者（observer–reflector–actor）”循环且由阈值触发整合的系统。
参考策略：
- 滚动窗口（Rolling Window / Floor）：固定大小的窗口，保留最后 10 轮对话（无持久化存储）。
- 全量历史（Full History / Ceiling）：每一轮都重提交整个对话记录。

实验设计

骨干模型：在 gpt-oss-20b 和 Gemma 4 26B A4B 上进行评估，并设置“低”和“中”两种推理强度。
工作负载：生成特定长度 ( $N$ ) 和每轮 Token 大小 ( $L$ ) 的合成对话，最高达 400 轮。
成本测量：研究模拟了三个流水线阶段的总计费输入 Token 数：摄取（Ingest）（事实提取/整合）、检索（Retrieval） 以及 回答（Answer）。
成本模型：拟合了一个可分离的对数-对数回归模型，用于根据消息大小 ( $L$ ) 和对话深度 ( $t$ ) 预测成本 ( $C$ )：
$\log(C+1) = a + p\log(L+1) + q\log(t+1)$
其中 $p$ 代表对消息大小的成本敏感度， $q$ 代表对对话深度的敏感度。
准确率基准：在进行成本测量的同时，通过 LoCoMo 基准测试的分层子集（涵盖 665 个跨多会话对话的问题）对准确率进行了评估。
验证：使用留一单元交叉验证（LOOCV）对模型进行验证，以测试其泛化能力。

关键结果

1. 成本建模与可预测性

参考策略：成本模型对参考策略的拟合效果极佳（ $R^2 \geq 0.91$ ）。全量历史基准显示 $p \approx q \approx 1$ （成本随总内容缩放），而滚动窗口显示 $p \approx 0.9$ 但 $q \approx 0.1$ （成本随消息大小缩放，但对深度不敏感）。
记忆系统：该模型无法预测记忆系统的成本。
- Mem0： $p \approx 0.17, q \approx 0.08$ （对两者敏感度均较低）。
- Hindsight： $p \approx 0.15, q \approx 0.42$ （对深度高度敏感）。
- Mastra OM： $p \in [0.61, 0.79], q \in [0.23, 0.36]$ 。
- 留出误差（Held-out Error）：虽然基准模型在留出验证中的误差小于 6.5%，但记忆系统表现出 18–69% 的误差。这表明记忆系统的推理成本是由内部记忆状态（如触发阈值、整合速率）驱动的，而非仅仅由对话长度或消息大小决定。

2. 盈亏平衡分析

研究计算了“盈亏平衡轮次”——即记忆系统变得比重提交全文更便宜的转折点。

高变异性：盈亏平衡点对系统、骨干模型和工作负载高度敏感。
- Mastra OM：可以立即实现盈亏平衡（第 0 轮）或在数十轮内实现。
- Mem0：对于较大的消息，可在数十轮内实现盈亏平衡；但对于较小的消息，可能需要长达 342 轮。
- Hindsight：往往无法在 400 轮内实现盈亏平衡，尤其是在消息较小时。
量级差异：一旦记忆系统实现盈亏平衡，其成本最高可比全量历史重提交低 12.7 倍。反之，未能实现盈亏平衡的系统（如处理小消息时的 Hindsight）其成本可能比全量历史高出 3.3 倍。

3. 成本-准确率权衡

准确率范围：取决于系统和骨干模型，LoCoMo 上的准确率波动很大（21%–54%）。
不存在主导系统：没有单一系统能在成本和准确率上同时胜出。
- Mastra OM 在 gpt-oss-20b（低强度）配置下实现了最低的单次正确回答成本（100 轮时为 $0.028）。
- Mem0 在 Gemma 4 26B A4B 上是该骨干模型下最具成本效益的选择。
- Hindsight 通常是推理成本最高的，尽管它在某些配置下实现了更高的准确率。
骨干模型的影响：骨干模型的选择对成本的影响与记忆系统的选择同样显著。例如，由于推理 Token 使用量较低，Mem0 在 Gemma 4 26B A4B 上的成本显著低于在 gpt-oss-20b 上的表现。

意义与主张

本文声称提供了首个针对智能体记忆推理成本及其准确率进行的受控、跨系统基准测试。其主要贡献和发现如下：

成本是非线性且依赖状态的：记忆系统的推理成本不能仅通过对话长度和消息大小来预测。记忆流水线的内部行为（触发器、整合过程）驱动了成本的变化，使得简单的回归模型难以进行预测。
上下文相关的经济可行性：记忆系统是否比全文本重提交更便宜，并非系统的固有属性，而是取决于工作负载（对话长度、消息大小）和所选的骨干模型。盈亏平衡点从“立即实现”到“400 轮内永远无法实现”不等。
联合决策：从业者不能孤立地优化成本或准确率。骨干模型与记忆系统的选择是耦合的；一个能降低某一记忆系统成本的骨干模型，可能会增加另一个记忆系统的成本。
现有基准测试的局限性：本研究强调，仅关注准确率的现有基准测试忽略了关键的生产约束——推理成本；且目前的成本模型对记忆系统而言更多是描述性的，而非机械性的。

作者总结道，选择记忆系统需要针对预期的对话长度和所选骨干模型进行专门分析，因为在所有设置下都不存在通用的“最佳”系统。