🤖 AI

The Retriever Should Remember: Experience-Amortized Reranking for Long-Term Agent Memory

本文介绍了 EARM，一种经验摊销重排序框架，该框架通过因果矩阵补全学习复用先前获取的 LLM 相关性评分，旨在显著提高智能体长期记忆检索的准确性，同时大幅降低推理开销。

原作者： Qi Feng, Chris Ding, Jicong Fan

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Qi Feng, Chris Ding, Jicong Fan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一段跨越数月或数年的对话，其中一个人会询问很久以前发生的事件，或者将散落在数十次先前交流中的事实拼凑在一起。对于一个旨在充当得力助手的计算机程序来说，追踪这样庞大的历史是一项艰巨的任务。这些程序通常被称为“智能体”（agents），它们将过去的交互存储在一个外部记忆库中。然而，拥有一个图书馆并不等同于知道如何找到对的那本书。当一个新的问题到来时，系统必须快速筛选数千条存储的记忆，以找到真正有用的那几条。传统上，系统使用一种基于词汇相似性的快速、广泛搜索；如果需要更精确，它会要求一个强大的语言模型阅读问题和候选记忆，以判断其相关性。但这里存在一个令人沮挫的低效问题：每当有一个新问题被提出时，系统都会从头开始。它会忘记上次搜索时学到的教训，丢弃它计算出的评分和观察到的模式，仿佛是一个为了考试而学习的学生，考完试后立刻忘掉所有东西，然后为了下一次考试不得不重新学习同样的材料。

来自香港中文大学（深圳）的研究人员提出了一种打破这种遗忘循环的方法。他们引入了一个名为 EARM 的新框架，全称是“经验摊销记忆重排序”（Experience-Amortized Reranking for Memory）。其核心理念简单而深刻：系统不仅应该记住过去对话的内容，还应该记住过去是如何成功找到信息的。研究人员并没有将相关性判断视为一次性的成本，而是设计了一个系统，将这些判断视为一种在智能体整个生命周期中不断积累的“经验”。通过记录哪些记忆对于哪类问题是有用的，系统学会了一张关于自身记忆的地图。这张地图允许系统在无需要求强大的语言模型去阅读每一条记忆的情况下，预测新记忆的相关性。

在实验中，研究人员在一个包含复杂问题的长对话数据集上测试了这种方法，这些问题需要智能体连接不同时间点的各种信息。他们将这种新方法与两种标准方法进行了对比：一种是仅依赖词汇相似性的基础系统，另一种是要求语言模型为每一个候选记忆进行评分的更强大的系统。结果显示，这种结合了直接评分和学习预测的新方法显著优于基础系统。它将回答的准确率提高了高达 6.62%，在这一追求微小进步都极其困难的领域中，这是一个实质性的提升。或许更重要的一点是，即使在仅被允许对极小比例（具体为 17.5%）的候选对象进行直接评分的稀疏设置下，该系统依然保持了高效。在这种情况下，系统利用其积累的经验来填补空白，根据从先前交互中学习到的模式来估算剩余记忆的相关性。

这种成功的机制依赖于这样一个观点：相关性并非随机的。某些记忆往往会对特定类型的问题有用，而某些问题又倾向于在不同的记忆中触发相似的相关性模式。研究人员构建了一个系统，以结构化的方式记录这些联系。当一个新问题到来时，系统会选择一小部分具有战略意义的记忆样本，让语言模型进行直接评分。然后，它利用过去评分的历史来估算其余记忆的相关性。这个过程类似于一位经验丰富的图书管理员，即便读者尚未提及，他也可能预见到询问特定历史事件的读者很可能需要某一组特定的文献。该系统并非盲目猜测；它利用过去检索的“经验”来引导搜索，从而有效地学会了如何访问自己的知识库。

其中一个最引人注目的发现是，该系统可以在仅使用四分之一计算量的情况下，恢复大部分全量搜索带来的收益。当系统处理了足够多的问题以建立起稳健的历史记录后，它可以用极少的输入做出高度准确的决策。研究人员发现，通过这些学习后的估算所选出的记忆不仅仅是填充物；它们带来了可衡ся量的价值，在直接评分的记忆所提供的基础上，使最终答案质量额外提升了 0.78% 到 2.79%。这表明，系统通过识别自身记忆的底层结构，成功识别出了初始快速搜索所遗漏的有用信息。

这项研究也强调了我们思考人工智能记忆方式的一种转变。传统上，关注点在于存储更多信息或更好地表示信息。而这项工作则表明，一个真正的长寿智能体还必须学会如何高效地检索这些信息。研究人员认为，智能体不应仅仅积累内容，还应积累关于这些内容如何被证明有用的“经验”。通过将检索评分视为一种持久的状态而非一次性的副产品，该系统将搜索行为从一种重复性的开支转变为一种习得的能力。这种方法使得智能体随着时间的推移变得更加聪明，不仅是因为它知道得更多，还因为它是通过变得更擅长寻找已知事物来实现的。

研究人员承认，这种方法之所以能有效运作，依赖于某些特定条件。它假设随着时间的推移，提出的问题会共享一些共同的主题或结构，并且存储的记忆本身保持稳定。如果每个问题都与上一个问题完全无关，或者存储的记忆含义变化剧烈，系统将难以找到可以学习的模式。然而，在用户经常回到相似话题或在原有想法基础上进行扩展的长时对话语境下，该方法表现出了鲁棒性。即使在直接评分的数量下降时，系统仍能保持其优势，这表明积累的经验是一个可靠的指南。

最终，这项研究为人工智能的效率提供了一个全新的视角。它证明了让系统变得更聪明所付出的成本，并不一定会随着其持有的信息量增加而呈线性增长。通过让系统记住自己的搜索历史，研究人员展示了构建既博学又高效的智能体是可能的。系统不需要每次都从头开始重新评估一切；它可以站在过去决策的肩膀上。这种方法使该领域离创造出能够真正长期运行、并在与世界互动过程中不断适应和完善自身行为的智能体又近了一步，就像人类不仅能从经历中学习，也能从如何驾驭自己的历史中学习一样。

技术摘要：面向长期智能体记忆的经验摊销重排序（EARM）

问题陈述

长寿命语言模型（LLM）智能体在交互过程中会积累大量的记忆，然而其检索机制往往无法从过去的检索经验中学习。目前的系统通常依赖语义检索（嵌入相似度）以保证效率，随后辅以可选的 LLM 重排序来评估与查询相关的相关性。然而，这种重排序过程是无状态的：对于每一个新查询，系统都会对大规模候选池进行评分，并在使用后立即丢弃这些相关性分数。

这造成了一种根本性的不对称：虽然记忆库在演进，但检索程序在每次查询时都会重置为初始状态。仅靠语义相似度是不够的，因为表征上的接近并不保证证据上的相关性；一段记忆可能在主题上高度相似却无关紧要，或者在语义上较远但在时间或因果推理上至关重要。此外，为每个查询对所有候选进行全量 LLM 重排序会产生极高的推理成本（ $T \times N$ 次操作），其规模随交互次数和记忆池的大小呈线性增长。

方法论：EARM 框架

作者提出了 EARM（Experience-Amortized Reranking for Memory，经验摊销重排序记忆）框架，该框架将 LLM 相关性分数视为持久的检索经验，而非一次性的推理痕迹。EARM 学习一个“潜在记忆可访问性图谱”，用以估计未观察到的查询-记忆对的相关性，从而在智能体的整个生命周期内摊销评分成本。

该框架通过五个关键组件运行：

语义候选生成： 标准语义检索器为每个输入的查询 $q_t$ 生成一个规模为 $N$ 的高召回候选集 $C_t$ 。
检索经验矩阵： EARM 维护一个稀疏矩阵 $R(t)$ ，其中行代表持久的记忆标识，列代表查询。已观测条目包含 LLM 相关性分数；未观测条目（灰色或白色单元格）代表那些已被检索但未评分，或存在于存储库中但未被纳入候选集的配对。
阶段式经验获取： 为了管理推理预算，EARM 采用阶段式调度方案，随着智能体经验的增加，观察比例（即直接由 LL1M 评分的候选比例）逐渐降低（例如，从早期的 100% 降至后期的 17.5%）。对于每个查询，系统通过分层策略选择大小为 $B_t$ 的子集 $O_t$ 进行直接评分：一半的预算用于采样高相似度候选（利用/Exploitation），另一半用于采样剩余池（探索/Exploration），以确保矩阵覆盖率。
因果相关性补全： 矩阵中的缺失条目使用偏置感知低秩模型进行估计。该模型将相关性分解为：
- 全局相关性水平 ( $\mu$ )。
- 记忆特定偏置 ( $\alpha_i$ ) 和查询特定偏置 ( $\beta_\tau$ )。
- 捕捉共享相关性模式的潜在交互因子 ( $p_i^\top z_\tau$ )。
  该模型通过带有热启动的交替最小二乘法（ALS）进行优化，最小化观测条目上的掩码重构误差。至关重要的是，该模型是因果的：它仅使用历史数据和当前锚点来预测未来分数，从而避免了来自未来查询的数据泄露。
混合重排序： 最终的排序结合了采样子集的直接观测 LLM 分数与剩余候选（以及可能在初始语义池之外的记忆）的估计分数。系统选取前 $K$ 个记忆，将其恢复至时间顺序，并传递给答案生成器。

核心贡献

本文做出了两个主要贡献：

EARM 框架： 一种将 LLM 相关性分数视为持久检索状态的新颖方法。它整合了分层锚点评分、因果低秩矩阵补全以及混合观测-估计排序，以处理序列查询流。
实证验证： 证明了 EARM 在显著提高答案准确性的同时，大幅降低了 LLM 推理开销。即使当直接评分比例下降时，该框架依然有效。

实验结果

该框架在 LoCoMo 数据集（长时对话记忆）上进行了评估，采用的流程是：语义检索器选择候选，EARM 进行重排序，最后由 GPT-4o-mini 生成并评估答案。

准确率提升： 与语义检索相比，EARM 将整体答案准确率提升了高达 6.62%（Top-10 检索）和 2.99%（Top-20 检索）。
逼近全量重排序： EARM 配置回收了全量 LLM 重排序（对所有 200 个候选进行评分）所能提供的性能增益的约 70%，而仅使用了 25.57% 的 LLM 调用次数（实现了 74.43% 的成本削减）。
对稀疏评分的鲁棒性： 即使直接评分比例降至 17.5%（仅对 200 个候选中的 35 个进行评分），EARM 仍保持了相对于语义检索的显著准确率优势（例如，Top-10 提升了 5.53%）。
组件消融实验： 研究表明，性能提升并非仅仅源于那一小部分直接评分的记忆。“补全”后的分数（通过矩阵补全估计）比“仅观测”基准线多贡献了 0.78% 至 2.79% 的准确率，证实了学习到的结构在锚点采样之外仍具有价值。

意义与主张

本文认为应当改变对智能体记忆的传统认知范式。传统记忆系统关注的是内容记忆（智能体经历了什么内容）。EARM 则引入了检索记忆的概念（智能体学到了关于访问这些经验的知识）。

作者主张，长寿命智能体不仅应该记住过去的内容，还应该记住这些内容在检索中被证明有多有用。通过将相关性分数视为可重用的经验而非瞬时的推理输出，EARM 将重排序从一种重复性的单次查询开销转变为一种在智能体整个生命周期内不断学习和精炼的能力。这种方法解决了长时智能体系统中 LLM 重排序的可扩展性瓶颈，实现了高质检索并大幅降低了计算开销。