💬 NLP

Learning What Not to Forget: Long-Horizon Agent Memory from a Few Kilobytes of Learning

本文介绍了 LRE（学习相关性驱逐），这是一种轻量级、仅限 CPU 且无需语言模型的评分器，它通过学习识别并保留长时运行智能体的关键交互历史，在以极低计算成本和无需标注的训练方式运行时，实现了比现有基准模型更优越的准确率与效率。

原作者： Nusrat Jahan Lia, Aritra Mazumder

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Nusrat Jahan Lia, Aritra Mazumder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一个超级聪明的助手（就像一个高度先进的 AI）正在试图解决一个复杂的谜题或与一位朋友进行长谈。问题在于，你的大脑有一个严格的大小限制。你一次只能持有一定量的信息在你的“活跃记忆”中。

当你工作时，你会积累大量的笔记、行动和对话历史。最终，你的历史记录会变得太大，无法容纳在你的大脑中。你必须丢弃一些东西来腾出空间以容纳新的想法。这被称为驱逐（Eviction）。

该论文介绍了一种名为 LRE（学习相关性驱逐，Learned Relevance Eviction）的新方法来解决这个问题。以下是它的工作原理，使用简单的类比：

问题：“容量过载”的大脑

想象一下你正在为旅行打包，但你的行李箱有一个很小的拉链，只能打开一半。你有数百件物品（你的对话历史或任务步骤）。

旧方法（FIFO/最近原则）： 你只是把堆叠在底部的旧物品扔掉，为新物品腾出空间。
- 风险： 你可能会扔掉那个“承重”物品，比如你的护照或登录所需的特定代码令牌。如果你丢了它，你的旅行（或任务）就会失败，即使你还有很多剩余空间。
昂贵的方法（LLM 压缩）： 你雇佣了一位专业的编辑（另一个 AI）来阅读你的笔记，并将它们总结成一段简短的文字。
- 风险： 编辑在试图保持简洁的同时，可能会不小心漏掉关键细节。此外，每次添加笔记时都雇佣一名编辑既慢又费钱（计算能力成本）。

解决方案：LRE（聪明、微小的图书管理员）

LRE 是一个住在标准计算机芯片（CPU）上的微小、超快的“图书管理员”。它不需要超级计算机或第二个 AI 来完成工作。

1. 它微小且快速
将 LRE 想象成一个口袋大小的清单（只有几千字节大小）。它不会重写你的笔记；它只是决定保留哪些笔记。它运行得非常快，每秒可以检查 1,000 多个笔记，而“专业编辑”（密集编码器）可能每秒只能处理 36 个。

2. 它学习什么才是重要的（“承重”概念）
LRE 查看你的历史记录并询问：“我稍后会需要这个特定的信息吗？”

类比： 想象你正在盖房子。你有一堆砖块、木头和随机垃圾。
- “最近原则”会保留你最后接触的几个物品。
- LRE 查看这堆东西并说：“那个来自第 3 步的特定砖块是我们在第 17 步建造屋顶的基础。请原封不动地保留它。”
- 它保留的是精确的原文（verbatim），所以如果以后需要密码或特定的 ID 号码，它依然在那里，未曾改变。

3. 它不需要老师（自监督）
通常，要教计算机学会保留什么，你需要人类对成千上万的例子进行标注（“保留这个”、“扔掉那个”）。

LRE 的窍门： 它通过观察自身来学习。它观察自己过去的行为。
- 在对话中： 如果 AI 提到一个事实（例如“我是跨性别者”），然后在 400 轮对话后，它利用这个事实来回答问题，LRE 就会学习：“啊，那个事实很重要！我之前应该保留它的。”
- 在任务中： 如果 AI 生成了一个登录令牌并在随后的三次中使用它，LRE 会学习：“那个令牌是承重的。保留它。”
- 这意味着它可以在没有任何人类付费标注数据的情况下进行学习。

结果：为什么它能胜出

论文在两个主要场景中测试了 LRE：

1. 智能体（机器人工作者）

场景： 一个试图预订机票或管理电子邮件账户的 AI，正在执行一系列步骤。
结果： 当内存限制很紧时，其他方法失败了，因为它们扔掉了登录令牌或完成工作所需的特定 ID 号码。LRE 保留了这些精确的细节。
类比： 当其他方法因为反复尝试登录而原地打转（浪费时间）时，LRE 一直把钥匙揣在兜里，完成了任务，步骤减少了 37%。它与保留所有内容一样准确，但节省了 52% 的空间。

2. 对话者（聊天伙伴）

场景： 记住很久以前（几周前）的一段长谈中的细节。
结果： 与那些试图总结对话的复杂、昂贵的 AI 模型相比，LRE 在寻找正确信息来回答问题方面表现更好。
类比： 如果你问：“卡罗琳在 400 条消息前是怎么说她的家人的？”，LRE 能瞬间找到那条精确的消息。其他方法要么忘记了它，要么由于总结得太差导致答案丢失。

核心结论

LRE 是一种廉价、快速且精准的管理内存的方式。

它不会进行总结或重写（这会导致错误）。
它不需要昂贵的超级计算机来决定保留什么。
它通过自身的成功与失败进行学习。

论文认为，对于 AI 智能体和聊天机器人来说，我们不需要丢弃信息，也不需要雇佣昂贵的编辑来总结信息。我们只需要一个微小的、聪明的过滤器，知道如何保留我们历史中的“承重”砖块，从而使结构不至于坍塌。

技术摘要：学习“不该忘记的内容”（LRE）

问题陈述

长时间运行的大语言模型（LLM）智能体和对话助手会积累交互历史，这些历史最终会超过模型的上下文窗口。为了在固定的 Token 预算内运行，系统必须驱逐（丢弃）较旧的历史。核心挑战在于，驱逐是一个主动的、与查询无关的决策：系统必须在未来需要该信息进行查询或行动之前，就决定保留哪些内容。

标准方法在这一场景下表现不佳：

反应式启发式算法（近期性/FIFO）： 仅基于时间丢弃旧信息，这往往会移除“承载关键信息”的细节（例如访问令牌、标识符），导致智能体陷入循环或失败。
基于 LLM 的压缩： 通过 LLM 调用对历史进行摘要会引入非确定性行为、转述错误（丢失精确的标识符）以及显著的延迟和成本。
神经检索/评分： 使用稠密嵌入或基于注意力的评分的方法通常需要针对每个单元进行神经前向传播，或者与特定的模型层绑定，其推理成本随规模扩展而迅速增加。

本文认为，内存驱逐本质上是一个保真度问题：系统需要保留精确、原样的状态（而非仅仅是摘要后的概念），以确保未来的行动成功，但必须使用一种廉价、主动且独立于宿主 LLM 的策略。

方法论：LRE（学习相关性驱逐）

作者提出了 LRE，一种轻量级、仅限 CPU 运行、无需语言模型的评分器，旨在学习哪些历史单元是“承载关键信息的”。

核心机制

单元定义： 历史被分割为离散的单元（例如，对话轮次或智能体动作-观察对）。
因果特征提取： 对于每个单元 $u_i$ $u_{i}$ ，LRE 根据仅限前缀历史计算特征向量 $\phi(u_i, u_{\le i})$ $ϕ (u_{i}, u_{\leq i})$ 。特征包括：
- 结构性： 在轨迹中的位置、近期性、长度。
- 词汇性： TF-IDF、数字计数、大写单词、URL/ID 的存在。
- 领域特定： 错误指示符、代码 Token 存在（针对智能体）、问题标记（针对对话）。
评分： 一个小型、带 L2 正则化的逻辑回归模型 ( $f_\theta$ $f_{θ}$ ) 为每个单元分配一个相关性概率 $p_i$ $p_{i}$ 。
- 成本： 该模型非常小巧（例如，针对智能体仅 1.7 KB），在推理时在 CPU 上运行，无需进行神经前向传播。
选择（背包问题）： 给定 Token 预算 $B$ $B$ ，LRE 选择一组旧单元 $S^*$ $S^{*}$ ，在满足 Token 成本约束 $\sum c_i \le B$ $\sum c_{i} \leq B$ 的条件下，使 $\sum p_i$ $\sum p_{i}$ 之和最大。
- 该选择是抽取式的：单元按原样保留。不进行任何摘要或改写，从而保留精确的标识符和数值。
- 最近窗口 $R_k$ （例如最后 5 步）始终被无限制保留。

自监督训练

为了避免昂贵的人工标注，LRE 从系统自身的行为（事后观察）中获取标签：

智能体领域 (AppWorld)： 如果一个步骤引入的标识符（如 ID、Token）被后续 $\ge 3$ 个步骤重复使用，则该步骤被标记为正样本 ( $y=1$ )。这识别了“承载关键状态”的信息。
对话领域 (LoCoMo/LongMemEvalS)： 如果一个轮次的文本内容与其后在会话中提出的问题的最终答案有 $\ge 40\%$ 的重叠，则该轮次被标记为正样本。
结果： 这种方法在 LongMemEvalS 上恢复了全监督模型（使用人类金标准标签训练）95% 的性能，在 LoCoMo 上恢复了 82%。

核心贡献

一种查询无关的主动策略： LRE 是第一个无需访问未来查询即可运行的已学习驱逐策略，适用于下一步行动未知的实时智能体循环。
原样保真度： 与进行转述的压缩方法不同，LRE 精确地提取与出现时完全一致的单元。这对于保留会被摘要破坏的模糊凭据（Token、ID）至关重要。
极高的效率：
- 零神经成本： 评分器在 CPU 上运行，无需 LLM 调用或 GPU 前向传播。
- 速度： 它的评分速度约为 1,181 个单元/秒，显著快于稠密编码器（~~103 个单元/秒）或 Token 修剪 LLM（~~36 个单元/秒）。
- 模型大小： 评分器仅有几 KB 大小。
无标注监督： 证明了可以从系统自身的运行日志（复用模式）中学习“相关性”，而无需人工标注。

实验结果

智能体性能 (AppWorld)

任务成功率： 在 2048 Token 预算下，LRE 实现了 41.1% 的任务成功率，匹配了保留整个历史（无限制）的 44.0% 成功率。
对比：
- FIFO (近期性)： 成功率降至 34.5%；智能体因丢失凭据而陷入循环。
- ACON (LLM 压缩)： 成功率降至 26.2%；摘要丢失了精确的 Token，导致重新认证循环。
- LRE： 解决了 14 个 其他策略（包括在某些边缘情况下的全历史模式）都无法完成的任务。
效率： LRE 平均在 19 步 内完成任务，而 FIFO 为 30.6 步，ACON 为 33.5 步。它需要 零次压缩器调用，而 ACON 每个任务需要约 5.45 次调用。
上下文缩减： 在保持高准确度的同时，将峰值上下文大小较最坏情况下的无限制基准降低了高达 52%。

对话记忆 (LoCoMo & LongMemEvalS)

相关性排序： LRE 在 LoCoMo 上的 Macro-AUC 为 0.829，在 LongMemEvalS 上为 0.708。
基准对比： 尽管这些方法使用神经前向传播，但 LRE 的表现优于稠密嵌入编码器 (0.643) 和 Token 修剪方法 (0.402)。近期性和衰减模型表现接近随机 (0.478)。
下游问答： 当作为 QA 模型的保留策略时，LRE 在固定预算下提供了最佳的回答质量，优于近期性和内容显著性基准。

重要性与主张

论文认为，廉价的学习型相关性足以用于 LLM 智能体的预测性内存保留。

保真度高于压缩： 现有系统的主要失效模式不仅是“遗忘”，更是通过摘要导致的“扭曲”或通过近期性导致的“丢失”。LRE 通过优先考虑原样提取解决了这一问题。
可部署性： 由于 LRE 是查询无关、仅限 CPU 且无需标注的，它是延迟和成本受限的生产环境系统中实用的策略。
自给自足： 系统可以从自身的运行日志中学习保留什么，从而消除了对外部监督的需求。

作者总结道，虽然主动驱逐无法完美预测所有未来的需求（这是一个根本性的局限），但像 LRE 这样学习型的、抽取式的策略，提供了一个当前基准无法企及的、在准确性、成本和保真度之间的帕累托最优平衡。