💬 NLP

Dual-Layer Agentic Memory with Fast Write Routing and Slow Consolidation

受神经科学中互补学习系统理论的启发，本文提出了双层智能体记忆（Dual-Layer Agentic Memory）框架，该框架通过使用成本感知模型级联来选择性地路由和修剪用于外部存储的输入信息，随后通过周期性的参数巩固将高价值知识内化，从而在显著降低冗余存储和计算成本的同时，保持极高的检索准确率。

原作者： Wenzhi Li, Dong Nie, Rui Lan, Tongtong Lyu, Peiyao Wang, Lingzi Hong, Weihang Pan, Boyuan Pan, Yao Hu

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenzhi Li, Dong Nie, Rui Lan, Tongtong Lyu, Peiyao Wang, Lingzi Hong, Weihang Pan, Boyuan Pan, Yao Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，大型语言模型就像是人类知识的庞大图书馆，但它们有一个显著的局限性：它们无法轻易记住构建完成后发生的新事物。当这些模型被用作动态环境中的助手时——例如在长对话、研究项目或个人规划中——它们会遇到源源不断的新信息。其中一些信息是模型已经知道的，一些是完全陌生的，还有一些则与模型之前相信的内容相矛盾。传统系统处理这一问题的方法是简单地将每一条新事实保存到一个外部数据库中，就像一本永远不会丢弃的笔记本。随着时间的推移，这本笔记本会变得充斥着冗余和过时的笔记，导致寻找正确信息变得缓慢、嘈ла且低效。因此，核心挑战不仅在于如何存储信息，还在于决定保留什么、丢弃什么，以及何时进行永久性学习，使其不再需要查阅。

一组研究人员提出了一种管理这种知识流的新方法，其灵感来源于人类大脑处理记忆的方式。他们建议，不应将记忆视为一个单一且不断增长的数据堆，而应将其视为一个具有两个不同阶段的生命周期：一个快速、临时的持有区域和一个缓慢、永久的学习阶段。这种被称为“双层智能体记忆”（Dual-Layer Agentic Memory）的方法，模仿了海马体（负责快速记录新体验）与新皮层（负责随时间推移整合稳定知识）之间的生物学关系。在他们的系统中，“快速”层充当新事实或冲突事实的临时缓冲区，而“慢速”层则涉及模型真正学习这些事实，使其成为其永久理解的一部分。其目标是防止外部笔记本变得臃肿，同时确保模型变得更加聪明和自给自足。

研究人员构建了一个能够在信息到达瞬间对其进行决策的系统，而不是等到提出问题时才处理。当一条新事实进入系统时，它会立即被评估以确定其命运。系统将信息分为三类：模型已完美掌握的事实、模型完全不知道的事实，以及模型已知错误或信息已过时的事实。系统并没有保存所有内容，而是使用一种智能过滤器来决定哪些信息值得存储。这个过滤器就像是一个两级的筛选过程。一个更小、更快且成本更低的模型首先检查传入的信息。如果该事实显然是模型已知或显然应该忽略的内容，小模型会立即做出决定。只有当事实具有歧义或难以判断时，系统才会将其传递给更大、更强大的模型进行最终裁定。这种“从小到大”的级联机制确保了系统不会在简单的决策上浪费计算能力，同时仍能保持对复杂问题的极高准确性。

一旦系统决定保留某条信息，它就会将其存储在外部记忆中。然而，这并不是过程的终点。研究人员引入了第二个阶段，称为“巩固”（consolidation），它会定期发生。在此阶段，系统会审查其存储的高价值事实，并利用它们来重新训练模型。这类似于学生在考试前复习笔记，以便将信息从短期记忆转移到长期记忆。通过在这些选定的事实上训练模型，模型便能永久地学习它们。结果是，模型不再需要从外部笔记本中查找这些事实；它可以直接从自身的内部知识中回答问题。这创造了一个反馈循环：随着模型学习得越多，它需要存储的内容就越少，外部记忆也因此保持精简和高效。

研究人员在模拟环境中测试了这种方法的成果，在该环境中，智能体必须管理持续不断的各种新事实并随时间回答问题。研究人员发现，与传统系统中通常会保存所有信息的做法相比，他们的系统可以剔除高达 68% 的冗余信息。尽管存储的数据量大幅减少，但该系统的准确率仍保持在能够实现全量保存情况下的 98% 以上。使用两级过滤器还显著降低了计算成本，因为较大的、更昂贵的模型仅在处理约 40% 的传入事实时才会被调用。此外，巩固阶段被证明在内化知识方面非常有效。在模型根据存储的事实进行重训练后，它可以无需检索外部记忆即可回答问题，并且系统会自动停止再次尝试保存这些相同的事实。

然而，研究也揭示了为什么双层设计是必要的关键原因。当模型通过这种重训练过程学习新信息时，它偶尔会干扰其现有知识，导致它忘记或混淆之前熟知的事实。这种被称为“灾难性遗忘”（catastrophic forgetting）的现象意味着，模型不能简单地用新信息覆盖旧记忆而不产生风险。外部记忆层在这种情况下充当了安全网。如果模型在学习新事物后犯错，外部记忆仍能提供正确的信息来修正错误。这种动态平衡使得智能体能够持续学习和适应，而不会失去正确推理的能力。研究人员证明，通过结合快速、选择性的存储与缓慢、选择性的学习，他们创建了一个既高效又稳健的记忆系统，能够处理现实世界信息的演变过程而不会陷入混乱。

这项工作表明，我们对人工智能记忆的看法需要发生转变。与其将记忆视为一个无限增长的静态档案，不如将其视为一个动态的选择与整合过程。该系统不仅仅是在存储数据；它在管理知识的生命周期，决定什么是暂时的，什么是永久的。通过模仿快速记录与缓慢巩固的生物学原理，研究人员创建了一个让智能体的记忆保持精简且推理保持敏锐的框架。研究结果表明，为了让 AI 智能体能够长期有效地运作，它们必须能够忘掉琐碎之事，学习重要之事，并在不断更新对世界理解的同时不迷失方向。这种方法为构建能够真正与用户共同学习和成长的助手提供了一条充满前景的路径。

技术摘要：具有快速写入路由与慢速整合功能的双层智能体记忆

1. 问题陈述

在动态、长程环境中运行的大型语言模型（LLM）智能体面临一个根本性挑战：知识在持续演进，然而现有的记忆系统将外部记忆视为一个单调增长的存储库。目前的方法通常依赖于检索增强生成（RAG）或记忆日志，其中观测结果被无条件地追加。这种设计导致了两个关键问题：

检索退化： 随着外部记忆的增长，检索变得更加嘈杂、计算成本更高且对延迟敏感。
静态存储假设： 现有方法隐含地假设了一个固定的存储基质，未能管理完整的知识生命周期。它们无法在条目进入时主动决定将其外部化、更新还是内化，这往往导致由于冗余或过时事实而产生的“记忆膨胀”。

作者认为，核心挑战不仅在于检索，更在于管理知识生命周期：即决定何时进行外部化、更新，或最终将其内化到参数化记忆中。

2. 方法论：双层智能体记忆

受神经科学中互补学习系统（CLS）理论的启发——该理论认为大脑拥有用于处理新奇体验的快速学习海马体，以及用于稳定整合的慢速学习新皮层——作者提出了一个将记忆管理转向写入阶段的框架。

该框架由两层组成：

载体层（Carrier Layer）： 维护参数化记忆（ $\Theta$ ，稳定、压缩）和外部记忆（ $E$ ，动态、可编辑）。
决策层（Decision Layer）： 将快速写入路由（准入控制）与慢速回写（整合）分离。

2.1 操作性记忆分类法

根据模型行为（零样本 vs. 记忆支持）将传入的知识分为三类：

非写入（Non-write）： 模型仅凭参数化记忆即可正确回答。
写入-新增（Write-new）： 模型在零样本情况下拒绝或失败，但在有记忆支持时成功（事实缺失）。
写入-更新（Write-update）： 模型在零样本情况下给出自信但错误的答案，但在有记忆支持时成功（内部知识陈旧）。

2.2 快速写入路由（从小到大的级联）

为了避免为每一次准入决策都使用大型模型所带来的计算成本，系统采用了成本感知的从小到大级联机制：

机制： 轻量级路由器（ $M_{small}$ ，例如 1.7B 模型）执行前端筛选。它预测一个事实应当被写入还是丢弃。
升级门控（Escalation Gate）： 门控模块估计升级的价值。如果小模型路由器存在不确定性，该条目将被升级到更强的路由器（ $M_{large}$ ，例如 8B 模型）。
目标： 系统优化存储惩罚（ $\lambda_s$ ）与升级惩罚（ $\lambda_e$ ）之间的权衡。只有当边际性能增益超过综合成本时，事实才会被写入。
特征： 决策头利用语义嵌入（隐藏状态的平均池化）和认识论不确定性特征（Token 级的负对数似然曲线）。

2.3 慢速整合（回写）

这一阶段对应于 CLS 理论中的“睡眠”阶段。选定的外部记忆（特别是“写入-新增”和“写入-更新”的事实）会通过**监督微调（SFT）**定期内化到参数化记忆中。

过程： 事实被转换为问答对和句子级目标，用于 SFT。
验证： 只有当更新后的模型（ $\Theta'$ ）在无需检索的情况下能正确回答其探测问题时，该事实才会从外部记忆中移除。
自适应偏移： 随着模型内化知识，其参数边界会发生偏移。路由器会自然地进行调整，识别出先前“值得写入”的事实现在已变为“非写入”，从而减少未来对外部记忆的依赖。

3. 核心贡献

统一的生命周期公式化： 本文将智能体记忆表述为一个双层系统，统一了外部记忆、参数化记忆、快速写入路由和慢速整合，超越了静态存储范式。
操作性分类法与成本感知路由： 引入了基于行为的分类法（non-write, write-new, write-update）以及从小到大的级联路由器，将记忆准入定义为一个准确性-效率的优化问题。
周期性回写机制： 一种实现知识内化和自适应认识偏移的整合机制，逐步减少对外部记忆的依赖。
在线流式基准测试： 作者构建了一个将写入时的准入与读取时的检索解耦的基准测试，从而隔离了准入瓶颈，以评估选择性外部化与整合的效果。

4. 实验结果

实验是在一个在线流式基准测试上进行的，使用了 qwen3-1.7B/8B 级联模型。

双重效率： 级联路由器过滤了高达 68% 的冗余外部记忆，同时升级到大模型的输入比例低于 50%。
性能保持： 尽管进行了大幅度剪枝，系统仍保留了超过 98% 的下游问答精确匹配（EM）性能（对比全量存储基准）。
成本降低： 与对所有决策使用大模型相比，该级联结构降低了约 30–39% 的预期路由计算成本。
认识偏移： 通过周期性 SFT（Write Router $_{SFT}$ ），系统在实现 32.08% 的存储率的同时，保持了 90.71% 的问答 EM（保留了 Full Store 上界的 >98.2%）。
参数干扰： 对回写阶段的分析显示，虽然 SFT 内化了约 10,683 个事实，但也导致了 参数干扰，使 1,752 个先前稳定的事实发生退化。这从经验上验证了双层架构中外部记忆层的必要性，即作为修正周期性更新所导致的不可避免的认识性回归的缓冲器。

5. 意义与主张

本文声称提出了一种统一的智能体记忆范式：先进行选择性外部化，随后进行选择性内化。

范式转移： 它挑战了将外部记忆视为永久堆积库的观点，将其重新定义为针对缺失或冲突于参数化记忆的知识的临时、选择性存储。
闭环系统： 该框架完成了知识生命周期的闭环。路由器感知模型不断演进的认识边界；随着事实被内化，路由器会自适应地抑制冗余写入，从而有效地管理存储膨胀与检索准确性之间的权衡。
双层结构的必要性： 作者得出结论，虽然持续的参数更新可以内化大量知识，但它们本质上会破坏稳定的事实。因此，一个带有快速路由外部记忆层的双层架构对于动态修正这些错误至关重要，在终身学习场景中充当了对抗灾难性遗忘的必要缓冲器。

论文承认了其局限性，包括离线 SFT 回写的延迟与计算成本，以及缺乏解决整合过程中时间冲突更新的原则性机制，并建议未来在连续、参数高效的适配方面开展研究。