💬 NLP

LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference

本文介绍了 LiveMem，一种针对预训练全注意力机制大语言模型的内在记忆方法，它维护了一个独立于活跃上下文窗口的持久且具有承载能力的记忆状态，从而在历史证据不再存在于即时上下文的长周期推理场景中，实现状态连续性和长期信息留存。

原作者： Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个非常聪明、能记住你说过的一切话的朋友聊天。在人工智能的世界里，这位朋友就是一个“大语言模型”（LLM）。通常情况下，这些模型就像是在参加考试的学生：它们阅读特定的指令和故事，回答一个问题，然后考试就结束了。但如果你想让这位 AI 朋友成为你终身的伴侣，与你聊天多年，帮你规划旅行，记住你喜欢的歌曲，并在数百次对话中解决问题呢？

问题在于，这些 AI 朋友的“工作记忆”小得惊人。把它想象成教室里的一块白板。老师（AI）只能看到现在写在白板上的内容。如果课程进行得太久，老师必须擦掉旧的笔记，以便为新内容腾出空间。一旦被擦除，那些旧笔记就从白板上消失了。传统的 AI 系统试图通过保留一个记录了所有说过的话的巨大笔记本来解决这个问题，并在每次提出问题时翻阅它。但这既慢又笨拙；这就像是不得不停止对话，去图书馆查阅一个事实，而不是直接记住它。科学家们提出的重大问题是：我们能否给 AI 一种方法，让它即使在白板上的具体文字被擦除后，仍能在白板上保留一种对过去的“感觉”或“摘要”，从而让它永远不会丢失对话的脉络？

这正是《LiveMem》这篇论文所探讨的内容。刘志琛和孙睿晗领导的研究团队提出了一种让 AI 处理长对话而不至于“丢掉理智”的新方法。他们引入了一个名为 LiveMem 的系统，它就像是为 AI 的思想准备的一个神奇的、永久的“背包”。

它是这样工作的：想象一下，AI 有两种思考方式。第一种是它的“主脑”，观察当前对话在白板上的内容。这个白板的大小是有限的；当它变满时，最旧的笔记会被擦除以腾出空间。这是正常的。但 LiveMem 增加了第二部分：一个“副脑”或循环记忆状态（Recurrent Memory State）。这个副脑就像是一个 AI 随时背着的背包。随着 AI 阅读新的词汇，它会更新这个背包。当白板变满且旧笔记被擦除时，那些被擦除笔记中的重要信息并不会丢失；它们会被打包进背包里。

研究人员使用一种特殊的技巧训练了这个系统。他们不仅仅是让 AI 阅读长篇故事；他们还强迫它练习在“忘记”白板内容的同时保持“背包”充实。他们使用了一种叫做“上下文轮转”（context turnover）的方法，即取一段长对话，向 AI 展示开头，然后从白板上擦除开头，再问它一个关于开头的问题。如果 AI 仅仅依赖白板，它就会失败，因为笔记已经没了。但由于 LiveMem 已将关键细节打包进了它的背包，AI 仍然可以正确回答。

论文表明 LiveMem 表现得非常好。在测试中，当证据从 AI 的直观视野（白板）中被完全擦除时，LiveMem 仍能以高准确度回答问题。例如，在名为“LongMemEval”的测试中，当支撑性证据被推向远离当前对话窗口的位置时，LiveMem 的表现显著优于其他方法。虽然没有这种“背包”的模型（如标准的 Qwen3-4B）准确率大幅下降，但 LiveMem 的准确率比它们高出十个百分点以上。这表明 AI 不仅仅是在瞎猜；它实际上是在将其历史记录进其记忆状态中。

然而，作者也谨慎地指出，这个“背包”并不是一个完美的录音室。它并不存储过去所说的每一个单词的精确原貌。如果你要求 AI 背诵三天前被擦除的一个特定句子，它可能无法 100% 正确地复述。它更像是一个关于发生过什么的摘要或一种感觉。论文明确排除了这种系统是每个 token（字符/词元）的完美、无损存档的观点。相反，它是一个“有损”的状态，旨在保留记忆中有用的部分。

团队还发现，如何训练 AI 至关重要。如果你只是把各种数据混合在一起，AI 可能无法有效地学习使用背包。他们发现，一种特定的训练计划——先从长篇故事开始以“唤醒”记忆侧，然后切换到不同任务的混合模式——效果最好。这使得 AI 能够学会如何高效地向其背包写入和从中读取信息。

简而言之，LiveMem 提供了一种构建能够真正记住其历史的 AI 助手的新途径。它不再仅仅是去图书馆查阅旧笔记，或者依赖一个微小的白板，LiveMem 给 AI 提供了一个随每一次对话而演进的持久状态。虽然它不是一个记录每个单词的完美存档，但它成功地让互动的“故事”保持鲜活，使得 AI 即使在过去的具体细节从其直观视野中消失后，仍能保持连贯性和帮助性。这让我们离能够实现真正的终身伴侣、维持连续的自我感和历史感的 AI 智能体又近了一步。

技术摘要：LiveMem

问题定义：上下文更迭下的状态连续性

长时运行的 AI 助手和智能体所处的交互生命周期，不可避免地会超过大语言模型（LLM）固定的上下文窗口。虽然现有的解决方案，如检索增强生成（RAG）和外部记忆系统，提供了“历史访问能力”（根据需求检索过去的特定记录），但它们无法提供状态连续性。这些系统充当的是持久化存储（类似于笔记本），但无法在工作上下文发生变化时，维持一个无缝、连续的计算状态。

识别出的核心问题在于：当工作上下文经历更迭（即为了腾出空间给新 Token，旧的 Token 被驱逐）时，如何保持推理的连续性。现有方法难以在与其活跃上下文生命周期相互独立的固定容量状态中，将计算过程向前推进。论文指出，虽然外部检索处理了“历史访问”，但需要一种截然不同的机制来实现“状态连续性”——即一种在线更新的、持续性的记忆状态，并在模型的整个生命周期内持续存在。

方法论：LiveMem 架构与训练

LiveMem 被引入为一种内在记忆方法，它通过一个并行的循环记忆分支来增强预训练的全注意力 LLM。该系统旨在严格的上下文更迭约束下运行。

1. 架构

LiveMem 修改了标准的解码器 Transformer，在每个注意力层添加了一个侧向路径记忆分支：

主路径（注意力）： 维护一个有界的当前工作上下文（KV cache），用于精确的短期访问。当达到上下文限制时，旧的键值（KV）条目会被驱逐（上下文更迭）。
侧向路径（循环记忆）： 使用 Gated DeltaNet-2 (GDN2) 作为并行循环状态（ $S_t$ ）的骨干。该分支从与主路径相同的隐藏表示中，持续读取并更新一个固定大小的记忆状态。
集成： 在每个解码器层，GDN2 分支的输出（ $r_t$ ）直接加到注意力输出（ $a_t$ ）上（ $o_t = a_t + r_t$ ）。
机制： GDN2 的状态更新涉及学习到的衰减（decay）、擦除（erase）和写入（write）门控。至关重要的是，当一组 Token 从主注意力路径中被驱逐时，其信息会被保留在循环记忆状态中。系统保留系统提示词（system prompt）作为“注意力汇点”（attention sink），以确保结构稳定性。

2. 上下文更迭与推理一致性

系统在训练和推理过程中都强制执行“最旧优先”的驱逐策略。

训练： 使用动态注意力掩码来模拟上下文更迭，迫使模型依赖于已被从活跃窗口中移除的信息的记忆状态。
推理： 被驱逐的 KV 页面被释放到内存中，使其对注意力机制不可见。循环状态是该历史信息的唯一剩余载体。

3. 面向记忆的后训练

仅仅添加一个循环模块并不能保证它能承载有效的记忆。LiveMem 采用了一种特定的后训练方案，以确保该状态变得“鲜活”（即在源 Token 消失后，它能真实地影响未来的预测）：

监督微调 (SFT)： 模型在长文档问答和多跳推理任务上进行训练，其中历史记录会从注意力窗口中截断。损失函数仅应用于答案 Token，从而迫使模型利用记忆状态来生成正确答案。
强化学习 (RL)： 模型通过 GRPO 算法进一步优化，其奖励信号基于答案的准确性。这鼓励模型更好地在记忆状态中进行信息的保存与检索，特别是在涉及多个共享历史背景的问题场景中。
训练策略： 使用课程学习法，模型首先通过长文本数据进行“热身”以激活侧向分支，随后在重新平衡的混合数据上进行训练，以精炼记忆维护能力。

核心贡献

形式化状态连续性： 论文将“上下文更迭下的状态连续性”定义为一种独特的推理能力，将其与外部检索机制区分开来。论文将其建模为一个生命周期规模的需求，即一个固定容量的记忆状态独立于活跃上下文而存在。
LiveMem 架构： 一种端到端的方案，将基于 GDN2 的循环侧向分支集成到全注意力 LLM 中，使模型在主注意力窗口旋转时仍能维持连续的状态。
训练范式： 提出了专门用于面向记忆的后训练任务（SFT 和 RL），旨在迫使模型学习如何在起始 Token 对注意力机制不再可见后，进行信息的写入、保存和读取。
实证验证： 通过全面的评估证明，即使在证据被完全驱逐的情况下，记忆状态也能携带任务相关的有效信息。

实验结果

性能概览：
LiveMem 在 Qwen3-4B 模型上针对 Wiki QA、对话问答（Conversation QA）、测试时学习（TTL）和长文档问答任务进行了评估，并将上下文窗口限制在 8k 或 32k 个 Token。

整体性能： LiveMem（特别是 RL 版本）取得了领先的整体性能，超越了包括 RAG、Context2LoRA、 $\delta$ -Mem 和循环基线（Recurrent baseline）在内的基准模型。
多问题 (MQ) 任务： 当面对多跳、多问题任务时，包括 RAG 和 $\delta$ -Mem 在内的其他方法性能大幅下降，而 LiveMem 保持了领先地位，这表明其通过持久状态同时处理多个逻辑链的能力更为出色。
长问答： LiveMem 在长文档任务中取得了均衡且强劲的分数，而其他方法通常只擅长特定的子集。

状态连续性分析 (LongMemEval)：

证据驱逐： 实验表明，当支持性证据从活跃上下文窗口中被完全移除时，LiveMem 仍能保持显著高于基准模型的准确率（例如，在完全驱逐的情景下，Qwen3-4B 的表现约为 16.5% vs 3.1%）。
距离分析： 随着证据与当前窗口之间的距离增加，LiveMem 的准确率虽有轻微下降，但保持稳定且可测量，证明了记忆状态能够跨越多个更迭间隔保留信息。
消融实验： 使用全参数训练侧向路径比使用 LoRA 获得了更好的稳定性，这表明注意力机制与 GDN2 之间的分布差异需要进行全量适配。

局限性：
论文指出 LiveMem 的记忆状态是有损的。一旦信息被驱逐，它无法可靠地重建任意细粒度的 Token（例如“大海捞针”测试中的特定“针”），这在 Needle-in-a-Haystack (NIAH) 测试中得到了体现，即在受限上下文中，LiveMem 的表现与基础模型相似。该系统旨在实现任务相关的启发，而非精确的存档式回溯。

意义与主张

论文声称 LiveMem 将状态连续性确立为一个独特且互补的抽象概念，用于持续的 LLM 推理。

互补性： 论文认为“历史访问”（检索）与“状态连续性”（循环记忆）是正交的。检索决定了读取什么过去的信息，而循环状态决定了在阅读之后，信息的一致性如何随生命周期得以维持。
实用性： 通过维护一个不依赖于查询且能在上下文更迭中存续的记忆状态，LiveMem 填补了有限容量的注意力机制与外部检索之间的关键空白，向着实用的无限上下文推理迈进——即模型的内部状态可以持续演进，而不必仅仅依赖于重新获取历史记录。
谦逊态度： 作者明确指出 LiveMem 并非在所有场景下都是最优解；检索和参数化记忆仍然各具优势。然而，实验结果足以证明，内在记忆状态确实可以在工作上下文之外承载历史信息，而这正是以往基于工程手段的记忆补丁所无法实现的。