🤖 machine learning

Multi-Head Recurrent Memory Agents

本文介绍了多头循环记忆（MHM），这是一个无需训练的框架，它通过“先选择后更新”的策略将记忆划分为独立的头部以防止覆盖，从而显著提升了各种模型和规模下的长文本上下文保留能力及端到端性能。

原作者： Jiatong Li, Samuel Yeh, Sharon Li

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiatong Li, Samuel Yeh, Sharon Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图记住一个长达一百万页的故事，以便在最后回答一个关于它的问题。

问题所在：“单笔记本”瓶颈
目前的 AI 智能体在做这项工作时，就像一个只有一个单笔记本的学生。每当他们读到一个新的章节，就必须把新信息写进那个笔记本里。但笔记本的大小是固定的。为了给新的一页腾出空间，他们不得不擦掉旧的一页。

随着故事越来越长，学生被迫擦除越来越多的早期记录。当他们读到书的结尾时，他们不小心擦掉了回答最终问题所需的关键线索。这种现象被称为**“留存失败”（Retention Failure）**。这个学生并不是阅读能力不行（他们能很好地捕捉信息），而是他们的存储方式强迫他们覆盖掉自己的笔记，导致他们不擅长记忆。

解决方案：“多头”图书馆
作者提出了一种名为多头循环记忆（Multi-Head Recurrent Memory, MHM）的新系统。不再是一个笔记本，想象一下这个学生现在拥有四个独立的笔记本（或称为“头”）。

它是这样运作的：

规则： 在任何给定时刻，学生只被允许在一个笔记本中进行书写。
保护： 其他三个笔记本是被锁定的。它们不能被触碰、擦除或覆盖。
策略 (MHM-LRU)： 学生使用一个简单的规则：“始终在最久未使用的那个笔记本中书写。”

这创造了一个安全网。如果学生在笔记本 A 中写下了一个关键事实，然后接下来的三个章节中分别在笔记本 B、C 和 D 中书写，那么笔记本 A 中的那个事实就是安全的。在循环回到该笔记本之前，从结构上讲，它是不可能被擦除的。这把记忆的负担从 AI 的“脑力”转移到了系统的架构本身。

结果：挽救局面
研究人员在大型数据集（高达 100 万词）上测试了这一点。

旧方法（单笔记本）： 随着故事变长，AI 记住答案的能力几乎降至零（成功率低于 30%）。
新方法（多头图书馆）： AI 保住了答案，在最难的测试中将成功率提升至接近 74%。

为何特别之处

无需训练： 你不需要重新教导 AI 或赋予它更多的脑力。你只需要改变其记忆的组织方式。
无额外成本： “最近最少更新”（Least-Recently-Updated）这一规则非常简单，不需要额外的计算机处理时间或内存空间。这就像有一位只需查看时钟来决定下一个使用哪个书架的图书管理员。
通用性： 它适用于不同类型的 AI 模型和不同种类的问题（如数学、逻辑或寻找事实）。

简而言之
该论文认为，AI 遗忘长篇故事的原因并不是因为 AI “笨”，而是因为其记忆系统被设计为会删除自己的过去。通过从单一、脆弱的记忆块切换到旋转式的多个受保护的记忆块系统，AI 可以在无需任何昂贵升级的情况下，可靠地记住数百万词的信息。

技术摘要：多头循环记忆智能体 (Multi-Head Recurrent Memory Agents)

问题陈述

循环记忆智能体通过将输入块迭代压缩为固定大小的记忆窗口，从而将大语言模型（LLMs）扩展到任意长的上下文。尽管具有可扩展性，但这些智能体面临着一个系统性的可靠性问题：端到端性能会随着上下文长度的增加而显著下降。

作者通过将性能分解为两个因素来诊断这一失效问题：

记忆捕获 (Memory Capture)： 智能体是否在更新过程中成功识别并将相关信息写入记忆。
记忆留存 (Memory Retention)： 该信息在后续更新中能否存活并维持到最终状态。

在 RULER-HQA 基准测试上的定量分析表明，记忆留存是主要的瓶颈。虽然捕获率在不同上下文长度下保持稳定（最高达 896K token），但留存率却大幅崩溃，在极端长度下跌至 30% 以下。其根本原因被确定为架构层面的：现有设计将记忆维持为一个单体文本块 (monolithic text block)。在这种单头结构中，每一次更新都带有覆盖先前保留内容的风险。随着上下文增长，在早期步骤写入的信息必须在随后越来越多的覆盖操作 ( $T-t$ ) 中生存下来，这使得信息丢失在结构上变得不可避免。

方法论：多头循环记忆 (MHM)

为了在无需重新训练模型的情况下解决留存失败问题，作者提出了 多头循环记忆 (Multi-Head Recurrent Memory, MHM)，这是一个通用的、无需训练的框架。

核心架构

MHM 不再使用单一的记忆块，而是将记忆划分为 $H$ 个独立的文本块（头），记作 $m_t = \{m^1_t, \dots, m^H_t\}$ 。该系统通过阶段式“先选择后更新” (stage-wise select-then-update) 策略运行：

选择阶段 (Selection Stage)： 在每个步骤 $t$ ，由一个准则选择恰好一个头 $h^\star$ 进行更新。剩余的 $H-1$ 个头在结构上受到屏蔽，免受覆盖影响。
更新阶段 (Update Stage)： 记忆智能体根据当前数据块 $c_t$ 和查询 $q$ 生成新内容，仅覆盖所选的头 $m^{h^\star}_t$ 。其他头保持不变。

这种设计将留存的负担从模型“记忆”的能力转移到了架构保证上——即未被选择的头将被强制保留。

轻量化实例化：MHM-LRU

作者引入了 M%，MHM-LRU (Least-Recently-Updated，最近最少更新) 作为一种特定的、计算高效的实例化方案。

选择规则： 在每一步，选择距离上次更新时间最长的那个头。
保证： 该规则可以证明确保了均匀的头部利用率（在所有其他头被更新一次之前，没有任何一个头会被更新两次），并最大化了记忆冗余度。
效率： 它不需要额外的 LLM 推理来进行选择（仅需简单的年龄比较），并且相对于单头基准模型，其额外的 token 开销为零。

核心贡献

对留存失败的诊断： 本文通过分解分析定量地指出，在长上下文中，循环记忆智能体的失效模式主要是记忆留存（而非捕获）问题，且分析显示留存率与端到端准确率之间存在极强的相关性 ( $\rho=0.98$ )。
MHM 框架： 一种通用的、无需训练的架构，通过将记忆划分为独立的头并执行阶段式更新来减轻覆盖压力。
MHM-LRU： 一种轻量级实现，通过结构化的方式提供留存保证，且无需额外的计算成本。
实证验证： 通过广泛的实验证明，MHM-LRU 在不同模型家族、规模和任务类型上都能显著提高留存率和准确率。

实验结果

作者在 RULER-HQA (7K–896K tokens) 和 BABI-long (8K–1M tokens) 上，使用 Qwen2.5-14B-Instruct、Qwen2.5-32B-Instruct 和 gpt-oss-120b 对 MHM-LRU 与基准模型 (MemAgent 和 ReMem) 进行了评估。

记忆留存率 (MRR)：
- 在 896K tokens 的 RULER-HQA 上，MHM-LRU 将 MRR 从 <30% (基准模型) 提升至 73.96%。
- 在 1M tokens 的 BABI-long 上，MRR 从 42.96% 提升至 68.68%。
- 留存增益随头数增加而扩展；在 896K tokens 时，将头数从 1 增加到 8，使 MRR 从约 26% 提升至约 87%。
端到端准确率：
- MHM-LRU 在 100K–1M 范围内保持了稳定的准确率，而基准模型则出现了剧烈下降。
- 在 RULER-HQA 的 896K tokens 处，MHM-LRU 实现了 49.74% 的准确率，相比之下，MemAgent 为 21.62%，原生 LLM 基准模型为 0.00%。
泛化性：
- 收益在不同模型规模 (32B 和 120B 参数) 和多样化任务类型（包括关系推理和是非题）中均表现出泛化能力。
- MHM-LRU 在准确率上优于经过强化学习微调的变体 (MemAgent+RL)，同时所需的 VRAM 更少，且无需模型重训。
效率：
- 由于“自发摊销” (spontaneous amortization) 效应（向单个头写入减少了每步生成的 token 数），MHM-LRU 在中短上下文长度下速度更快，生成的输出 token 也更少。

重要性与主张

本文将架构优化定位为实现可靠长上下文循环记忆的一种实用且高性价比的路径。作者主张：

留存失败是单体记忆设计固有的结构性问题，而非当前 LLM 能力的局限。
MHM-LRU 通过将随机的覆盖风险转化为确定性的架构属性，提供了“结构性留存保证”。
该方法无需访问模型权重、无需特定任务训练，也无需额外的 VRAM，即可实现显著的性能提升，使其能够立即应用于现有系统。

作者承认存在局限性，指出最优的头数可能取决于上下文长度和任务结构，并建议将自适应头分配作为未来的研究方向。