🤖 machine learning

Proteus: Incremental Memory Activation for Long-Context Sequence Modeling

本文介绍了 Proteus，一种增量式记忆激活的新范式，它通过逐步扩展有效记忆容量来减轻早期 Token 干扰并提高保留能力，在各种最先进的长上下文模型中展示了持续的性能提升。

原作者： Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能的广袤领域中，一个长久以来定义了机器记忆极限的挑战一直存在。多年来，最强大的系统依赖于一种将遇到的每一条信息都以同等权重对待的机制，即存储一份关于其所读过之所有内容的完整且不变的记录。虽然这种方法在召回特定细节方面具有惊人的精确度，但它也付出了沉重的代价：系统处理的信息越多，计算成本就越高，在面对长篇故事或复杂文档时，最终会变得极其缓慢。为了解决这个问题，研究人员转向了另一种策略，设计出能够将历史记录压缩为单一、固定大小摘要的模型。这使它们变得快速且高效，但也引入了一个新问题。由于记忆空间从一开始就是完全开放的，系统往往会被最早看到的细节填满，导致后续到达的新信息几乎没有留存空间。其结果是，机器能完美记住对话的开头，却难以把握结尾。

一支研究团队现在提出了一种解决这种失衡的方法，引入了一种他们称之为“增量记忆激活”（incremental memory activation）的方法。该方法并非从一开始就保持整个记忆库处于开启和可用状态，而是随着信息序列的增长逐渐解锁记忆。想象一座图书馆，书架最初是锁定的，迫使管理员将前几本书压缩进一个狭小、紧凑的空间中。随着更多书籍的到来，新的书架被解锁，为后来的故事提供新鲜的空间，而无需抹除早期故事的摘要。这种对时机的简单转变迫使系统有效地压缩早期上下文，同时确保后来的信息有空间进行存储，而不至于干扰先前的资料。研究人员在目前现有的几种最先进的基于记忆的模型上测试了这一想法，发现它一致地提高了这些模型理解长文本以及检索其中深层特定细节的能力。

这项工作的核心解决了这些机器学习过程中的一种特定失效模式。当允许模型立即使用其全部记忆容量时，模型首先遇到的信息片段由于面临着空间的竞争，反而不会受到限制。它们可能会占据不成比例的注意力，从而有效地“污染”记忆状态。等到后续信息到达时，记忆已经饱和，新的细节必须挤进来，这往往会覆盖或扭曲早期的数据。研究人员认为，这种静态方法并非最优。他们提出的名为 Proteus 的新范式引入了一种动态调度方案，其中有效记忆容量不是固定的，而是随着输入长度的增加而增长。在序列开始时，系统被迫使用受限的记忆子集，这作为一个瓶ing颈，鼓励它对初始上下文进行总结和压缩，而不是进行详细记忆。随着序列的推进，额外的记忆块被逐步解锁，提供了新鲜的容量用于存储新信息。这确保了后来的标记（tokens）不必为了空间而与早期的标记争斗，从而减少了干扰并提高了对最新上下文的保留能力。

为了测试这一概念，团队将 Proteus 机制应用于包括 SWLA、Comba、Titans 和 Hope-Attention 在内的多种最先进架构模型。这些模型在包含数十亿词汇的海量数据集上进行了训练，研究人员对比了使用和不使用这种新门控系统的性能表现。结果显示出一个清晰且一致的模式：添加 Proteus 显著提升了模型的整体性能。在标准语言任务中，模型产生了更准确的预测和更好的推理得分。这种改进在长上下文场景中尤为明显。当被要求从非常长的文档中检索特定信息时——这一任务通常被称为“大海捞针”——使用 Proteus 的模型在文本长度增加时，仍能比其标准版本更好地保持准确性。例如，在处理长达 16,000 字的文档任务时，使用增量激活方案的模型在寻找正确信息方面表现出显著的增益，而基准模型的效果则出现了剧烈下降。

研究还探讨了这一原则如何超越模型的记忆状态，进而扩展到模型自身的内部参数。通过将模型内部层的学习过程视为一种形式的记忆，研究人员将同样的调度逻辑应用于模型更新自身知识的方式。这种扩展使得该方法可以应用于不依赖传统循环记忆状态的架构，进一步证明了该方法的灵活性。在所有实验中，该方法不需要额外的存储空间或额外的计算成本；它仅仅改变了不同部分参与学习和检索的时机。研究结果表明，容量随时间分配的方式与架构本身同样重要。通过将记忆视为一个随上下文演进的调度程序，而非静态资源，研究人员提供了一个简单且具有广泛适用性的工具，帮助机器更有效地管理长序列，并证明了有时，最好的记忆方式就是慢慢打开大门。

技术摘要：Proteus：用于长上下文序列建模的增量记忆激活

问题陈述

基于注意力机制的 Transformer 的二次方计算成本促使研究转向基于记忆的模型，这些模型将上下文压缩为固定大小的状态（例如现代 RNN）。然而，现有的记忆模型通常在整个序列过程中暴露静态记忆容量。这种设计导致了两个主要的失效模式：

早期过度压缩不足（Early Under-Compression）： 在序列开始阶段，由于记忆状态接近空置，面对没有容量竞争的情况，早期的 token 会占据记忆中不成比例的自由度，而没有被迫进行压缩，从而有效地“污染”了状态。
后期干扰（Later Interference）： 随着序列的推进，后来的 token 必须被挤进剩余的容量中。这迫使新信息覆盖或干扰先前存储的内容，从而降低模型保留后期上下文的能力。

作者认为，静态容量是次优的，因为“合适的”容量量级在序列的开头和结尾是不同的。早期输入需要一个瓶颈来强制执行压缩，而后期输入则需要新鲜的容量以避免覆盖。

方法论：增量记忆激活

本文提出了一种名为增量记忆激活的新范式，其中有效记忆容量是作为上下文长度的函数进行调度，而非固定不变。该范式通过两个互补的机制解决了上述失效模式：

早期瓶颈（Early Bottleneck）： 通过限制序列开始时的活跃记忆子集，迫使模型对初始上下文进行总结（压缩）而非单纯记忆。
新鲜容量（Fresh Capacity）： 随着上下文增长，先前锁定的记忆块会被逐步解锁。这为新信息提供了新鲜的自由度，减少了与早期存储内容的干扰。

Proteus 机制

作者在 Proteus 中实现了这一范式，这是一种轻量级的、基于块（block-wise）的门控方案，适用于广泛的关联记忆架构（包括线性 RNN 和具有基于 MLP 记忆的模型），且不会增加额外的参数成本。

核心组件：

块划分（Block Partitioning）： 将记忆参数（例如矩阵 $M \in \mathbb{R}^{d_k \times d_v}$ ）划分为 $E$ 个等大小的连续块。
确定性调度（Deterministic Schedule）： 一个简单的均匀调度决定了在步骤 $t$ $t$ 时的活跃块数量 $k(t)$ $k (t)$ 。活跃比例在整个上下文长度 $N$ $N$ 内进行均匀增量增长。
- 位于早期片段 $[1, \Delta]$ 的 token 仅与记忆的前 $1/E$ 部分进行交互。
- 随着 $t$ 的增加，额外的块被解锁，直到可以使用全部记忆。
门控操作（Gated Operations）：
- 写（Write）： 更新规则（例如梯度下降）仅应用于当前活跃的块。锁定的块保持固定，不接收更新。
- 读（Read）： 检索操作仅从活跃的子集中读取。
- 数学公式： 对于记忆状态 $M_{t-1}$ 和激活掩码 $g_t$ ，更新为：
  $M_t = M_{t-1} - \theta_t (g_t \odot \nabla \tilde{L}(M^{(g)}_{t-1}; k_t, v_t))$
  其中 $M^{(g)}_{t-1}$ 是活跃子集， $\odot$ 表示逐元素乘法。

向模型参数的扩展（嵌套学习）：
利用“嵌套学习”（Nested Learning）的视角（Behrouz 等人，2025d）——即将 MLP 块视为关联记忆——Proteus 将这一调度原则扩展到了模型参数本身。在 Hope-Attention 等架构中，MLP 块参数的更新由相同的调度进行门控，确保早期训练样本在后期样本到达之前不会过拟合整个参数空间。

核心贡献

增量记忆激活范式： 一种控制上下文流中有效模型容量的新方法，旨在促进早期压缩并减少后期覆盖/干扰。
Proteus 机制： 一种通用的、即插即用的块状门控方案，可将增量激活应用于记忆读/写，并通过嵌套学习应用于 MLP 参数。它不需要额外的参数或内存开销。
实证验证： 证明了 Proteus 在多个基准测试中一致地提升了最先进模型（SWLA, Comba, Titans, Hope-Attention）的性能。

实验结果

作者在 760M 和 1.3B 参数规模下，分别在 50B 和 100B token 上评估了四类模型家族（Hope-Attention, SWLA, Comba, Titans）。

语言建模与常识推理： Proteus 在 Wikitext 上持续降低了困惑度（perplexity），并在 LAMBADA 上提升了零样本准确率。这些增益在所有骨干网络中均有观察到，其中 Titans+Proteus 取得了最佳整体性能（例如，在 1.3B 规模下平均准确率为 58.00）。
大海捞针（Needle-in-a-Haystack, NIAH）： 改进在长上下文长度（16K）和更难的变体（如 UUID 检索）上最为显著。例如，Proteus 将 Titans 在 16K 长度下的 S-NIAH-3 性能从 21.4% 提升至 29.8%。在基座模型已经饱和的短上下文场景下，Proteus 的表现持平。
长上下文检索与理解： 在 SWDE、SQuAD 和 FDA 等任务中，Proteus 提高了鲁棒性和长度外推能力，特别是对于那些此前会出现准确率剧烈下降的模型（Comba, Titans）。在 LongBench 基准测试中，Proteus 提升了所有三个评估骨干网络的平均得分。

关键观察： 性能增益通常随上下文长度增加而扩大，证实了该机制专门有助于长上下文的保留与外推。

意义与主张

本文主张静态记忆对于长上下文序列建模是次优的。通过将记忆容量视为静态资源，模型无法平衡早期压缩需求与后期保留需求之间的关系。

Proteus 的意义在于其简单性和广泛的适用性：

它是一个简单的调度工具，并不改变底层的记忆架构、更新规则或内部目标。
它是架构无关的，可以提升从线性 RNN 到复杂记忆增强网络的多种模型。
它证明了调度有效容量是提升长上下文性能的一个基本杠杆，为增加模型规模或记忆复杂度提供了一个实用的替代方案。

作者保持了谦逊的态度，指出目前的调度是固定且人工设计的，且将扩展到 MLP 块仅作为概念验证。他们建议未来的工作可以探索学习型、数据驱动的激活策略，以及将增量激活与增长型记忆架构相结合。