🤖 machine learning

Dynamic Compression in Recurrent Networks

本文引入了动态压缩，这是一种针对循环模型的机制，通过选择性地重新访问过去的标记以细化其固定大小的状态，从而通过以额外的计算换取更有效的历史保留，来降低内存需求并提高可扩展性。

原作者： Jyothish Pari, Ryan Bahlous-Boldi, Pulkit Agrawal

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Jyothish Pari, Ryan Bahlous-Boldi, Pulkit Agrawal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个图书馆，其中一本微小的笔记本必须记录下整个对话的历史。每当有一个新句子到来时，图书管理员必须决定要在笔记本上写下什么，因为他知道笔记本已经没有更多页面了。图书管理员并不知道对话的哪一部分在将来会变得重要，因此他们必须尝试同时保留所有内容，这往往导致记录变得混乱且不完整。这就是现代计算机模型在处理长序列信息时面临的基本挑战。这些旨在理解语言并在时间维度上解决问题的模型，传统上会将它们的整个历史压缩进一个固定大小的记忆状态中。它们从头到尾阅读单词序列，随着每个新单词的出现更新其内部状态，但它们从不回头。一旦一个单词被处理，它的细节就会被锁定在那个微小的状态中，模型必须猜测哪些细节对未来的任务至关重要。如果模型的猜测错误，或者记忆空间太小无法清晰地容纳所有内容，它就会失去有效利用过去信息的能力。

麻省理工学院不可预见人工智能实验室（Improbable AI Lab at MIT）的研究人员针对这种记忆问题提出了一种不同的处理方法。他们没有强迫模型在第一次看到一个单词时就做出完美且永久的决定，而是引入了一种称为“动态压缩”的方法。在这种方法中，模型保留了一份所见原始文本的完整、无损记录，但它仍然维持着一个微小的、固定大小的工作记忆。当模型遇到需要特定过去信息的任务时，它被允许暂停，回顾原始记录，并有选择性地重新访问最相关的部分。通过重新阅读这些特定的部分，模型可以利用更高质量的信息来更新其微小的工作记忆，从而有效地提炼其对过去的理解。这创造了一种权衡：模型使用了更多的计算能力来重新扫描历史，但它可以用更小的记忆状态实现更好的效果。

为了测试这个想法，研究人员创建了一个受控实验，要求模型学习并重用数学函数。在他们的设置中，模型被展示了一个包含多个不同函数的长序列，每个函数都由一组示例定义。随后在同一个序列中，模型被给予了几个新的示例，并被要求识别出哪些之前学习过的函数适用于一个新的输入，然后使用该函数进行预测输出。这是一个困难的任务，因为模型必须首先在有限的记忆中存储所有不同的函数，然后在稍后阶段弄清楚哪一个函数是相关的，而此时它并没有足够的新的示例来从头开始重新学习该函数。在一个只能阅读一次序列的标准模型中，每个函数从一开始就必须以高精度存储，因为模型不知道哪一个会被用到。这迫使模型必须使用海量的记忆来保持所有可能性的清晰度。

研究人员发现，通过允许模型有选择性地重新扫描历史，记忆需求大幅下降。在测试中，一个能够回溯过去的模型所需的记忆状态约为 111,000 个元素，而能达到同样性能的标准模型则需要超过 300 万个元素来存储相同量的信息。模型学会了根据新的线索来识别历史中的相关部分，然后仅重新处理那个特定的部分，以强化其内部表示。这个过程并不是关于重新阅读整个历史，因为那样会既慢又低效，而是关于学习如何精确预测哪一小段过去需要第二次查看。模型利用训练期间产生的信号来学习关注点在哪里，从而使其能够在推理阶段直接预测正确的重新扫描目标，而无需重放上下文。

这项研究表明，随着需要存储的函数数量增加，该方法具有更好的扩展性。当研究人员增加模型需要记忆的函数数量时，标准模型的性能迅速下降，除非其记忆容量呈指数级增长。相比之下，拥有动态压缩的模型即使在任务变得更加复杂时，也能以较小的记忆占用维持其准确性。研究人员还开发了一种方法，让模型在没有预先告知正确答案的情况下学习哪些部分需要重新扫描。通过分析在上下文重放的训练阶段中模型尝试更新其记忆的强度，他们创建了一个系统，使模型能够预测自己的重新扫描目标。这种自监督方法使模型能够学习一种有效的策略来回顾过去，缩小了理想场景与实际应用之间的差距。

这项工作的意义在于，它为我们思考智能系统如何随时间管理信息提供了一种新的方式。与其试图在第一次时就完美地压缩一切（这在资源有限的情况下通常是不可能的），不如保留一份原始记录，并在必要时投入额外的精力来提炼理解。这种方法将记忆视为不仅仅是一个必须同时容纳一切的静态容器，而是一个可以随着新需求出现而不断更新和改进的动态工作空间。虽然目前的实验是在一个使用数学函数的合成环境中进行的，但其背后的原理为构建能够处理更长上下文和更复杂任务的模型提供了一条潜在路径。结果表明，通过改变模型“记忆多少”与“计算多少”之间的平衡，可以实现更有效的过去信息重用，从而使系统在持续学习和适应方面变得更加强大。

技术摘要：循环网络中的动态压缩

问题陈述
循环神经网络（RNN）为长上下文推理提供了高效的扩展方案，相对于上下文长度 $t$ ，其所需的内存和计算量仅为 $O(1)$ ，而 Transformer 则需要 $O(t)$ 。然而，标准的因果循环架构采用单向左向右的单次处理过程（ $S_t = f_\theta(S_{t-1}, x_t)$ ）。这造成了一个根本性的约束：模型必须在得知哪些特定细节对未来任务至关重要之前，就将整个历史信息压缩进一个固定大小的状态 $S_t$ 中。因此，模型被迫做出妥协，以统一且往往不足的保真度来保留所有信息。如果某段特定的历史在初始处理过程中被丢弃或压缩得过于剧烈，则无法仅通过该状态进行恢复，这限制了模型进行持续学习或重用序列早期学到的复杂函数的能力。

方法论
作者提出了一种**动态压缩（Dynamic Compression）**机制，允许循环模型通过额外的循环更新来选择性地重新访问过去的 Token 并修正其固定大小的状态。该方法保留原始输入前缀作为无损记录，同时维持一个固定大小的活跃循环状态。

选择性重扫描（Selective Re-scanning）： 模型不再进行单次处理，而是可以识别先前观察到的位置子集 $I_\tau$ ，并通过相同的循环过程再次处理它们： $S^+_t = f_\theta(S_t, x_{I_\tau})$ 。这使得模型能够在相关任务 $\tau$ 已知后，精炼特定历史片段的表示。
模型架构： 研究使用了 Gated DeltaNet，这是一种线性注意力模型，其状态通过门控 Delta 规则进行更新。更新强度由门控 $\beta_t$ 控制，该门控作为一个信号，指示状态向新值更新的强度。
任务设置： 作者在一个受控的合成任务上评估了该方法，该任务涉及持续函数重用（continual function reuse）。模型观察一个包含 $K$ 个不同线性函数（由矩阵 $A_1, \dots, A_K$ 表示）的“基准阶段（basis phase）”，以及一个“查询阶段（query phase）”，在查询阶段，模型必须根据少样本示例识别并应用正确的函数。
学习重扫描：
- Oracle 设置： 最初，模型使用所需基准的地面真值（ground-truth）索引进行监督，以建立性能上限。
- 自监督设置： 为了消除 Oracle 监督，作者引入了一种方法：一个“重复模型（repeat model）”会对上下文进行两次处理（一次正常处理，另一次在查询之后）。第二次处理中的写入强度 $\beta$ 模式被用作识别重要 Token 的信号。这些模式被聚类成一个小型重扫描码本（re-scan codebook）。随后，一个动态模型被训练用于在少样本块之后、最终查询之前预测正确的码本条目（从而确定要重扫描的 Token），而无需在推理时使用重复的上下文。

核心贡献

动态压缩框架： 本文引入了一种范式，即循环模型通过增加计算量（重扫描）来换取更低的内存需求（更小的固定状态容量）。模型学会了将高保真度的压缩推迟到相关信息的关联性被确立之后。
自监督重扫描策略： 作者证明了无需对“重扫描什么”进行显式监督，即可学习有效的重扫描策略。通过利用重复上下文处理过程中的写入强度信号（ $\beta$ ），他们推导出了一个码本，使模型能够预测哪些过去的 Token 需要被重新访问。
两级存储层级： 该方法建立了一个层级结构，其中原始上下文充当无损的长时存储，而循环状态则充当紧凑且可修正的工作记忆。

结果

状态效率： 在 $K=3$ 个函数的受控设置中，一个具有 111k 个元素循环状态的动态模型，其验证误差低于需要 3.1M 个元素的单次处理模型（在达到同等性能的前提下，状态规模减少了约 28 倍）。
可扩展性： 随着函数数量 $K$ 的增加，单次处理模型的性能迅速下降，且所需的规模增长过快。动态压缩的扩展性更好，通过根据需要增加计算量（重扫描）来保持固定状态下的准确性。
学习策略： “码本动态（Codebook Dynamic）”模型（自监督）的表现显著优于单次处理基准，并接近“Oracle 动态”模型（具有地面真值监督）的性能，这表明无标签的 $\beta$ 信号足以学习有效的重扫描策略。

意义与主张
本文声称动态压缩揭示了一个有利的计算–内存权衡（computation–memory tradeoff）。通过允许循环模型通过重新访问历史来投入更多计算，它们可以更有效地利用固定大小的状态。这挑战了循环模型必须在观察瞬间对历史进行统一压缩的假设。

作者将这项工作定位为迈向更具扩展性的持续学习的一步。他们认为，与其强迫一个固定状态在观察时保留所有信息的高保真度，不如保留原始上下文并选择性地重新访问它，从而允许模型围绕当前任务动态地重新压缩过去。作者对研究范围保持谨慎，指出目前的结果是基于受控的合成设置。他们指出了将此扩展到自然数据的开放问题，例如如何参数化可能的重扫描空间，以及在任务未明确界定时如何为重扫描目标生成监督。他们建议，通过强化学习进行后训练可能是探索这些决策在大规模场景下可行路径的一种方式。

技术摘要：循环网络中的动态压缩

类似论文