🤖 AI

Learning to Remember, Learn, and Forget in Attention-Based Models

本文介绍了 Palimpsa，这是一种将上下文学习（in-context learning）视为持续学习问题的自注意力模型，它通过贝叶斯元塑性（Bayesian metaplasticity）来动态平衡稳定性与塑性，从而克服了门控线性注意力模型在固定容量和干扰方面的局限性，并显著提升了在长序列召回与推理任务上的性能。

原作者： Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Djohan Bonnet, Jamie Lohoff, Jan Finkbeiner, Elidona Shiqerukaj, Emre Neftci

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在通过阅读一个长篇故事来学习一门新语言。在阅读过程中，你需要记住人物的名字和情节要点，才能理解接下来的剧情发展。

问题：“逐渐装满的档案柜”
目前的 AI 模型（例如驱动聊天机器人的模型）非常出色，但它们有一个缺陷。为了记住故事，它们通常会保留一个包含至今为止所读过的每一个单词的巨大“档案柜”。故事越长，这个柜子就变得越大。最终，这会变得过于沉重且运行缓慢，尤其是在小型设备上。

为了解决这个问题，科学家们创造了“线性”模型。这些模型使用一个固定大小的笔记本而不是巨大的档案柜。它们在笔记本上记录新的笔记，但如果笔记本满了，它们就必须涂改旧的笔记以腾出空间。这会导致一个被称为“灾难性遗忘”的问题：模型会不小心抹去早期的重要细节（比如主角的名字），仅仅是为了写下最新的句子。

解决方案：名为“Palimpsa”的智能笔记本
论文作者提出了一个名为 Palpsima 的新模型。他们将模型的记忆处理得像一个重写本（palimpsest）——这是一种古代的羊皮纸，抄写员会刮掉旧的文字以便重复使用纸张。但 Palimpsa 不仅仅是简单地刮掉一切，它很聪明，知道该刮掉什么。

它是这样工作的，使用了简单的类比：

1. “重要性标签”系统

想象你的笔记本每一页都有一个特殊的标签，上面写着：“这有多重要？”

旧的线性模型： 它们对每一页都一视同仁。如果需要空间，它们就直接擦掉最旧的一页，即使那一页包含了最关键的情节转折。
Palimpsa： 它使用了一种名为**元塑性（Metaplasticity）**的系统。这就像是每一条信息的“学习率”。
- 如果一个事实是重要的（比如反派的名字），模型会在上面贴上一个“请勿擦除”的贴纸。这使得该信息变得极难被改变或覆盖。
- 如果一个事实是陈旧的或不重要的（比如 1000 词前出现的一个关于树木的随机描述），模型会决定让这条信息自然消逝是可以接受的。

2. 学习、记忆与遗忘

论文将 Palimpsa 描述为一个学会了三种截然不同技能的模型：

学习： 它能在新信息到达时快速吸收。
记忆： 它保护“重要”的信息，使其不被新的、相关性较低的数据覆盖。
遗忘： 它主动丢弃“陈旧”的信息。这至关重要。如果模型从不遗忘，它最终会被堆积如山的旧、无用数据填满，从而无法学习任何新东西。这被称为“灾难性记忆”。Palimpsa 通过放手旧事物来为新事物腾出空间，从而避免了这个问题。

3. 与“Mamba”的联系

论文中有一个引人入胜的发现，关于一个名为 Mamba2 的流行模型。

可以把 Mamba2 想象成一名非常快速、高效的短跑选手，他擅长短距离冲刺，但如果比赛时间过长，他往往会掉落东西。
作者展示了 Mamba2 实际上是 Palimpsa 的一个“特例”，即其中的“遗忘”开关被开到了最大。它遗忘得过于激进，以至于它并没有真正学会如何保护重要的记忆。
升级版： 作者找到了如何通过“外科手术式”的方法，将预训练的 Mamba2 模型的大脑部分替换为 Palimpsa 的部分。这把一名快速的短跑选手变成了一名马拉松选手，即使在跑了 32,000 步之后，依然能记住比赛的起点。

他们证明了什么？

研究人员通过三种方式进行了测试：

“记忆游戏”（MQAR）： 他们给模型一组配对列表（例如“键 A = 值 1”），并在稍后要求它回忆这些内容。Palimpsa 在回忆正确答案方面表现得好得多，尤其是在列表变得非常长时，因为它不会意外地覆盖重要的键值对。
常识： 他们在需要逻辑和通用知识的任务（例如“如果我把杯子放在桌子上，杯子在哪里？”）上测试了模型。Palimpsa 版本的模型得分高于标准版本，这表明它们能够保留必要的上下文来正确回答问题。
长篇故事： 在阅读非常长的文本时，Palimpsa 不会像其他模型那样迅速丧失理解故事的能力。它可以“回溯”到文本更深处去寻找正确答案。

核心结论

Palimpsa 是 AI 管理记忆的一种新方式。它不是简单地填满一个直到溢出的桶，而是像一位聪明的图书管理员。它知道哪些书应该永远留在书架上，哪些书可以保留一段时间，以及哪些书应该扔掉以腾出空间迎接新书。这使得 AI 能够处理更长、更复杂的任务，而不会变得混乱或忘记故事的开头。

技术摘要：学习如何在基于注意力的模型中记忆、学习与遗忘

问题陈述
Transformer 中的上下文学习（In-Context Learning, ICL）是一种在线关联记忆机制，能够实现复杂序列任务的高性能表现。然而，门控线性注意力模型和状态空间模型（SS（SSM）通常依赖固定大小的记忆状态，以解决标准 Transformer（其 KV 缓存需要线性或二次方级扩展）带来的计算和内存瓶颈。这种固定容量造成了“稳定性-塑性困境”（stability-plasticity dilemma）：模型必须在不覆盖关键先验知识（灾难性遗忘）的前提下学习新信息；或者反之，由于过度保留陈旧数据，导致无法整合新信息（灾难性记忆）。来自神经科学的现有元塑性（metaplasticity）方法往往不适用于 Transformer，因为它们依赖于明确的任务边界、增长的记忆或缺乏可微性。此外，当前的线性注意力模型在序列长度增加时，往往面临记忆容量有限和干扰的问题。

方法论：Palimpsa
作者提出了 Palimpsa，一种将 ICL 重新定义为可通过**贝叶斯元塑性（Bayesian metaplasticity）**解决的持续学习问题的自注意力模型。其核心洞察在于，每个注意力状态的塑性应根据基于捕捉累积知识的先验分布所构建的“重要性状态”进行动态调整。

贝叶斯公式化： 注意力头被建模为一个贝叶斯推理问题，其目标是最小化变分自由能目标函数。关于记忆状态 $S$ 的后验分布被递归地更新。为了防止灾难性记忆（即先验变得过于集中），作者引入了一个加权后验，有效地截断了记忆窗口。这是通过在每一步丢弃一部分累积的先验权重来实现的，由遗忘门 $\alpha_t = \exp(-A d_t)$ 控制。
元塑性更新规则： 通过应用具有协方差矩阵对角近似的变分推理（Variational Inference, VI），作者推导出了一个闭式更新规则。记忆状态 $\mu_t$ $μ_{t}$ 和代表每个状态逆方差或精度的重要性矩阵 $I_t$ $I_{t}$ 同时进行更新：
- $I_t = \alpha_t I_{t-1} + (1 - \alpha_t)I_{prior} + \beta_t \otimes k_t^2$
- $\mu_t = \alpha_t \frac{I_{t-1}}{I_t} \odot \mu_{t-1} + \frac{1}{I_t} \odot [(\beta_t \odot v_t) \otimes k_t]$
  在此， $\beta_t$ 作为输入相关的重要性因子，而 $I_t$ 则动态缩放每个状态的学习率。高重要性（低方差）导致稳定性（低塑性），而低重要性则允许更快的学习。
架构变体： 作者实现了两种变体：
- Palimpsa-D： 作为门控 Delta 规则模型（Deltanets）的即插即用替代方案，增加了 $\beta_t$ 的投影项和一个残差项。
- Palimpsa-M： 构建在 Mamba2 之上，其中输入门 $d_t$ 承担双重角色，既是遗忘门也是输入门。
理论统一： 本文证明了各种门控线性注意力模型（如 Longhorn、Deltanets、Mesanet）都是这一共同贝叶斯框架下的特定架构选择或后验近似。值得注意的是，Mamba2 被证明是 Palimpsa 的一个特例，即遗忘率极高，以至于重要性矩阵保持不变（ $I_t \approx I_{prior}$ ），从而实际上禁用了元塑性。

核心贡献

ICL 中的元塑性： 引入贝叶斯元塑性，通过基于不确定性动态调整状态塑性，来缓解上下文中的灾难性遗忘和记忆问题。
Palimpsa 模型： 一种可扩展的注意力模块，通过逐渐释放过时的知识来防止灾难性记忆，并使用自定义算子（kernel）实现高效的 GPU 训练。
统一框架： 通过数学推导，展示了现有的门控线性注意力模型和状态空间模型是同一个共同贝叶斯框架下的特例，并揭示了 Mamba2 是 Palimpsa 的一个极限情况。
转换流水线： 一种将非元塑性模型（如预训练的 Mamba2）通过微调转换为元塑性模型的方法，利用非元塑性算子的速度进行预训练，并利用元塑性的记忆容量进行微调。

实验结果
作者在 170M、760M 和 2.7B 参数规模的模型上，针对合成任务、常识推理和长文本基准测试对 Palimpsa 进行了评估。

合成任务 (MQAR)： 在多查询关联召回（Multi-Query Associative Recall）基准测试中，Palimpsa 一致优于非元塑性基线（包括 Gated Deltanet 和 Mamba2）。随着序列长度增加，性能差距进一步扩大，证明了元塑性在复杂的记忆任务中有效地减轻了覆盖问题。
语言建模与常识推理： 在 FineWeb-Edu 数据集上，元塑性变体（Palimpsa-D 和 Palimpsa-M）在 LAMBADA、PIQA 和 WinoGrande 等任务上的困惑度（perplexity）和准确率均优于其非元塑性对应模型及标准 Transformer。具体而言，在 760M 规模下，经过微调的 Palimpsa-D 比 Gated Deltanet 基线平均准确率高出约 0.8 个百分点。
长文本性能： 在使用 2.7B 参数模型的实验中，通过将 8 层 Mamba2 层（遗忘最弱、有效记忆窗口最大）手术式地替换为 Palimpsa 模块，常识推理能力提升了 +0.84 点，LongBench 基准测试提升了 +1.1 点。虽然元塑性模型在短文本检索任务上表现略逊一筹，但它展示了显著更慢的性能退化过程，并在 32k token 时超越了基线模型。
学习动力学： 分析表明，元塑性比例（区分塑性突触与巩固突触的部分）在训练过程中不断增加，使模型能够在保持对新数据具有塑性的同时，稳定住重要的信息。

意义与主张
本文声称，通过整合神经科学（元塑性）和贝充分贝叶斯推理的概念，Palimpsa 为固定容量记忆模型中的稳定性-塑性困例提供了原则性的解决方案。其意义在于：

理论洞察： 将不同的线性注意力架构统一在单一的贝叶斯框架下，并将 Mamba2 识别为特定的、遗忘占主导地位的极限情况。
实际可扩展性： 通过将预训练（使用快速、非元塑性算子）与微调（使用元塑性算子以扩展记忆容量）解耦，实现了大规模使用元塑性模型。
性能表现： 证明了元塑性可以在不要求标准 Transformer 那种二次方级内存成本的情况下，持续提高长上下文场景下的记忆保留和推理能力。

作者总结道，通过优化在严格内存限制内如何学习、记忆和遗忘信息，该方法支持在资源受限系统（如边缘设备）上部署高性能的序列建模。