🤖 machine learning

Subtract or Replay? Exact Deletion from Language-Model Memory

本文证明了从语言模型记忆中进行精确删除从根本上取决于记忆表示，其中可寻址记录可以通过代数减法进行移除，而纠缠写入则需要通过基于重放的重建来实现位对位的状态恢复。

原作者： Vishwajith Ramesh

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Vishwajith Ramesh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下一个从不遗忘任何事物的超级智能数字助手。你告诉它一个秘密，它会将这个秘密存储在它大脑内部一个巨大的、隐形的图书馆里。稍后，你可能会要求它写一个故事或给出一个建议，它就会把那个秘密取出来以提供帮助。但如果你改变主意了呢？如果你对助手说，“其实我没说过那件事”，“那是失误，请把它删掉”怎么办？在现实世界中，如果你烧掉一封信，信上的文字就消失了。但在计算机中，仅仅告诉它“忘记”是很棘手的。计算机可能只是把秘密藏得很深，或者它可能已经利用那个秘密构建了大脑的其他部分，使得仅仅通过“删除”而不破坏其他所有部分变得不可能。这就是“机器遗忘”（machine unlearning）的问题。科学家们正在努力研究如何让 AI 能够根据指令真正地忘记特定事物，而不仅仅是假装忘记。这对于隐私至关重要，就像是为你的数字生活提供一种“被遗忘权”，确保如果你要求机器人删除一段记忆，它真的能做到，而不留下任何幽灵般的痕迹。

这篇题为《减去还是重播？》（Subtract or Replay?）的论文探讨了这个问题，并提出了一个简单的问题：记忆是如何存储的？ 作者 Vishwajith Ramesh 及其同事发现，答案完全取决于 AI 记忆室里的“家具”。他们发现，删除记忆有两种截然不同的方式，你必须选择正确的工具，否则就会失败。

两种删除记忆的方式

论文在两种不同类型的 AI 模型上测试了这个想法，这些模型就像两种不同类型的图书馆。

1. “可寻址”图书馆（Gemma 模型）
想象一个图书馆，每本书都有一个特定的、唯一的书架编号。如果你想移除一本书，你只需要去那个书架把它拿下来即可。你不需要重建整个图书馆。
作者在名为 Gemma 的模型上测试了这一点。他们用一个特殊的系统替换了其标准的记忆部分，这个系统充当了这种可寻址图书馆的角色。在这个系统中，每一块信息都有一个“系数”（可以理解为音量旋钮），控制着它对 AI 回答的影响程度。

魔术技巧： 为了删除一段记忆，他们只需将音量旋钮调到零。这被称为“代数递减”（algebraic decrement）。
结果： 它完美地奏效了。当他们把旋钮调低时，AI 的输出在数学上与该记忆从未存在过时的输出完全一致。其差异极其微小，几乎为零（一个被称为 KL 散度的数值为 5.4 × 10⁻¹⁵）。
代价： 这仅在较小的模型（10 亿参数）上表现良好。随着模型变大（40 亿和 120 亿参数），这种方法会变得混乱且昂贵，分别使 AI 的性能下降了 11.2% 和 44.3%。因此，虽然“调低旋钮”这个技巧对于小型图书馆很完美，但它并不是一个适用于巨型图书馆的万能方案。

2. “编织”图书馆（Kimi 模型）
现在，想象另一种不同的图书馆，书本不是放在书架上的。相反，每本书的页面都被编织在一起，形成了一幅巨大的、单一的挂毯。如果你抽走一根线（一段记忆），整幅挂毯就会发生偏移，图案也会随之改变。
作者在名为 Kimi 的模型上测试了这一点，该模型使用“循环状态”（一种类似挂毯的记忆）。在这里，每一条新的信息都会改变整个记忆的状态。

问题： 他们尝试像对待 Gemma 那样直接“减去”这段记忆。结果失败了。因为记忆是编织在一起的，移除一根线并不仅仅是留下一个洞，而是会留下一个扭曲的图案。数学显示，12% 到 49% 的记忆影响会根据被删除部分之后出现的内容而发生变化。你不能仅仅减去它；“删除”后的收据不再有效。
解决方案： 由于你无法在不破坏图案的情况下从编织的挂毯中抽走一根线，所以你必须重建它。作者使用了一种“检查点与重播”（checkpoint and replay）的方法。他们保存了挂毯在不想要的线被织入之前的快照。然后，他们将 AI 回溯到那个快照，并重播了之后发生的所有事情，但这次跳过了那根坏掉的线。
结果： 这完美地奏效了。经过重播后，AI 的记忆与从未见过那根坏线的记忆在位级（bit-for-bit）上是完全一致的。他们在长达 18,842 个 token 的真实临床笔记上进行了测试，每次都成功了。它还允许他们通过在重播前将坏线替换为好线，从而完美地“修正”记录。

这对你意味着什么

论文的主要结论是，“精确删除”并不是一个单一的魔法按钮。它是一种取决于记忆构建方式的属性。

如果记忆为每条记录保留了清晰的地址（如 Gemma 的特殊设置），你可以快速且完美地减去它。
如果记忆将一切编织在一起（如 Kimi 的挂毯），你无法减去它。你必须从保存的检查点开始重建故事，跳过错误的部分。

作者非常明确地指出了他们没有发现的事实：他们证明了仅仅尝试“掩盖”或“抑制”一段记忆（告诉 AI 忽略它）是不够的。AI 仍然会以隐藏的方式“记得”它，攻击者通常可以将其重新提取出来。真正的删除需要完美的减法或完美的重建。

简而言之，如果你想让 AI 真正忘记，你首先要检查它的记忆室。它是带书架的图书馆吗？那就调低旋钮。它是编织的挂毯吗？那就回溯并重播。虽然没有捷径，但现在我们确切地知道该为每种任务使用哪种工具。

技术摘要：语言模型记忆中的精确删除

1. 问题定义

本文探讨了从已部署自回归语言模型（LLMs）的持久记忆中进行精确删除（exact deletion）的挑战。与试图修改模型参数以“忘记”数据的权重空间去学习（weight-space unlearning）不同，这项工作关注的是上下文记忆（in-context memory）：即那些已经被摄入到模型的持久状态（注意力缓存或循环状态）中并正在塑造下游输出的记录。

核心问题在于，仅仅在提示词（prompt）后追加修正内容并不能消除原始错误记录对模型内部状态的影响。作者通过一个反事实标准（counterfactual standard）来定义精确删除：删除后的模型输出必须与构建在“假设该记录从未被摄入”之上的记忆状态所产生的输出相匹配。
$f(q; D_j(B(R))) = f(q; B(R \setminus j))$
论文指出，能否在不进行全量重训练的情况下实现这种等价性，完全取决于记忆表示（memory representation）。如果一条记录的影响保留了一个特定的“地址”（一个可逆的系数或缓存条目），则可以对其进行减法操作。如果记录的影响被后续写入的过程编织进了一个共享的循环状态中，则减法操作会失效，必须进行重建。

2. 方法论

作者通过测试两种不同的记忆架构和删除策略来具体化这一区别：

A. 可寻址记忆：支持向量植入（Gemma 3）

对于影响是可寻址的模型，作者提出了一种**代数递减（algebraic decrement）**方法。

架构： 他们将 Gemma 3（1B、4B 和 12B 参数）的全局注意力层替换为**支持向量记忆（SVM）**层。该层将上下文键（keys）视为单类 SVM 的输入，其中注意力权重即为拟合的系数 ( $\alpha$ )。
机制： 利用 Cauwenberghs & Poggio (2000) 增量算法的反向过程，系统可以从数学上“递减”特定标记（token）的系数。如果一个标记是“储备”标记（系数为 0），则它不产生贡献。删除一个标记涉及逆转求解过程，使系统返回到不包含该标记时的状态。
恢复： 为了在植入后保持语言质量，作者冻结了基础模型，并训练了 Rank-8 LoRA 适配器（仅占参数量的 0.149%）以恢复困惑度（perplexity）。
审计： 通过将递减后的状态与保留键重拟合（retained-key refit）（即在移除该标记但保持其他键不变的情况下重新求解 SVM）进行对比来审计删除效果。

B. 不可寻址记忆：重放（Kimi Linear Hybrid）

对于后续写入会改变记录贡献（使其变得不可寻址）的模型，作者提出了检查点回溯与重放（checkpointed rewind-and-replay）。

架构： 他们分析了一个 48B Kimi Linear 混合模型，该模型将全局多头注意力（MLA）层与 20 层 KDA（Gated DeltaNet） 循环层交错排列。
减法失效： 作者证明了 KDA 的 delta 规则（在更新状态前先读取当前状态）破坏了记录级的可分离性。一条记录对状态的贡献取决于其后的后缀（方差达 12–49%），这意味着即使使用衰减校正，也无法实现固定的“收据式”删除。
机制： 系统在记录边界处保存循环状态的检查点。要删除一条记录，系统会恢复到记录被摄入之前的状态，然后仅重放后缀。
审计： 结果通过**位级相等性（bitwise equality）**标准进行审计：其 Logits 和所有循环状态必须与从未摄入该记录时的运行结果完全一致。

3. 核心贡献

表示层准则： 本文确立了精确删除是记忆表示的一种属性。它区分了可寻址影响（可通过代数递减进行减法）和转化影响（需要状态重建）。
LLM 中的可寻址删除： 作者成功将 SVM 记忆层植入 Gemma 3。在 1B 规模下，代数递减与保留键重拟合的中间 KL 散度为 $5.4 \times 10^{-15}$ 。行为测试显示，掩码重拟合代理在诱导、重学习和 LiRA 攻击测试下，与“从未摄入”的基准线在统计上是不可区分的。
通过重放实现精确删除： 对于减法失效的 Kimi 混合模型，作者证明了检查点重放可以在长达 18,842 个标记的上下文中实现位级精确（针对 Logits 和所有 20 个循环状态）。该方法同时也支持精确修正（通过重放带有修正记录的序列）。
规模化分析： 论文对效用成本提供了细致的观察。虽然 1B 规模的 Gemma 植入仅产生 +2.0% 的困惑度开销，但这一成本在 4B 时升至 11.2%，在 12B 时升至 44.3%，表明该植入方案目前并非通用的注意力机制替代品。

4. 结果

Gemma 3 (1B)：
- 精确度： 在 31 次支持标记删除测试中，递减与重拟合的中间 KL 散度为 $5.4 \times 10^{-15}$ 。
- 效用： 与匹配对照组相比，困惑度仅增加 2.0%。
- 行为： 掩码重拟合与“从未摄入”的底线不可区分；权重空间编辑（梯度上升）是可逆的且会留下残余。
Gemma 3 (规模化)：
- 在 4B 和 12B 规模下，效用成本急剧上升（分别为 11.2% 和 44.3%）。Rank-16 植入的 12B 模型出现了发散现象，这表明该方法目前主要适用于 1B 规模。
Kimi Linear (48B)：
- Delta 规则失效： 记录对状态的贡献随后缀变化达 12–49%，使得固定收据失效。
- 重放成功： 重放在处理真实临床记录（MIMIC-IV）时，对于长达 18,842 个标记的上下文，实现了与“从未摄入”状态的位级相等。
- 成本： 延迟仅与后缀长度成正比（平均 3.49s 对比全量重建的 6.77s），每个检查点边界的存储成本约为 41.4 MiB。

5. 重要性与主张

本文主张精确删除是与记忆表示之间的契约，而非一种通用的算法修复手段。

设计原则： 如果一种表示保留了记录影响的地址，则删除可以是一种廉价的代数运算。如果表示通过非加性更新（如 delta 规则）将记录编织进共享状态，则精确删除需要重建后缀。
可审计性： 该工作提供了一个审计删除效果的框架。它区分了“抑制”（即答案被隐藏但状态已被破坏）与“精确删除”（即状态与反事实参考一致）。
局限性： 作者对研究范围持审慎态度。他们并不声称可以从预训练权重或删除事件发生之前生成的输出中进行删除。他们承认 Gemma 植入的效用成本随规模扩展较差，且 Kimi 重放方法依赖于确定性实现和检查点开销。
伦理背景： 这项工作通过提供一种验证特定记录是否已从模型活跃记忆状态中移除（而非仅仅是抑制其输出）的机制，为满足监管要求（如 GDPR 第 17 条）和临床知情同意撤回提供了支持。

论文总结道，领域研究应从“近似去学习”（会留下可恢复的残余）转向感知表示的删除（representation-aware deletion），即在选择使用减法还是重建之前，先测试影响是否仍然是可寻址的。