🤖 machine learning

Auditing Forgetting in Limited Memory Language Models

本文引入了一种因果审计框架，证明在有限记忆语言模型中，遗忘效果主要取决于数据库管理而非模型本身，因为被删除的事实很少在参数记忆中持续存在，但可能会通过检索伪影和近邻关联重新出现。

原作者： Arya Raeesi, Hanna Roed

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Arya Raeesi, Hanna Roed

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《审计有限记忆语言模型的遗忘情况》（Auditing Forgetting in Limited Memory Language Models）的解释，通过简单概念与日常类比进行拆解。

大局观：“图书馆” vs. “大脑”

想象一个正在参加考试的学生。

标准 AI 模型 就像一个背下了整本教科书的学生。如果你问他一个问题，他会从自己的大脑（参数）中提取答案。如果你想让他“忘记”某个特定的事实（比如一段敏感信息），你必须对他进行重新训练，这就像是让他忘记所有东西并从头开始。
有限记忆语言模型 (LMLM) 就像一个语法和对话能力很强、但记忆力非常有限的学生。他们不靠死记硬背事实，而是随身携带一张数字图书馆卡（外部数据库）。当需要某个事实时，他们会去图书馆查阅。如果你想让他们忘记某件事，你只需要把图书馆里那特定的那一页撕掉即可。

问题在于： 如果你把图书馆的那一页撕掉了，这个学生真的“忘记”了这个事实吗？还是说他已经在脑子里偷偷记住了？或者他在附近的另一本书里找到了答案？

实验：三种场景

研究人员构建了一个“因果审计”（一种严格的测试）来观察删除一个事实后会发生什么。他们在三种不同的条件下测试了 AI：

FULL（图书馆开放）： 事实在图书馆里，AI 可以查阅。
- 结果： AI 能答对。 (这是基准线)。
DEL-ON（页面已撕，图书馆开放）： 他们删除了那个特定的事实，但 AI 仍可以查阅其他内容。
- 结果： AI 还能答对吗？如果能，是如何做到的？它是凭记忆猜出来的，还是从图书馆里的其他相似事实中找到了答案？
DEL-OFF（页面已撕，图书馆锁闭）： 他们删除了事实，并且还把图书馆的大门锁上了，让 AI 无法查阅任何东西。
- 结果： 如果在这种情况下 AI 仍然答对了，这意味着这个事实仍然卡在它的脑子里（参数泄露）。

研究发现：答案是从哪里来的？

研究人员针对不同类型的事实和问题进行了 12,000 次测试。以下是他们的发现：

1. 大脑很干净（参数泄露几乎为零）

当图书馆被锁闭时（DEL-OFF），AI 几乎从未给出正确答案。

类比： 想象你从书里撕掉了一页，然后锁上了图书馆。学生并不知道答案。
含义： 模型成功地实现了“知识外部化”。它没有在代码中记住这个事实。模型本身的“遗忘”机制运作得非常完美。

2. 问题出在图书馆（残余信息存在于图中）

然而，当图书馆开放但页面消失时（DEL-ON），AI 确实有时能答对。

类比： 你撕掉了关于“Geri Halliwell”的那一页。但 AI 发现了附近的一页，上面以略微不同的方式写着“Geri Halliwell 在 Spice Girls 中很有名”，或者它看到了关于“Spice Girls”的一页，从而猜到了她在这支组合中很有名。
“检索伪影”（Retrieval Artifact）： AI 并不是在回忆，而是在重构答案——利用图书馆里附近的线索。

3. 图书馆的布局至关重要

研究人员构建了不同的“图书馆布局”来测试在撕掉页面后寻找答案的难易程度：

Base（干净的图书馆）： 只有一页存在。撕掉后，答案就消失了。（低残余）。
Noise（杂乱的图书馆）： 许多不同的页面都指向同一个答案（例如：“美国总统”、“自由世界的领导人”、“第 47 任总统”）。即使你删除了主页面，AI 也能通过其中一个“诱饵”页面找到答案。（高残余）。
Collision（混乱的图书馆）： 页面相似但错误（例如：“最大城市” vs. “首都”）。AI 会感到困惑并选错邻近的信息。

重大发现： 遗忘失败的程度并非由 AI 的大脑造成的，而是由数据库是如何组织的造成的。如果数据库有很多“后门”（释义或别名），即使删除了主事实，AI 也能通过这些途径找回答案。

核心结论

论文得出结论：对于这类 AI，“遗忘”的边界是由图书管理员而非学生划定的。

如果数据库管理员处理得比较草率（留下了“噪声”或“别名”），AI 看起来仍然像是知道那个事实，因为它能在图书馆的阴影中找到答案。
如果数据库是干净且删除彻底的，AI 就会真正忘记。

简而言之： 模型本身擅长遗忘。问题在于，它用来存储事实的“图书馆”往往很混乱，而 AI 非常聪明，即使在主文件被删除后，也能在混乱中找到答案。要让 AI 真正忘记，你必须清理图书馆，而不只是修改模型。

技术摘要：针对有限记忆语言模型的遗忘审计

问题陈述
有限记忆语言模型（LMLM）代表了一种混合架构，它将语言能力（编码在模型参数中）与事实知识（存储在外部数据库中）分离。这种设计旨在实现“基于删除的遗忘（deletion-based unlearning）”，即通过从数据库中移除事实来消除对该事实的访问，而无需重新训练模型。然而，现有的遗忘评估方法并不充分。它们通常测量删除前后的聚合正确率，却无法区分删除后正确性的机制。模型之所以仍能回答正确，可能是由于以下原因：

残余参数记忆： 该事实仍编码在模型的权重中。
替代检索路径： 事实通过别名、改写或未被明确删除的语义相关条目被检索到。
检索伪影： 模型根据并非目标事实的金标准等价物（gold-equivalent）的近邻候选对象生成了正确答案。

当前的指标无法确定知识是否已成功外部化，或者是否仍然存在于模型参数内部。

方法论：因果审计框架
作者提出了一个因果审计框架，该框架在推理时保持模型固定，同时改变数据库的状态。该框架通过六种不同的提示词形式，对包括发布的 LMLM 数据库及十二个自定义变体在内的 13 个数据库中的 12,228 个别名闭包（alias-closure）删除操作进行了评估。

该框架采用了三种受控干预状态：

FULL（全量）： 数据库完整，且启用检索。这建立了基准准确率。
DEL-ON（删除开启）： 目标事实（及其别名等价物）已从数据库中删除，但检索功能仍处于开启状态。这测试了通过替代路径或伪影进行恢复的可能性。
DEL-OFF（删除关闭）： 目标事实已被删除，且检索功能被禁用。这隔离了参数化召回（parametric recall），迫使模型在没有外部证据的情况下进行回答。

关键指标与分解
该框架将删除后的行为分解为三个不同的组成部分：

参数泄漏 ( $L(f)$ )： 指模型在 DEL-OFF 状态下回答正确的情况。这表明被删除的事实仍存在于模型参数中。
检索介导的正确性 ( $R(f)$ )： 指模型在 DEL-ON 状态下正确但在 DEL-OFF 状态下错误的情况。这表明答案是通过检索图恢复的。
检索伪影率 ( $A(f)$ )： 指尽管检索轨迹中不存在金标准等价物，模型仍能在 DEL-ON 状态下产生正确答案的情况。这表明答案是从近邻候选对象（例如改写后的诱饵）中重构而来的。

作者构建了自定义数据库变体来压力测试特定的失效模式：

Base（基础型）： 仅包含规范的三元组（纯净基准）。
Alias（别名型）： 事实仅以别名形式存储（测试别名闭包的完整性）。
Noise（噪声型）： 包含指向相同对象的改写主体的诱饵三元组（测试近邻重构）。
Collision（冲突型）： 共享相同主体但路由至不同对象的近似三元组（测试易混淆邻居漂移）。

关键结果
通过对 36,684 次模型完成过程的审计，得出了以下几项关键发现：

近乎为零的参数泄漏： 在所有数据库变体和提示风格下，参数泄漏率 ( $\hat{L}$ ) 实际上几乎为零（平均为 0.11%）。在缺乏检索的情况下，模型极少返回被删除的答案。这表明对于此类 LMLM，模型内部的“遗忘”操作是干净的；一旦禁用检索，模型的表现就像从未见过该事实一样。
残余存在于检索图中： 删除后幸存的正确性几乎完全归功于检索图，而非模型本身。在所有变体中，检索介导的正确率 ( $R(f)$ ) 与检索伪影率 ( $A(f)$ ) 在舍入误差范围内相匹配。这证实了删除后的正确性主要是通过近邻检索进行重构，而非记忆。
数据库拓扑控制残余： 残余量（即被删除事实中幸存的百分比）是由数据库拓扑结构决定的，而非模型架构或提示风格。
- Base： 约 3.7% 的残余。
- Alias： 约 6.2% 的残余。
- Collision： 约 7.2% 的残余。
- Noise： 约 13.6% 的残余（最坏情况，其中改写诱饵允许通过检索恢复答案）。
- 发布的 LMLM 数据库： 约 0.7% 的残余。
提示词形式的影响： 虽然提示风格会显著影响基准（FULL）准确率（F1 值范围在 ~17% 到 ~57% 之间），但它对删除后的残余量几乎没有独立控制作用。一旦支持性证据被移除，事实的生存率由检索图的结构决定，而非问题的表面形式。

意义与主张
论文声称其主要贡献在于对遗忘行为的分解，而非单一的聚合指标。通过隔离参数化召回与检索侧的正确性，审计揭示了：

在此类 LMLM 中，“遗忘边界”主要由数据库管理员划定，而非模型。
如果检索图中包含改写诱饵（如“Noise”变体所示），那么仅删除规范和别名等价三元组的标准删除程序是不够的。
此前研究（如原始 LMLM 论文）中观察到的残余正确性，很可能是特定检索图（该图是良性的）的属性，而非模型无法遗忘的表现。

作者得出结论，为了实现 LMLM 有效的遗忘，治理必须超越实体别名，扩展到检索图拓扑结构，确保在删除时同时也关闭通往敏感信息的改写路径。该论文并非声称 LMLM 在遗忘方面普遍完美，而是指出其失效模式是数据库设计的结构性问题，而非其参数记忆的固有缺陷。