🤖 machine learning

Unlearning at Scale: State-Exact Trace-Preserving Deletion in Billion-Parameter Language Models

本文表明，通过从排除特定样本的标记存储库中重放训练过程，十亿级参数语言模型可以实现状态精确且保持追踪的删除，前提是原始执行过程经过了记录溯源的插桩处理且保留了未受污染的检查点，尽管该方法无法保证针对分散删除请求的计算效率。

原作者： Abdullah X

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdullah X

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在为一场盛大的派对烘焙一个巨大的、多层结构的蛋糕。在人工智能的世界里，这个蛋糕就是一个“语言模型”——一个通过“吃掉”数以 TB 计的文本进行训练，从而学会写作、聊天和解决问题的计算机程序。通常情况下，一旦蛋糕烤好了，你就很难轻易地取出其中一种特定的配料——比如某种特定的香草豆——而不破坏整个蛋糕。如果你试图把它刮出来，蛋糕层可能会塌陷，或者味道会发生不可预测的变化。这就是“机器遗忘”（machine unlearning）的问题：如何让一个 AI “忘记”它训练时摄入的特定数据，尤其是当法律（如 GDPR）规定人们有权要求删除其数据时。

科学家们一直试图通过两种方式来解决这个问题：要么在没有该配料的情况下从头开始重新烘焙整个蛋糕（这既慢又贵），要么尝试手术式地移除那种味道（但这往往会留下奇怪的化学痕迹）。但有一个难点：计算机不仅仅是从它们“吃”了什么中学习，它们还从它们“吃”的顺序、烤箱的温度以及搅拌面糊时的精确时机中学习。如果你改变了配料的顺序，即使你移除了那个不好的东西，最终做出来的蛋糕可能也会和从一开始就计划忽略那个配料而完美烤制的蛋糕味道不同。这篇论文深入到了 AI 混乱且技术性极强的“厨房”中，提出了一个非常具体的问题：我们能否证明，一个在移除配料后烘焙出的蛋糕，在位对位（bit-for-bit）上，是否与一个最初就计划忽略该配料而烘焙出的蛋糕完全相同？

“时空旅行”蛋糕食谱

这篇题为《大规模遗忘》（Unlearning at Scale）的论文，就像是一群超级精准的烘焙师，他们决定测试一种非常严格的移除配料的方法。他们不仅仅是想让蛋糕看起来像是忘了香草，他们还想证明这个蛋糕在数学上等同于一个从未应该含有香草的蛋糕。

为了实现这一点，他们构建了一个特殊的“时空旅行”系统。想象一下你在烤一个蛋糕，但在开始之前，你写下了一张超级详细、不可更改的食谱卡。这张卡片不仅列出了配料，还记录了你在每一秒敲碎鸡蛋的瞬间、每一分钟烤箱的精确温度，以及你添加面粉的具体顺序。这就是论文中所称的“保序执行”（trace-preserving execution）。

现在，想象一位顾客打电话说：“我想从我的订单中移除香草豆。”在普通的厨房里，你可能会直接跳过香草并继续搅拌。但在本文档的厨房里，烘焙师们有一个窍门。他们保持“食谱卡”完全不变。当食谱要求在第 5 步“加入香草”时，烘焙师仍然会执行第 5 步，但他们不是加入真正的香草，而是加入一种没有任何味道、也没有重量的“虚拟”配料。他们这样做时，不会改变其他步骤的顺序、烤箱温度或搅拌速度。

大测试：十亿参数级的蛋糕

研究人员在三个不同规模的“蛋糕”（AI 模型）上测试了这个想法：

一个被称为 Pythia 160M 的小蛋糕（1.6 亿参数）。
一个被称为 Pythia 2.8B 的巨型蛋糕（28 亿参数）。
一个不同类型的蛋糕 Llama 3.2 1B（10 亿参数）。

他们进行了一场大规模实验。首先，他们烤制了一个“完美”的蛋糕，即遵循食谱但在加入禁忌配料时使用了“零重量”的虚拟配料。这就是“先知”（Oracle）——它是蛋糕应该呈现出的样子，也是金标准。然后，他们制作了第二个蛋糕，使用了他们的“脱敏”（redacted）方法：他们从储料库（数据存储）中物理上移除了禁忌配料，但遵循了完全相同的食谱卡，并在食谱调用缺失项时使用虚拟配料进行替换。

结果：完美的匹配

结果在精确度上令人震惊。当他们对比这两个蛋糕时，发现“脱敏”后的蛋糕与“先知”蛋糕是位对位完全一致的。

对于 Pythia 2.8B 模型，他们检查了 2,775,208,960 个独立的数字（“模型状态”），发现差异为零。
对于 Llama 3.2 1B 模型，他们检查了 1,498,482,688 个数字，发现差异为零。
连“优化器状态”（即烘焙师如何随着进度调整食谱的记忆）也完全相同。

这证明了，如果你拥有正确的“食谱卡”（执行计划）并且从一个干净的检查点（蛋糕在加入坏配料前的快照）开始，你可以移除数据，并得到一个在数学上与从未应该拥有该数据的蛋糕无法区分的结果。

代价：它不是一根魔杖

然而，论文非常谨慎，并未将其称为快速删除数据的“魔杖”。作者指出了一项主要的局限性：时间。

如果禁忌配料是在烘焙过程的早期被加入的，或者如果配料是随机散布在整个食谱中的，那么烘焙师必须回到开头，几乎重新烘焙整个蛋糕，才能得到完全相同的结果。

在他们的测试中，如果他们要求移除随机的 5% 的数据，他们必须重播近 100% 的训练步骤。
论文明确指出，这并不建立“廉价删除”的概念。它不是一个快速修复；它是一个缓慢、精确的重建过程。

这并不意味着什么

作者对于其结果并非证明的内容是非常严谨的：

它不是行为保证： 仅仅因为数字是相同的，并不自动意味着 AI 的“行为”会发生变化，从而满足法律上的删除请求。论文运行了一些标准测试来观察 AI 的行为，但他们将这些视为仅仅是“描述性”的笔记，而非该方法适用于现实世界法律删除的证明。
它不是通用解决方案： 这仅在你提前做好计划的情况下才有效。你不能拿一个原本不是按照这种特殊“食谱卡”构建的旧 AI 模型，然后神奇地让它以后能这样运作。
它不是隐私护盾： 论文承认，虽然数字已从特定的重放存储中消失，但这并不证明数据已从宇宙中的每一个备份、缓存或硬盘中抹除。

总结

简单来说，这篇论文是针对一种非常特定、非常严格的“遗忘”类型的概念验证。它表明，如果你用一个僵化的、不可更改的计划并记录下每一个步骤来构建 AI 训练过程，你就可以通过手术式地移除数据，并得到一个在数学上完美的结论。这就像是证明你可以把复杂食谱中的真实香草豆换成假的，最后得到的蛋糕与从未有过香草的蛋糕是无法区分的。

但论文也警告我们：这是一个沉重且缓慢的过程。它需要提前规划，而且如果想要移除的数据散落在各处，你可能不如直接把整个蛋糕重新烤一遍。对于那些需要向人们证明计算机程序中究竟发生了什么的科学家来说，这是一个强大的工具，但它目前还不是现实世界中点击一下就能删除数据的快捷按钮。

技术摘要：大规模遗忘：十亿参数语言模型中的状态精确迹追踪删除

1. 问题定义

本文通过将问题从行为优化任务重新定义为状态精确的系统问题，来解决大规模语言模型（LLM）中的机器遗忘挑战。现有的文献通常将遗忘定义为使模型行为上与未训练特定数据的模型不可区分，但这种方法在确定性训练流水线中存在歧义。

在现代训练中，实现的最终状态不仅取决于数据集，还取决于执行控制：样本顺序、随机数生成器（RNG）的消耗、梯度累积边界、学习率调度等。仅仅移除数据并重新训练（稠密重打包）会改变这些控制变量，导致不同的执行迹和不同的最终状态。因此，除非明确指定执行或参考分布，否则“不含 $F$ 的模型”无法识别出一个唯一的参考状态。

本文定义了一个迹保留删除反事实（trace-preserving deletion counterfactual）：在这种场景下，原始训练执行的逻辑控制（微批次槽位、种子、累积边界、优化器步数）保持不变，但请求删除的标识符的损失贡献被设为零。目标是验证一个重放系统是否能够重建这一特定的反事实状态，即使对应的物理数据行在重放库中已不存在。

2. 方法论

2.1 迹保留删除定义

作者形式化了一个迹保留删除（$TD$），其中：

执行计划 $P$ 保持不变。
每个微批次计划记录都被保留，但属于遗忘集 $F$ 的标识符被映射到具有零样本权重的固定虚拟序列。
保留的标识符、种子、学习率和逻辑优化器步数索引保持不变。
空段规则：在梯度累积边界处，仅当该段内至少存在一个保留的加权贡献时，才会发生优化器转换。如果某段仅包含零权重的（已删除）槽位，则保留逻辑边界，但跳过优化器步数，以避免使用零梯度改变优化器动量（例如 AdamW 动量）。

2.2 系统设计

所提议的系统依赖于前瞻性插桩（prospective instrumentation）和物理脱敏（physical redaction）：

不可变执行计划：原始训练运行记录了一个包含有序样本标识符、每微批次 RNG 种子、学习率和累积标志的 JSONL 计划。
预写日志（WAL）：在训练期间，一个紧凑的 32 字节二进制 WAL 记录执行状态（有序 ID 标签、种子、学习率、步数索引、标志、CRC32）以及有序 ID 清单。
物理脱敏：在重放之前，构建一个新的标记存储，其中仅包含保留的行。不可变的计划仍然引用被删除的标识符作为逻辑槽位标记。
重放机制：在重放期间，系统拦截对被删除标识符的请求。系统并不查找缺失的数据，而是用固定的虚拟序列代替，并赋予零权重。这确保了数值上的微批次（token、标签、权重）与迹预言机（trace oracle）完全一致，尽管物理数据行已不存在。

2.3 验证协议

系统通过将脱敏重放的终端状态与单独执行的迹预言机（Trace Oracle）进行比较，来验证迹精确性。预言机从一个合格的检查点开始，运行相同的反事实逻辑（零权重虚拟数据）。精确性定义为记录的数据类型中模型参数（ $\theta$ ）和优化器状态（ $\Omega$ ）的比特级一致。

3. 核心贡献

基于执行条件的精确删除定义：本文将遗忘形式化为一个迹保留的反事实，将目标状态的定义与实现该状态的方法（如稠密重打包）分离。
前瞻性插桩的重放系统：该系统记录执行溯源（WAL + 清单），并支持从物理脱敏的存储中进行重放，同时保持确定性的控制输入。
十亿参数级的比特级精确证据：在三个端点上展示了状态精确性的实证结果：
- Pythia 160M：在四种删除几何形状（早期、中期、晚期、随机）下，在 1.62 亿个参数和优化器状态上实现了精确匹配。
- Pythia 2.8B：在随机删除 5% 的请求下，在 27.7 亿个参数上实现了精确匹配。
- Llama 3.2 1B + TOFU：在省略 4,000 个样本中的 400 个后，在 14.9 亿个参数上实现了精确匹配。
重放局部性分析：结构化分析表明，虽然局部的晚期请求允许高效的后缀重放，但大规模、随机分散的请求会迫使接近全量重放，从而限制了该方法处理分散删除时的计算效率。
可审计的研究产物：发布了包含源代码修订版、数据哈希、执行计划和状态哈希的公开资源，将标准化的行为指标（OpenUnlearning）视为描述性诊断而非因果证据。

4. 结果

状态精确性：在所有测试场景中，脱敏重放产生的模型和优化器状态与单独执行的迹预言机实现了比特级一致。这包括了对未来训练连续性至关重要的优化器动量（Adam 状态）的精确匹配。
反事实区分：对 Pythia 160M 的实验证实，稠密重打包（在 $D \setminus F$ 上以新的批处理方式重新训练）和物理过滤（在向前传播前移除行）与迹预言机相比，会导致非零的状态差异。这验证了“在保留数据上训练”并不等同于“迹保留删除”。
可扩展性：该方法成功扩展到了 28 亿参数（Pythia 2.8B）及跨家族架构（Llama 3.2），证明了在固定单 GPU 环境下，该不变性在十亿参数规模下依然成立。
成本分析：控制溯源（WAL + 清单）相对于模型检查点而言非常小（0.019% – 0.20%）。然而，重放成本具有局部性依赖。对于 2.8B 模型中随机 5% 的删除请求，重放需要从第零步开始，耗时几乎与原始运行相当。论文指出，分散的请求在结构上迫使接近全量重放。

5. 意义与主张

本文对机器遗忘领域做出了适度且精确的贡献：

主张范围：作者明确表示，他们并非声称实现了“廉价删除”或优于近似遗忘方法（如梯度上升、NPO）的通用优越性。该方法需要前瞻性插桩，并且对于分散的请求可能会产生全量重放的成本。
状态 vs. 行为：论文严格区分了状态精确性与行为遗忘。虽然发布的模型状态使用了 OpenUnlearning TOFU 基准进行评估，但作者仅将其视为描述性诊断。作者明确避免做出关于“迹保留导致特定遗忘行为”的因果性主张，理由是缺乏匹配的对照组（例如，匹配的仅保留数据基准和微调前指标）。
可审计性：其主要意义在于建立了一种可审计的、算法化的删除定义。通过固定执行契约并证明与声明的反事实在比特级相等，该系统提供了一种可验证的保证，即特定的执行迹已被中和，这区别于仅关于参数层面数据缺失的声明。
局限性：作者承认该方法不能保证从备份、缓存或其他存储层中删除数据，也无法单方面满足法律义务（如 GDPR 第 17 条）。它是一个用于重建特定历史状态的系统原语，而非通用的政策解决方案。

总之，本文证明了只要对训练系统进行前瞻性插桩并固定执行环境，实现针对特定迹保留删除反事实的十亿参数级状态精确性是可行的。它确立了“遗忘”必须由正在执行的特定反事实程序来定义，而不仅仅是保留数据的集合。