🤖 machine learning

Revisiting the Past: Data Unlearning with Model State History

本文介绍了模型状态算术（MSA），这是一种新颖的算法，它利用先前的模型检查点，高效且有效地从大型语言模型中遗忘特定数据，在超越现有方法的同时避免了完全重新训练所带来的高昂成本。

原作者： Keivan Rezaei, Mehrdad Saberi, Abhilasha Ravichander, Soheil Feizi

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Keivan Rezaei, Mehrdad Saberi, Abhilasha Ravichander, Soheil Feizi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《重访过去：基于模型状态历史的数据遗忘》的解释。

核心难题：“反训练”困境

想象你有一座巨大且超级聪明的图书馆（即大型语言模型），它阅读了数十亿本书。有一天，你发现馆藏中有一本特定的书包含危险化学品的秘密配方，或者那是一本不该存在的私人日记。

为了修复这个问题，旧有的思路是将图书馆拆解，移除那本书，然后从头重建整个图书馆。但由于图书馆规模过于庞大，重建它将耗费数年时间和巨额资金。这就像试图从一座水果山中去掉一个坏苹果，结果却是扔掉整座山并购买新水果。

机器遗忘（Machine Unlearning） 试图像外科手术一样，仅移除那个坏苹果，而无需重建整座山。然而，这样做极其困难。如果你试图“擦除”那本书的记忆，往往会意外抹去图书馆知道的其他好东西，或者导致图书馆行为怪异、陷入混乱。

新方案：MSA（模型状态算术）

作者提出了一种名为 MSA（模型状态算术） 的新方法。他们不试图从已完成的图书馆中擦除坏记忆，而是采用了一种“时间机器”的方法。

类比：建筑蓝图

想象这座图书馆是由一支施工队建造的。

最终建筑：这是已完成的模型（包含那本坏书的图书馆）。
蓝图：在施工过程中，施工队在不同阶段拍摄了建筑的照片。假设他们在坏书被上架之前拍了一张照片。这就是一张检查点（Checkpoint）。

MSA 如何运作：

“遗忘”向量：研究人员拿出那张旧照片（检查点），并问道：“如果我们把坏书添加到这个版本的建筑中，结构会发生什么变化？”他们计算出了“干净”版本与“脏”版本之间的确切差异。他们将这个差异称为**“遗忘向量”**。
算术运算：现在，他们回到已完成的建筑（当前模型）。与其猜测如何移除那本书，他们只需将之前计算出的“遗忘向量”从已完成的建筑中减去。

这就像拥有一个精确的数学公式，它指出：“要抵消添加那本书的影响，我们只需将图书馆的墙壁正好移动这个幅度。”

为何这比旧方法更好

旧方法试图仅通过观察已完成的图书馆来找出如何移除那本书。

问题：等到图书馆建成时，那本坏书已经影响了整座建筑的布局。试图从完成状态逆向工程来移除它，就像试图在蛋糕烤好后将其还原成未混合的状态。你会得到一个混乱的结果。
MSA 的优势：因为 MSA 使用了“之前”的照片（检查点），它确切知道坏书到来之前建筑的样子。它知道“纯净”状态。通过比较“纯净”状态与“坏”状态，它可以计算出一条干净、精确的路径来移除坏影响，而不会损害图书馆的其他部分。

实验结果

研究人员在几座“图书馆”（不同的 AI 模型）和“坏书”（包含虚构作者、虚假信息或私人数据的数据集）上测试了这种方法。

更好的记忆移除：与其他方法相比，MSA 能更好地让 AI“忘记”特定的坏信息。
更好的记忆保留：至关重要的是，MSA 没有意外让 AI 忘记好东西。图书馆在其余方面依然保持聪明和有用。
“时间旅行”因素：他们测试了使用施工过程早期（在坏书添加之前的数百亿个“词”或 token 之前）的检查点。即使“之前”的照片是在很久以前拍摄的，MSA 仍然表现得出乎意料地好。它不需要在坏书添加之前立即拍摄的照片；一张较旧的照片通常足以让数学计算正确。

核心结论

该论文认为，我们无需抛弃 AI 模型来修正错误。通过保留模型训练过程中的几张“快照”（开发人员出于安全和测试目的通常已经这样做），我们可以利用这些快照执行精确的数学“遗忘”。

它将擦除数据的艰巨任务转化为一个简单的减法问题：当前模型减去（坏数据引起的变化）等于干净模型。

这使得尊重隐私法规（如“被遗忘权”）以及从 AI 中移除有害数据成为可能，而无需付出从头重新训练一切的不可能成本。

以下是论文《重访过去：基于模型状态历史的数据遗忘》（MSA）的详细技术摘要，该论文作为会议论文发表于 ICLR 2026。

1. 问题陈述

大型语言模型（LLM）在包含大量私有数据、受版权保护材料、虚假信息或低质量数据的庞大网络语料库上进行训练。当需要移除此类问题数据点以符合法规（例如“被遗忘权”）或提高模型质量时，标准方法——即在排除这些数据点的数据集上从头重新训练模型——在计算上是不可行的。

现有的机器遗忘（Machine Unlearning）算法试图通过以较低成本修改模型权重来近似这种重新训练。然而，这些方法面临重大挑战：

遗忘不彻底（Under-forgetting）：模型仍保留有待遗忘数据的痕迹。
效用退化（Degraded Utility）：模型在应保留的数据上丧失了能力。
不准确（Inaccuracy）：遗忘后的模型在功能上无法与“理想模型”（即从未见过目标数据而从头训练的模型）相匹配。
当前方法的局限性：大多数现有方法仅操作于最终模型检查点，试图仅利用当前状态来逆转数据的影响，这往往导致对数据影响的估计存在噪声或偏差。

2. 方法论：模型状态算术（MSA）

作者提出了MSA，这是一种新颖的遗忘算法，它利用中间模型检查点（开发人员为容错和实验而常规存储的产物）来更精确地估计并逆转特定数据点的影响。

核心概念

MSA 不是基于已经内化了数据的最终模型来计算“遗忘向量”，而是基于在引入遗忘目标（ $D_f$ ）来计算该向量。

算法步骤

输入：目标模型 $\theta_D$ （在完整数据 $D$ 上训练）、中间检查点 $\theta_0$ （在数据 $D \setminus D_f$ 上训练）以及遗忘集 $D_f$ 。
计算遗忘向量（ $\vec{\theta}_f$ $θ_{f}$ ）：
- 在遗忘集 $D_f$ 上微调检查点 $\theta_0$ 以获得新状态 $\theta_1$ 。
- 计算差值： $\vec{\theta}_f = \theta_1 - \theta_0$ 。该向量代表了 $D_f$ 在模型拥有其他冲突知识之前对模型参数的纯粹影响。
应用遗忘：
- 从目标模型中减去遗忘向量： $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$ ，其中 $\alpha$ 是缩放因子。
可选保留向量（ $\vec{\theta}_r$ $θ_{r}$ ）：
- 如果可用保留集 $D_r$ ，可以通过在 $D_r$ 上微调 $\theta_0$ 得到 $\theta_2$ 来计算类似的向量，其中 $\vec{\theta}_r = \theta_2 - \theta_0$ 。
- 最终更新变为： $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$ 。

关键洞察

作者假设，源自最终模型的向量与模型现有的知识纠缠在一起，使其成为特定数据影响的糟糕估计。通过使用数据被看到之前的“干净”检查点，MSA 能更有效地隔离遗忘集的语义效应。

3. 主要贡献

新颖框架：引入 MSA，将标准训练检查点重新用于事后数据遗忘，将范式从“仅最终状态”转变为“状态历史感知”。
新评估指标：论文批评了用于遗忘的标准指标（如 ROUGE-L，其可能因句法相似性而掩盖事实错误），并引入了基于 GPT-4o 的语义指标：
- Accforget：衡量模型是否成功避免生成遗忘项的真相。
- Accrecover：衡量模型的输出是否与“理想模型”（从未见过该数据的模型）一致。
- Accretain：衡量对非遗忘数据知识的保留程度。
全面基准测试：在三个主要基准上进行评估：TOFU（虚构作者）、RESTOR（恢复被虚假信息破坏的知识）和MUSE-Books（书籍记忆与隐私）。
鲁棒性分析：证明即使使用的检查点比遗忘目标早数百亿个 token，MSA 仍然有效，尽管较近的检查点能产生更好的结果。

4. 实验结果

作者在 OLMo-2-7B 和 Llama-3.1/3.2 模型上，将 MSA 与最先进的基线（NPO、RMU、GradDiff、Task Vector、SatImp、UNDIAL）进行了评估。

TOFU 基准：
- MSA 变体（例如使用提前 3.6T 个 token 的检查点）在所有指标上均实现了与基线相当或更优的性能。
- 与通常为了达成遗忘而牺牲效用（Accretain）或无法恢复理想行为（Accrecover）的基线不同，MSA 有效地平衡了这三个目标。
- 例如，在 forget10 任务中，MSA 变体实现了约 89% 的 Accforget 和约 96% 的 Accrecover，而像 RMU 这样的基线虽然遗忘率高，但恢复率极低（表现为拒绝回答而非遗忘）。
RESTOR 基准：
- MSA 在恢复被虚假信息破坏的知识方面显著优于基线。
- 在 Llama-3.1-8B 上，理想模型的准确率为 64.80%。被破坏的模型降至 44.31%。MSA 将准确率恢复至48.45% - 49.19%，而像 NPO 和 SatImp 这样的基线仅恢复至约 44-46%。
MUSE-Books 基准：
- MSA 在成员推理攻击（MIN-K% 和 MIN-K%++）中表现出强劲性能，表明遗忘后的模型不再将遗忘的书籍识别为其训练数据的一部分。
- 使用较近检查点的 MSA 变体（例如 MSA3859B）在隐私泄露指标上匹配或超过了理想模型的性能。
检查点距离：
- 实验表明，虽然紧接在遗忘集之前的检查点是最优的，但早数百亿个 token 的检查点仍能产生强劲结果，这使得 MSA 即使对于检查点频率较低的模型也具有实用性。

5. 意义与结论

实用性：MSA 提供了一种计算高效（ $O(|D_f|)$ ）的解决方案，利用标准 LLM 训练流程中已有的产物（检查点），无需更改原始训练过程。
合规性：它为模型提供商提供了一条可行路径，以履行“被遗忘权”请求，而无需承担完全重新训练的成本。
理论转变：这项工作挑战了遗忘必须仅依赖最终模型状态的假设。它表明模型状态历史是实现精确数据擦除的关键资源。
未来方向：论文主张模型开发者应维护模型在训练过程中何时遇到特定信息的索引，这不仅是为了归因，更是为了启用像 MSA 这样的高级遗忘技术。

总之，MSA通过利用训练的时间动态来实现更精确、保留效用且功能忠实的数据移除，代表了机器遗忘领域的一项重大进步。