🤖 machine learning

Fast Unlearning at Scale via Margin Self-Correction

本文介绍了边际自我修正（MArgin Self-Correction, MASC），这是一种高效的遗忘方法，它通过采用在线停止规则来动态减小遗忘序列上的逻辑值差距（logit gaps），从而在显著降低计算成本且无需下游评估的情况下，实现具有竞争力的遗忘-保留权衡。

原作者： Federico Di Gennaro, Alexander Shevchenko, Fanny Yang

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Federico Di Gennaro, Alexander Shevchenko, Fanny Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：AI 的“被遗忘权”

想象你有一个超级聪明的学生（大语言模型），他读过数百万本书。有一天，一个人说：“嘿，那是第五章里我写的那个故事，我希望你立刻把它忘掉。”

在现实世界中，这被称为“被遗忘权”。但对于 AI 来说，这是一个噩梦。

旧方法（重新训练）： 为了真正忘记，你必须让学生离开学校，从图书馆中擦除那本特定的书，然后让他们从第一天开始重新学习。这需要数年时间，且成本极其高昂。
目前的“快速修复”（微调）： 为了不再从头开始，老师们尝试进行“反向教学”。他们告诉学生：“不要再提那个故事了。”然而，现有的方法就像是一个蒙着眼睛大声喊叫指令的老师。他们不知道学生到底什么时候才算真正忘掉了。因此，他们会为了一个固定的“预算”（时间/步数）不停地喊叫，寄希望于这样做就足够了。这浪费了大量的精力和时间，而且有时学生会“忘得太多”，从而破坏了他们回答其他问题的能力。

解决方案：MASC（边际自我修正）

作者引入了一种名为 MASC 的新方法。把 MASC 想象成一位聪明、懂得自我修正、且知道何时该停下来的老师。

核心思想：“Top-K”竞赛

想象学生被问到了关于那个需要被遗忘的故事的问题。

旧方法： 老师只是大喊：“别说出那个答案！”这可能会让学生感到困惑或让他们开始瞎猜。
MASC 的方式： 老师观察学生的最高选项（top choices）。
- 问题： “作者是谁？”
- 学生的大脑： “我有 99% 的把握是 Hina Ameen（被遗忘的名字）。但我也有 1% 的把握可能是 John Doe 或 Jane Smith。”
- 边际（The Margin）： MASC 会检查最高选项（Hina）与次优猜测之间的“差距”（即边际）。
- 目标： MASC 想要缩小这个差距。它想要通过引导，让那个原本被遗忘的答案（Hina）不再是唯一的胜出者。它希望学生觉得：“嗯，也许是 Hina，但也可能是 John 或 Jane，我也说不准了。”

它是如何运作的：“停止信号”

这是最重要的一部分。MASC 不仅仅是按固定时间大喊大叫，它有一个在线停止信号。

检查： 每隔几秒钟，MASC 就会暂停并询问学生：“在所有你需要遗忘的问题中，平均而言，那个‘被遗忘的答案’是否仍然是唯一的胜出者？”
决策：
- 如果学生仍然认为被遗忘的答案是唯一正确的答案，MASC 会继续教学。
- 如果学生已经开始犹豫，且被遗忘的答案只是众多可能性中的一种，MASC 就会说：“停！你做得够多了。”

这节省了大量的时间，因为老师会在任务完成的那一刻立即停止，而不是等待计时器到期。

结果：更快、更聪明

论文在三个不同的“图书馆”（数据集）上测试了该方法：

TOFU： 虚构传记。
MUSE News： 真实新闻文章。
MUSE Books： 真实书籍摘录（如《哈利·波特》）。

研究发现：

速度： MASC 比其他方法快得多。在某些情况下，它仅用了极短的时间（例如 88 秒对比 900 多秒）就达到了同样的效果。
质量： 它成功地让 AI 忘记了特定的故事，同时没有让 AI 在其他话题上变得“愚笨”。
“规模”带来的惊喜： 研究人员还观察了当 AI 的规模（参数量）变大时会发生什么。他们发现：
- 当模型在学习时，更大的模型能更好地记住事实。
- 然而，当你使用 MASC 让它们忘记时，更大的模型实际上在保持其原有知识方面表现得更好。 “遗忘”的过程对于小模型和大模型来说效果大致相同，但大模型在处理其他事务时依然保持着更高的智慧。

总结类比

想象你正试图洗掉白衬衫上的一个特定污渍。

旧方法： 你对着衬衫刷洗整整 10 分钟，希望污渍能消失。有时你刷得不够，污渍还在；有时你刷得太用力，把衬衫刷破了个洞。
MASC： 你在刷洗衬衫，但你有一束特殊的灯光，能准确显示污渍何时不再可见。一旦污渍消失，你就立即停止刷洗。你节省了时间，也没有损坏衬衫的其他部分。

简而言之： MASC 是一种更聪明、更快速的方法，它能教 AI 忘记特定的事物，而不会浪费时间或破坏其通用的智能。

技术摘要：基于边际自我修正（MASC）的大规模快速遗忘

问题陈述

大语言模型（LLMs）容易记忆敏感的训练数据，包括隐私信息和受版权保护的内容，这带来了显著的安全和隐私风险。虽然“机器遗忘”（machine unlearning）旨在更新模型，使其表现得如同从未见过特定的训练样本，但现有的近似遗忘方法面临两个主要的扩展性限制：

效率低下的训练预算： 当前的方法（例如 Gradient Ascent, NPO）通常运行固定的、预定义的 epoch 数量。这往往会导致训练超过预期的“遗忘-保留”权衡，或者过早停止，从而需要从业者从保存的检查点中回顾性地选择模型。
昂贵的模型选择： 选择最优检查点需要在验证数据上进行重复的下游评估，这产生了显著的存储和计算开销。此外，这些方法缺乏一种内在的、在线的停止规则，无法在没有外部指标的情况下识别出最优权衡。

此外，模型规模对遗忘有效性的影响仍有待深入探索。目前尚不清楚规模更大的模型（其内部化信息的强度可能更高）在面对遗忘程序时，其反应是否与较小的模型有所不同。

方法论：边际自我修正 (MASC)

作者引入了 MASC，一种高效的遗忘方法，它用自适应的在线停止规则取代了固定预算训练。MASC 的原理是：精确重现一个被遗忘序列需要模型在许多位置都对真实的下一个 token 分配高概率。MASC 不再全局最小化似然度，而是强制执行一种token 级的支配条件。

核心机制

受限 Token 对比： 对于位置 $t$ 处的遗忘序列 $(x, y)$ ，MASC 识别出模型前 $k$ 个非目标替代 token 的集合 $S_{\theta,k}(c_t)$ 。
受限边际 (Restricted Margin)： 它计算一个受限边际 $m^{(k,\beta)}_\theta(x, y, t)$ ，定义为目标 token $y_t$ 与前 $k$ 个替代 token 的 log-sum-exp 聚合值之间的 logit 差距：
$m^{(k,\beta)}_\theta(x, y, t) = \beta z_\theta(y_t | c_t) - \log \sum_{v \in S_{\theta,k}(c_t)} \exp(\beta z_\theta(v | c_t))$
该边际衡量了模型相对于合理的替代方案而言，对目标 token 的偏好程度。
自我修正损失： MASC 基于应用于该边际的 hinge 函数最小化一个代理损失。仅当边际超过阈值 $\tau_\rho$ （即目标 token 仍然占据主导地位）时，损失才会激活。如果边际已经很小（即 token 已被抑制），则梯度消失。
在线停止规则： 算法通过在遗忘集的一个小型留出子集 ( $D_{val}$ ) 上的违规率 $\hat{V}_\rho$ 来进行监控。当平均违规率降至容差 $\alpha$ 以下时，训练立即停止。这消除了对下游检查点评估的需求。

优化目标

该方法最小化一个结合了 MASC 遗忘损失与保留正则项（在保留数据上与原始模型的 KL 散度）的拉格朗日目标：
$\min_\theta \mathbb{E}_{(x,y)\sim D_{ret}} [\text{KL}(\pi_{\theta_0} \parallel \pi_\theta)] + \lambda \mathbb{E}_{(x,y)\sim D_{fg}} [\text{HingeLoss}(m^{(k,\beta)}_\theta)]$
约束条件为遗忘集上的违规率 $\le \alpha$ 。

主要贡献

MASC 算法： 一种新的遗忘目标，它仅在目标 token 仍然显著优于前 $k$ 个替代方案的聚合体时，才会抑制目标 token。这提供了一个在理论上受控的精确重现概率的上界（命题 1）。
自适应停止： MASC 引入了一种基于训练期间优化的相同边际条件的内在停止规则。这使得模型能够在满足遗忘条件时立即停止训练，避免了不必要的计算和下游评估。
规模分析： 论文通过使用 TOFU 数据集对 Qwen2.5 系列（0.5B 到 7B 参数）进行了系统性研究。它区分了精确记忆（逐字重现）与知识记忆（在改写下的恢复）。
- 学习阶段： 较大的模型比基于改写的恢复更强烈地放大精确记忆。
- 遗忘阶段： 在遗忘后，残余记忆指标在很大程度上具有规模不变性，而保留效用随模型规模增加而提高。这表明规模主要有助于提升权衡中的效用侧，而非加剧残余记忆。

实验结果

作者在 TOFU、MUSE News 和 MUSE Books 上评估了 MASC，并将其与包括 Gradient Ascent (GA)、GradDiff、NPO、NPO+KLR、RMU 和 SimNPO 在内的基线方法进行了对比。

效率： MASC 以极短的实际运行时间实现了具有竞争力的遗忘–保留权衡。例如，在 TOFU 上，MASC 完成约需 88 秒，而 GradDiff 和 NPO+KLR 则需要 900 多秒。
性能：
- TOFU： MASC 在 1-ROUGE-L、Truth Ratio 和 retain MU 分数上均取得了最佳表现，同时保持了具有竞争力的 1-Prob 分数。
- MUSE Books： MASC 在保持接近最强非崩溃基线的保留效用的同时，显著降低了计算成本。
- MUSE News： MASC 在遗忘集上的知识记忆低于大多数基线，尽管保留效用偶尔略低。
鲁棒性： 实验表明，MASC 在 4-bit 量化后依然有效，能够保持较低的遗忘集记忆水平，而其他方法（如 NPO 和 SimNPO）则会出现明显的性能下降。
规模化： 研究证实，虽然较大的模型在训练期间会产生更多的记忆，但遗忘过程有效地使遗忘侧的指标在不同规模间实现了归一化，且较大的模型在保留集上保留了更高的效用。

意义与主张

论文声称 MASC 将遗忘从固定长度的训练范式转变为针对性的早期停止。通过将损失函数、约束条件和停止准则对齐，MASC 提供了一种自我终止的过程，该过程在不牺牲遗忘–保留权衡的前提下，比固定预算的对应方法快得多。

作者谦虚地指出，虽然 MASC 在经验上改善了改写层面的遗忘指标，但目前的理论界限仅控制精确重现。他们认为，设计针对语义遗忘（对表面改写具有不变性）的目标仍是未来的研究方向。论文强调，MASC 为大规模模型的遗忘提供了一个实用的、可扩展的解决方案，解决了当前方法中存在的计算效率低下和缺乏在线选择机制的问题。