🤖 machine learning

PURGE: Projected Unlearning via Retain-Guided Erasure

该论文介绍了 PURGE，这是一种利用持续学习与遗忘之间的对偶性，通过结合梯度投影约束、多层表示擦除以及保留-混淆目标，从而有效地移除特定数据并保持模型效用及抵御成员推理攻击的机器遗忘算法。

原作者： Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的学生，他通过研读一座庞大的图书馆里的书籍成为了专家。现在，想象有一个特定的人（我们称之为“鲍勃”）要求这位学生忘记关于他的所有事情，以遵守隐私法。

传统的、“幼稚”的处理方式是告诉学生：“回到图书馆，把鲍勃的书扔掉，然后从头开始学习。”这确实有效，但需要耗费数年时间并花费巨额成本。

PURGE 是一种全新的、聪明的捷径。它就像一块魔术橡皮擦，可以在不让学生忘记其他所学知识的情况下，抹除鲍勃对大脑的影响。

以下是论文如何使用简单的类比来解释这一过程的：

1. 核心理念：同一枚硬币的两面

作者们注意到一个有趣的现象：学习和遗忘实际上是同一个问题的两个相反面。

学习（持续学习）： 你想要学习一项新技能（比如弹吉他），同时又不忘记旧的技能（比如弹钢琴）。
遗忘（机器去学习/Machine Unlearning）： 你想要抹除一段特定的记忆（鲍勃），而不影响图书馆中的其他知识。

论文指出：“让我们借鉴用于学习新事物的数学方法，并将其反转过来，来帮助我们遗忘事物。”

2. 魔术技巧：“护栏”（梯度投影）

当学生试图抹除鲍伯的记忆时，他们可能会不小心撞倒一瓶花（“保留集”或其他数据）。

PURGE 使用了一种叫做梯度投影（Gradient Projection）的技术。你可以把它想象成一个护栏或一名保镖。

每当学生尝试迈出一步来抹除鲍勃时，保镖都会检查：“这一步会伤害到这些花吗？”
如果答案是“是的”，保 میل会将学生的脚轻轻推回，使他们只在不会损坏花朵的方向上移动。
这保证了在抹除鲍勃的同时，他们的其他知识依然保持安全且准确。

3. “伪装混乱”策略（保留-混乱目标）

通常，当你试图让模型忘记某些东西时，你会让它进行随机猜测（比如掷骰子）。论文发现了一个问题：机器人太擅长识破虚假的随机性了。 如果模型突然开始随机猜测，黑客就会发现：“啊哈！这个模型被强迫忘记了一些东西！”

相反，PURGE 使用了保留-混乱目标（Retain-Confusion Target）。

想象一下，学生观察他们保留下来的书，并看看他们在哪里会产生困惑。也许他们有时会混淆“猫”和“狗”。
在抹除鲍勃时，学生被告知：“不要随机猜测。相反，要以和你处理保留下来的书时完全相同的困惑方式来进行猜测。”
这使得“被抹除后”的模型看起来就像一个从未见过鲍勃的学生一样。对于黑客来说，这种区别是无法察觉的。

4. 深度清理：抹除“直觉”

有时，即使模型不再说出正确答案，它在脑海深处（中间层）仍然会保留某种“直觉”（中间表示）。

旧方法只是在最后阶段（输出端）告诉模型停止说出错误的答案。
PURGE 则深入得更多。它会清理“直觉”（中间表示），将内部的大脑活动推向看起来像是从未见过鲍勃的人所产生的活动状态。

5. “自动停止”按钮

学生如何知道何时停止抹除？

旧方法： 你必须计算分钟数或者猜测要练习多少次。
PURGE 方法： 它有两个自我调节的停止信号：
1. 预算（The Budget）： “如果我们开始过度伤害这些花（保留数据），请立即停止。”
2. 目标（The Target）： “如果鲍勃的记忆已经模糊到我们无法比随机猜测表现得更好，就停止。”
  这意味着算法会自动决定何时完成，而不需要人类去猜测。

6. “冻结统计数据”的惊喜

论文发现了一个隐藏的陷阱：当抹除一整类数据（比如所有的“猫”的照片）时，模型的内部计算器（BatchNorm）会变得困惑，因为它只看到了“猫”，从而忘记了如何处理“狗”。

修复方法： 作者意识到他们必须冻结这个计算器，使其统计数据不会随着这些奇怪的、单方面的数据而更新。这就像是在告诉计算器：“在我们进行这项手术时，不要更改你的设置。”如果没有这一点，整个系统都会崩溃。

结果：他们发现了什么？

作者在五种不同类型的数据（从手写数字到医学图像）上测试了该方法。

隐私性： 被“抹除”后的模型具有极强的隐蔽性，黑客无法判断鲍勃是否在训练数据中（得分为 0.5，这是完美的表现）。
效用： 模型仍然保留了 96% 以上的其他知识。
速度： 它比从头开始重新训练整个模型快了约 13 倍。

简而言之： PURGE 是一种快速、安全且聪明的方法，它通过借鉴 AI 如何学习新事物的技巧，从 AI 的记忆中删除特定数据，确保 AI 不会意外地忘记其原有的知识，也不会被黑客识破。

技术摘要：PURGE（基于保留引导擦除的预测性遗忘）

1. 问题陈述

机器遗忘（Machine Unlearning, MU）旨在从已训练的模型中移除特定训练数据（即“遗忘集”， $D_f$ ）的影响，且无需承担从头开始重新训练的高昂计算成本。在机器遗忘中存在一个根本性的张力：模型必须积极地遗忘 $D_f$ 以满足隐私审计（例如 GDPR 的“被遗忘权”），同时又要保持对剩余数据（即“保留集”， $D_r$ ）的高效用性。

现有方法面临特定的失效模式：

梯度上升法 (Gradient Ascent)： 最大化 $D_f$ 上的损失，但往往会导致 $D_r$ 的性能发生灾难性下降。
基于显著性的方法（如 SalUn）： 选择性地扰动权重，但缺乏对保留性能的正式保证。
知识蒸馏 (Knowledge Distillation)： 虽然锚定了保留分布，但无法约束梯度方向。
基于 Fisher 信息的方法： 在理论上具有基础，但由于 Hessian 近似的存在，计算成本非常高。

至关重要的是，许多现有方法无法确保遗忘后的模型在统计上与仅在 $D_r$ 上重新训练的模型不可区分。这种区分对于抵御成员推理攻击（Membership Inference Attacks, MIA）至关重要，在这种攻击中，攻击者试图确定特定样本是否在训练集中。

2. 方法论

PURGE 的核心洞察在于持续学习 (Continual Learning, CL) 与机器遗忘 (Machine Unlearning) 之间的对偶性。持续学习是在不遗忘旧任务的情况下学习新任务，而机器遗忘是在不损害保留性能的前提下擦除特定数据。PURGE 借鉴并改进了持续学习中的 A-GEM（平均梯度记忆）算法，该算法通过将新任务梯度投影到避免增加旧任务损失的区域。

2.1 用于保留安全的梯度投影

PURGE 将遗忘过程视为一个受限优化问题。在每个更新步骤中，遗忘方向的梯度 ( $g_f$ ) 被投影到由保留梯度 ( $g_r$ ) 定义的半空间上。

约束： 更新不得增加保留损失 ( $L_r$ )。
机制： 如果遗忘梯度与保留梯度冲突（即 $\langle g_f, g_r \rangle < 0$ ），则将 $g_f$ 投影到满足 $\langle g, g_r \rangle \geq 0$ 的半空间边界上。
理论保证： 这提供了一个每步构造性的保证，即保留损失不会增加（在一次阶近似下），这是以往近似遗忘方法所缺乏的特性。

2.2 遗忘目标

PURGE 为遗忘集引入了一个全新的目标，超越了简单的均匀分布目标：

KL-Retain（保留混淆目标）： 不同于将遗忘输出推向均匀分布（这很容易被 MIA 检测到），PURGE 瞄准的是模型在保留集上的自然混淆模式。它通过对冻结的原模型在 $D_r$ 上的 Softmax 输出进行平均，预先计算出一个分布 $p_r$ 。遗忘目标是最小化遗忘输出与 $p_r$ 之间的 KL 散度。
原理： 这使得遗忘后模型的输出在统计上与从头开始重新训练的模型不可区分，从而将 MIA 的 AUROC 推向理想的 0.5。

2.3 多层表示擦除

仅靠输出抑制是不够的，因为信息可能会在中间层持久存在。PURGE 计算了多个中间层中，遗忘集激活值与保留集平均激活值（来自冻结的原模型）之间的均方误差 (MSE)。这迫使模型不仅在最终输出层面，而且在隐藏表示层面移除信息。

2.4 稳定性与停止机制

KD 锚定稳定性： 一个冻结的预遗忘模型作为教师，通过知识蒸馏 (KD) 对保留集进行指导，以减少表示漂移。
熵门控与限制： 如果模型在遗忘批次上的输出熵已经接近最大值，则更新将被限制在保留目标上，以防止过度遗忘或梯度爆炸。
双重自调节停止机制： 算法根据两个标准自动停止：
1. 保留损失预算： 如果保留损失相对于初始损失超过了预设预算，则停止。
2. 遗忘准确率 (FA) 目标： 当 FA 降至随机水平（例如 $100/K\%$ ）时停止。
BatchNorm 冻结： 作者识别出的一个关键实现细节：在遗忘期间，BatchNorm 层必须在评估模式下冻结。如果 BatchNorm 保持在训练模式，类别同质的遗忘批次可能会破坏运行统计量，导致模型崩溃。

3. 核心贡献

CL-MU 对偶性的算法实例化： PURGE 是首个直接将 A-GEM（一种 CL 算法）的梯度投影机制作为机器遗忘主要构造工具的研究，提供了正式的每步保留安全性保证。
保留混淆目标： 提出了基于模型在保留数据上自然混淆情况的 KL 散度目标，与均匀分布目标相比，显著提高了对 MIA 的抵抗力。
多层擦除： 将遗忘扩展到中间层激活值，以确保深层信息的移除。
自调节框架： 通过双重停止标准（保留损失预算和 FA 目标）消除了手动调整 Epoch 的需求。
经验性发现： 发现了 BatchNorm 失效模式在类别级遗忘中的作用，这是一个微妙但影响稳定性的关键问题。

4. 实验结果

PURGE 在五个数据集（CIFAR-10, MNIST, SVHN, STL10, PathMNIST）上使用 ResNet-18 完成了 22 个类别级遗忘任务的评估。

隐私-效用权衡： PURGE 在所有数据集上始终保持 保留准确率 (RA) 在 96% 以上。
隐私 (MIA 抵抗力)： 在五个数据集中的四个上，PURGE 实现了 接近 0.5 的 MIA AUROC（理想的不可区分性得分）。例如，在 CIFAR-10 上，其 AUROC 为 0.496。
基准对比：
- 与梯度上升法（在 CIFAR-10 上将保留准确率降至约 38%）或 SalUn（缺乏正式 MIA 保证）不同，PURGE 平衡了高保留效用与真实的成员隐私。
- 虽然 PURGE 在 CIFAR-10 上的测试准确率 (TA)（84.5%）低于 SalUn（93.5%），但作者认为这是为了实现真正的隐私（MIA $\approx$ 0.5）而非仅仅是低遗忘准确率而做出的刻意权衡。
效率： PURGE 大约在 1.75 个 Epoch 内收敛（在 CIFAR-10 上不足 200 秒），比全量重新训练快约 13 倍。
表示擦除： 特征空间 Fréchet 距离 (FIDfeat) 和余弦相似度指标证实，PURGE 有效地改变了中间表示，使其更接近于从头开始重新训练的模型。

5. 意义与主张

本文声称 PURGE 通过利用与持续学习的对偶性，为机器遗忘提供了一个原则性的框架。其意义在于：

形式化保证： 提供了一个每步保证保留损失不会增加的机制，这是启发式遗忘方法所缺乏的。
鲁棒隐私： 证明了针对“自然混淆”进行建模比使用人工均匀目标更能有效击败成员推理攻击。
实践指导： 提供了关键的实现见解，例如冻结 BatchNorm 层的重要性，这在遗忘文献中经常被忽视。

作者承认了局限性，包括与某些基准相比存在的测试准确率差距、缺乏正式的 $(\epsilon, \delta)$ -差分隐私保证，以及目前评估范围有限（ResNet-18，单类遗忘）。然而，他们认为 CL-MU 的对偶视角为未来的遗忘算法开辟了更广阔的设计空间。