📊 statistics

Towards Certified Unlearning for Deep Neural Networks

该论文提出了一种将认证遗忘方法扩展至非凸深度神经网络的高效框架，通过逆 Hessian 近似降低时间复杂度，并支持非收敛训练及顺序遗忘场景，在多个真实数据集上验证了其有效性与理论保障。

原作者： Binchi Zhang, Yushun Dong, Tianhao Wang, Jundong Li

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Binchi Zhang, Yushun Dong, Tianhao Wang, Jundong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个非常有趣且紧迫的问题：当用户要求“被遗忘”时，我们如何在不重新训练整个庞大的人工智能模型的情况下，真正地从模型中抹去他们的数据痕迹，并且还能向外界证明“我确实忘了”？

为了让你更容易理解，我们可以把这篇论文的研究内容想象成**“在一家繁忙的餐厅里，如何优雅地移除一位挑剔客人的点单记录，而不需要把整个厨房推倒重来”**。

以下是用通俗语言和比喻对这篇论文的解读：

1. 背景：为什么我们需要“机器遗忘”？

想象一下，你开了一家超级火爆的餐厅（这就是深度学习模型），每天接待成千上万的客人（训练数据）。

现状：根据法律（如 GDPR），如果客人说“我要被遗忘”，你就必须把关于他的所有点单记录从你的系统里彻底删掉。
传统做法（从头重训）：最彻底的方法是，把这位客人叫来，把他点的菜从菜单上划掉，然后把整个厨房拆了，重新招聘厨师，重新采购食材，重新做一遍所有菜。
- 缺点：这太慢了，太贵了，餐厅会直接倒闭。
现有的“擦除”方法：有些方法只是简单地把菜单上那个客人的名字涂黑，或者把那道菜的味道稍微调淡一点。
- 缺点：客人可能还会尝出原来的味道（数据泄露），而且你无法向监管局证明“我真的彻底忘了他”。

2. 核心挑战：深神经网络是个“非凸”的迷宫

以前的“擦除”技术（认证遗忘）主要用在简单的数学模型上，那些模型像是一个平滑的碗，很容易找到最低点。
但现在的深度神经网络（DNN）就像是一个极其复杂、充满坑坑洼洼的迷宫（非凸函数）。在这个迷宫里，随便走一步可能就会掉进坑里，或者走到一个局部低点就以为到底了。

难点：在这个复杂的迷宫里，很难保证你“擦除”客人的操作，不会意外地改变其他客人的口味，或者无法证明你真的回到了“没点过这道菜”的状态。

3. 论文提出的解决方案：聪明的“微调”加“加噪”

作者提出了一套新的方法，就像给餐厅主厨提供了一套**“快速修正菜单 + 魔法调味”**的秘籍。

第一步：聪明的“牛顿修正”（近似重训）

以前大家觉得在迷宫里找路太难，所以不敢用数学公式。但作者发现，只要做两个简单的调整，就能在迷宫里安全地走一步：

加一点“摩擦力”（局部凸近似）：想象在迷宫里铺上一层平滑的地毯，让原本坑坑洼洼的路变得稍微平坦一点，这样计算方向（海森矩阵逆）就变得容易且安全了。
给参数设个“围栏”（约束范数）：告诉厨师，调整菜单时，改动幅度不能太大，必须在一个合理的范围内。这防止了模型因为一次修改就“发疯”（参数爆炸）。

比喻：这就像主厨不需要重新做整桌菜，而是根据数学公式，精准地调整那一道菜的盐量，让整桌菜的味道无限接近于“没加过这位客人点的那道菜”时的状态。

第二步：加入“魔法噪音”（认证的关键）

这是最精彩的部分。即使主厨调整得很完美，数学上还是有一点点误差。为了100% 保证客人被“遗忘”，作者提出在最后一步往菜里撒一点点“魔法胡椒粉”（高斯噪声）。

原理：这层胡椒粉就像一层迷雾。虽然菜的味道（模型性能）稍微变了一点点，但这层迷雾足以掩盖任何关于那位客人的痕迹。
认证：因为你知道撒了多少胡椒粉，你就可以向监管局（或用户）出示一张“证书”，证明：“看，这层迷雾足够厚，没人能猜出这道菜里曾经有过那位客人的数据。”

4. 应对现实世界的复杂情况

作者还考虑了现实中的两个棘手场景：

场景一：训练还没结束就要求遗忘（非收敛）
- 比喻：厨师还在炒菜，火候还没到最佳状态，客人突然说“我要被遗忘”。
- 解决：作者证明，即使菜没炒熟（模型没达到最优），这套“修正 + 加噪”的方法依然有效，依然能擦除痕迹。
场景二：连续不断的遗忘请求（顺序遗忘）
- 比喻：客人 A 刚走，客人 B 马上说“我也要被遗忘”，接着客人 C、D……
- 解决：作者的方法可以像流水线一样，基于上一次修改后的菜单，继续修改下一次。而且，随着修改次数增加，误差反而可能变小，因为模型越来越稳定。

5. 实验结果：既快又好

作者在三组真实数据（MNIST 手写数字、CIFAR-10 图片、SVHN 街景数字）上做了测试：

速度：比“拆掉厨房重练”快了10 倍以上。
效果：
- 隐私性：黑客（攻击者）很难猜出哪些数据被删了，比那些简单的“涂黑”方法强得多。
- 实用性：餐厅（模型）对其他客人（保留数据）的服务质量几乎没有下降。
结论：这套方法不仅快，而且因为有数学证明（认证），它比那些凭感觉调整的方法更让人放心。

总结

这篇论文就像是给 AI 行业颁发了一张**“可验证的遗忘许可证”**。它告诉我们：

不需要为了删数据而推倒重来（太慢）。
不需要担心复杂的数学迷宫（太难）。
通过**“精准修正 + 适量加噪”**，我们可以在极短的时间内，既保护了用户的隐私，又保证了 AI 模型依然好用，并且能拿出数学证据说：“是的，我确实忘了他。”

这对于未来保护用户数据隐私、让 AI 更符合法律法规，具有非常重要的意义。

这是一份关于论文《Towards Certified Unlearning for Deep Neural Networks》（面向深度神经网络的认证遗忘）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
随着《通用数据保护条例》(GDPR) 等法规的出台，“被遗忘权”要求机器学习模型能够删除特定用户的数据及其影响。机器遗忘（Machine Unlearning）旨在从训练好的模型中移除特定数据的影响。

核心挑战：

重训练成本高昂： 最彻底的遗忘方式是重新训练模型（Retraining from scratch），但这在大规模数据集和深度神经网络（DNNs）上计算成本极高，不具备实用性。
现有方法的局限性： 现有的“认证遗忘”（Certified Unlearning）方法主要基于凸优化理论（如线性模型、凸模型），利用牛顿更新（Newton Update）和微分隐私（Differential Privacy）来保证遗忘的严格性。然而，DNNs 具有高度**非凸（Nonconvex）**的特性，导致现有的凸优化理论无法直接适用。
理论与现实的差距： 之前的尝试要么缺乏理论保证（仅经验近似），要么依赖不切实际的凸性假设，导致认证遗忘与 DNNs 之间存在巨大鸿沟。此外，现实场景还涉及非收敛训练（如早停）和顺序遗忘（多次连续删除请求）等复杂情况。

目标：
在不需要凸性假设的前提下，为深度神经网络设计一种高效且具有严格理论保证（Certified）的遗忘方法，并扩展至非收敛和顺序遗忘场景。

2. 方法论 (Methodology)

论文提出了一种将认证遗忘扩展到非凸目标函数（DNNs）的框架，核心思想分为两步：估计重训练模型和添加噪声。

2.1 核心框架

基于定理 2.3，认证遗忘过程 $U$ 可以分解为：

近似估计： 计算一个近似重训练模型 $\tilde{w}$ ，使其与真实重训练模型 $\tilde{w}^*$ 之间的误差有界（ $\|\tilde{w} - \tilde{w}^*\|_2 \le \Delta$ ）。
添加噪声： 在近似模型上添加高斯噪声 $Y \sim \mathcal{N}(0, \sigma^2 I)$ ，其中 $\sigma$ 与误差界 $\Delta$ 相关，以满足 $\epsilon-\delta$ 认证遗忘的定义。

2.2 关键技术创新

为了在非凸 DNNs 上实现上述框架，作者提出了以下关键技术：

非凸牛顿更新与误差界推导：
- 传统方法使用单步牛顿更新 $\tilde{w} = w^* - H^{-1}\nabla L$ 。作者证明了通过简单的修改，该方法同样适用于**弱凸（Weakly Convex）**函数（DNNs 的常见性质）。
- 局部凸近似（Local Convex Approximation）： 为了解决非凸 Hessian 矩阵可能不可逆或范数过大的问题，作者在 Hessian 计算中引入 $\ell_2$ 正则化项 $\lambda I$ ，即使用 $(H_{w^*} + \lambda I)^{-1}$ 。这使得非凸目标在局部变为强凸，从而控制了逆 Hessian 的范数。
- 参数范数约束： 在优化过程中加入约束 $\|w\|_2 \le C$ （通过投影梯度下降实现）。这确保了模型参数有界，从而推导出了与遗忘集大小无关的误差上界。
高效计算（Inverse Hessian Approximation）：
- 直接计算 DNN 的 Hessian 逆矩阵复杂度为 $O(np^2 + p^3)$ ，不可行。
- 作者采用 LiSSA 算法，利用 Hessian-向量积（Hessian-vector product）技术，通过随机采样估计逆 Hessian。
- 利用梯度性质 $\nabla L(w^*, D) = 0$ ，将 $\nabla L(w^*, D_r)$ 转化为仅依赖遗忘集 $D_u$ 的梯度计算，将复杂度从 $O(np) $降低到$ O(n_u p)$。
- 最终计算复杂度降低为 $O(sp^2 + n_u p)$ ，其中 $s$ 是递归次数， $p$ 是参数量。
扩展场景分析：
- 非收敛训练（Nonconvergence）： 针对实际训练中模型未达到全局/局部最优（如早停）的情况，作者分析了残差梯度有界时的误差界，证明了方法依然有效。
- 顺序遗忘（Sequential Unlearning）： 针对用户多次发送遗忘请求的场景，提出了迭代更新策略。证明了在顺序遗忘过程中，只要每次更新基于当前模型进行，累积的误差界依然可控，且随着训练集缩小，梯度范数减小，误差界甚至可能更紧。

3. 主要贡献 (Key Contributions)

理论突破： 首次在不依赖凸性假设的情况下，为深度神经网络建立了严格的认证遗忘理论框架。证明了通过局部凸近似和参数约束，可以为非凸目标函数推导有界的近似误差。
高效算法设计： 提出了一种结合 LiSSA 和梯度分解的高效计算方案，显著降低了认证遗忘的时间复杂度，使其适用于大规模 DNNs。
现实场景扩展： 将认证遗忘理论扩展到了非收敛训练和顺序遗忘这两个关键的现实场景，填补了现有理论在这些复杂场景下的空白。
实证验证： 在 MNIST、CIFAR-10 和 SVHN 三个真实数据集上，使用 MLP、All-CNN 和 ResNet18 进行了广泛实验。

4. 实验结果 (Results)

实验对比了该方法（Certified）与多种基线（重训练、微调、负梯度、Fisher 遗忘、L-CODEC）：

遗忘效果（Privacy）：
- 成员推理攻击（Membership Inference Attack）： 认证遗忘方法在攻击准确率和 AUC 分数上表现优异，显著低于其他基线（如负梯度），表明其能更有效地去除遗忘样本的信息。
- 重学时间（Relearn Time）： 认证遗忘方法需要更多的时间才能重新学会遗忘的数据，证明其遗忘更彻底。
模型效用（Utility）：
- 在保留集（Retained Set）和测试集（Test Set）上，认证遗忘方法的 F1 分数最接近“从头重训练”的模型，优于负梯度和 Fisher 遗忘等方法。
- 在遗忘集上，其 F1 分数显著下降，符合遗忘目标。
效率（Efficiency）：
- 相比从头重训练，认证遗忘在 DNNs 上实现了10 倍以上的加速。
- 相比精确计算逆 Hessian，使用 LiSSA 近似带来了470 倍的加速（在 MLP 实验上）。
消融实验：
- 验证了局部凸近似（ $\lambda > 0$ ）和参数约束（ $\|w\|_2 \le C$ ）对降低误差界的关键作用。
- 验证了顺序遗忘场景下，随着步骤增加，梯度范数和误差界均保持稳定或下降。

5. 意义与影响 (Significance)

填补理论空白： 解决了认证遗忘从凸模型向非凸深度神经网络迁移的难题，为 DNNs 的隐私合规提供了坚实的理论基础。
实用性强： 提出的方法不仅理论严谨，而且计算高效，能够处理现实世界中常见的非收敛训练和连续遗忘请求，具有极高的落地潜力。
隐私保护新范式： 证明了在 DNNs 中，可以通过添加受控噪声来实现严格的隐私保证，且这种保证比传统的经验式遗忘方法（如负梯度）更加可靠和可验证。
未来方向： 该工作为后续研究非凸优化下的隐私保护、更紧的误差界推导以及更复杂的动态遗忘场景奠定了基础。

总结： 该论文通过引入局部凸近似、参数约束和高效逆 Hessian 估计，成功地将认证遗忘扩展到了深度神经网络领域，并在理论保证、计算效率和实际效果之间取得了良好的平衡，是机器遗忘领域的重要进展。