🤖 machine learning

Sequential Subspace Noise Injection Prevents Accuracy Collapse in Certified Unlearning

本文引入了序列子空间噪声注入（sequential subspace noise injection），这是一种将噪声分布在正交参数子空间中的方法，旨在显著提高认证遗忘（certified unlearning）的准确性，同时保持严格的差分隐私保证。

原作者： Polina Dolgova, Sebastian U. Stich

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Polina Dolgova, Sebastian U. Stich

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《顺序子空间噪声注入防止认证遗忘中的准确率崩溃》（Sequential Subspace Noise Injection Prevents Accuracy Collapse in Certified Unlearning）的通俗化解释，采用了日常语言与类比。

核心问题：“把一切都抹掉”的橡皮擦

想象你有一位技艺精湛的艺术家（机器学习模型），他根据一组特定的照片创作了一幅杰作。突然，一位客户说：“我想让你忘掉我之前给你的那张特定照片。”

在法律世界中（例如 GDPR），你不能仅仅假装忘记了；你必须在数学上证明那张照片确实消失了。目前的标准做法被称为**“认证遗忘”（Certified Unlearning）**。它的工作原理就像是一个非常激进的橡皮擦：为了证明照片已消失，算法会在艺术家的记忆中加入大量的“静态噪声”，然后尝试重新绘制图像。

症结所在： 目前的方法过于激进，它不仅擦掉了那张不好的照片，还抹掉了整张画布。艺术家忘掉了所有东西，包括画作中优秀的的部分。等到他们试图修复画作时，颜色已经变得浑浊不堪，导致整幅画作被毁掉了（这被称为“准确率崩溃”）。

解决方案：“逐块处理”策略

作者提出了一种名为**“分块噪声微调”（Block-wise Noisy Fine-Tuning）**的新方法。他们不再一次性抹掉整张画布，而是将画作分解成许多小的、独立的区块（就像一格一格的瓷砖）。

以下是他们的方法是如何运作的，使用了一个简单的类比：

旧方法（大锤）： 想象一下，你想去除巨型挂毯上的一个特定污渍，却用大锤猛击整件挂毯。你可能确实去掉了污渍，但也把整个挂毯砸出了洞。
新方法（手术刀）： 作者建议将挂毯视为一个拼图。他们在上面覆盖一层网格。
- 他们挑选单个瓷砖（模型记忆的一个区块）。
- 他们只对那一个瓷砖应用“噪声”（即橡皮擦）。
- 他们让所有其他瓷砖保持冻结且不受影响的状态。
- 然后，他们移动到下一个瓷砖并重复这个过程。

为什么这有效： 因为他们一次只摇晃模型的很小一部分，所以模型的其余部分保持了稳定。“噪声”不会压垮整个系统。这就像通过一次清理一个抽屉来清理房间，而不是把所有家具都扔出窗外，然后再指望能找回你的袜子。

第二个问题：“最坏情况”的恐惧

论文还指出了旧方法的第二个问题。旧规则的设计初衷是即使艺术家从一张完全空白、随机的画布开始也能奏效。这迫使算法必须假设最坏的情况，从而需要更多的噪声来确保安全。

作者意识到，在现实中，艺术家并不是从零开始，而是从一幅完成的画作开始，只需要进行微调。他们引入了一种新的方式来衡量原始画作与去掉那张“坏照片”后的画作之间的“距离”。通过使用这种更符合现实的测量方式，而不是使用“最坏情况”的猜测，他们可以减少噪声的使用，从而保持画作的清晰度。

实验结果：既清除了痕迹，又保留了艺术

研究人员在图像识别任务（如识别照片中的猫和狗）上测试了该方法。

旧方法： 当他们尝试删除数据时，模型的准确率从 88% 跌到了 20% 以下。这是一场灾难。
新方法： 通过使用这种“逐块处理”的方法，模型成功删除了不需要的数据（证明了数据已消失），同时保留了几乎与从头开始重新训练相当的图像识别能力。

总结

这篇论文不仅仅是在说“我们做得更快了”。它解决了一个根本性的缺陷，即安全保证（证明数据已消失）正在破坏技术的实用性。

他们找到了一种方法，可以以一种智能的、顺序的模式（逐块进行）并结合更现实的起点来应用“安全噪声”。这使得我们可以从法律和数学层面“忘记”特定数据，而不会在这个过程中摧毁 AI 的大脑。它弥合了严格的法律安全要求与实用的、可工作的技术之间的鸿沟。

技术摘要：用于认证遗忘的序列化子空间噪声注入

问题陈述

机器遗忘（Machine unlearning）旨在从已训练的模型中移除特定训练数据的影响，以符合 GDPR 等法规或移除敏感信息。虽然从头开始重新训练是金标准，但其计算成本往往高得难以承受。基于差分隐私（DP）的认证遗忘方法提供了形式化的数据移除保证，但面临一个关键的实际局限性：准确率崩溃（accuracy collapse）。

现有的方法（如带有梯度裁剪的噪声微调 NFT）通过注入高斯噪声来满足 $(\epsilon, \delta)$ -遗忘保证。然而，在过度参数化的深度网络中，满足认证遗忘所需的噪声足以在所有参数上同时主导梯度信号。实验结果表明，标准的 NFT 会导致测试准确率剧烈下降（例如，在 CIFAR-10 上从 88% 降至 20% 以下），并且即使经过后续微调也无法恢复。这在维持严谨的形式化保证与保留模型效用之间造成了张力。

方法论

作者提出了分块噪声微调（Block-wise Noisy Fine-Tuning, Block-wise NFT），这是对标准 NFT 框架的一种改进，旨在减轻准确率崩溃的同时保留正式的认证保证。该方法解决了现有认证遗忘分析中的两个特定瓶颈：

1. 序列化子空间噪声注入

标准的 NFT 在每一步都会向全参数空间注入噪声。作者观察到，对于高维模型，噪声向量的 $\ell_2$ 范数 ( $\sigma\sqrt{d}$ ) 会压倒裁剪后的梯度更新。

方法： 将参数空间 $\mathbb{R}^d$ 划分为 $k$ 个相互正交的子空间（块）。
机制： 该算法不再更新所有参数，而是每次仅顺序更新一个块。在更新特定块的过程中，仅在该子空间内注入噪声，而所有其他参数保持冻结状态。
益处： 这将相同的认证噪声预算在时间上和较低维度的子空间上进行了重新分配。通过将扰动限制在每步仅占坐标总数的比例（ $1/k$ ），每步的失真显著降低，从而防止噪声主导训练信号。

2. 基于邻近性的校准 ( $\Delta(\rho)$ )

标准的 NFT 分析通常依赖于最坏情况下的模型裁剪半径 ( $C_0$ ) 来处理任意初始化，这会导致过于保守的噪声需求。

方法： 作者使用高概率邻近参数 $\Delta(\rho)$ 取代了最坏情况初始化假设。该参数在固定随机性耦合下，界定了全量数据集训练的模型与保留数据集训练模型之间的距离。
机制： 通过基于实际距离 $\Delta(\rho)$ 而非最坏情况直径来校准噪声和裁剪，所需的噪声方差得以降低。
益处： 这产生了一个针对特定重训练比较而定制的证书，避免了与训练无关的最坏情况界的悲观性。

算法概述

Block-wise NFT 算法流程如下：

划分： 将模型权重分解为 $k$ 个正交块。
顺序更新： 对于每个块 $i$ $i$ ：
- 冻结除块 $i$ 以外的所有参数。
- 使用由 $\Delta(\rho)$ 推导出的校准噪声方差 $\sigma^2$ 和步数 $T$ ，对块 $i$ 进行噪声微调。
- 不应用初始的最坏情况裁剪 ( $C_0$ )；仅使用基于邻近性的界限。
最终化： 在所有块按顺序更新完成后，对全量模型进行标准微调以恢复效用。

核心贡献

方法： 引入了 Block-wise NFT，它通过在正交参数块上顺序应用认证噪声更新。这减少了单步失真，同时确保了在遗忘调度期间实现全参数覆盖。
认证： 将 NFT 认证分析扩展到分块调度。作者证明了其保留了相同的 $(\epsilon, \delta)$ 隐私预算。他们还形式化了用邻近参数 $\Delta(\rho)$ 替换最坏情况模型裁剪的过程。
理论洞察： 识别了一个“形式化瓶颈”，即训练无关的最坏情况认证会导致效用与效率之间的张力。作者证明，在初始化无关的不可区分性条件下，要在比重训练更少的步骤内保持高水平效用是不可能的，这促使了向基于邻近性表述的转变。
实验验证： 在 MNIST 和 CIFAR-10 基准测试（使用 ResNet-18 和 ViT-Tiny）中，证明了 Block-wise NFT 在随机删除和类删除情况下均能有效防止准确率崩溃，并对成员推理攻击（MIA）具有鲁棒性。

实验结果

论文将 Block-wise NFT 与标准 NFT、从头开始重训练以及各种经验性（未认证）遗忘基线进行了对比评估。

准确率恢复： 在使用 ViT-Tiny 的 CIFAR-10 上，标准 NFT 使准确率降至 20% 以下且无法恢复。相比之下，Block-wise NFT 在遗忘阶段保持了显著更高的准确率，并在微调后恢复到接近重训练的水平。
隐私保证： 该方法实现了 100% 的遗忘准确率 (UA) 和 100% 的 MIA 分数（表明无泄露），在这些指标上与从头开始重训练的表现一致。
效率： Block-wise NFT 计算效率很高，运行时间与标准 NFT 相当，且显著低于从头开始重训练。
鲁棒性： 该方法在不同的块大小 ( $k$ ) 和块构建策略（随机 vs 层级）下依然有效，表明其增益对特定的划分方式并不高度敏感。

意义与主张

本文声称 Block-wise NFT 弥合了严谨的形式化保证与实际效用之间的鸿沟。

缓解准确率崩溃： 主要贡献在于证明了与 DP 启发的遗忘相关的严重准确率下降并非认证遗忘的固有局限，而是特定设计选择（全局空间噪声注入和最坏情况裁剪）的结果。
实际可行性： 通过利用序列化子空间注入和邻近性校准，该方法使得认证遗忘在所研究的场景中变得大幅度减损。
局限性与范围： 作者对其主张的普适性持谨慎态度。他们指出 $\Delta(\rho)$ 的校准是经验性的，且特定于模型类和训练流程。他们强调，其保证是以所述认证设置和校准程序为条件的，且该方法并不声称是无需适当校准即可适用于所有遗忘场景的通用解决方案。

总之，这项工作认为，通过从最坏情况、全局噪声注入转向尊重遗忘过程中涉及模型的实际邻近性的结构化、序列化更新，可以使认证遗忘在大型模型上变得切实可行。