🤖 machine learning

Auditing of Unlearning Algorithms

本文介绍了一种实用的审计框架，该框架利用成员推理攻击来计算关于遗忘保证的数据依赖型下界，揭示了一个显著的性能差距，即经过严格证明的算法能有效消除数据影响，而经验方法则无法做到这一点。

原作者： Sahasrajit Sarmasarkar, Anastasia Koloskova, Sanmi Koyejo

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Sahasrajit Sarmasarkar, Anastasia Koloskova, Sanmi Koyejo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、超级聪明的图书馆（机器学习模型），它读过数百万本书籍来学习如何创作故事。有一天，一位特定的作者要求将其著作从图书馆的记忆中移除，因为他希望被“遗忘”。

问题所在：
仅仅把书从书架上拿走是不够的。图书管理员（AI）已经记住了这位作者的风格、词汇和情节转折。如果你要求管理员写一个故事，他们可能会不经意间使用该作者独特的短语。一个聪明的侦探（对抗者）可以通过向管理员提问特定的问题，从而推断出：“啊，这个图书管理员肯定读过那本特定的书！”

解决方案（遗忘）：
为了解决这个问题，开发者创造了“遗闻算法”（unlearning algorithms）。这些是专门设计的程序，旨在彻底清除图书馆的记忆，使其表现得就像从未读过那本作者的书一样。其中一些程序是“经过认证的”（certified），这意味着它们带有数学保证（就像一份保修单），确保记忆被真正抹除。其他的则是“启发式的”（heuristic），意味着它们只是在努力尝试遗忘，但并没有正式的保证。

大问题：
我们如何知道图书管理员是否真的忘记了？这篇论文引入了一个新工具，叫做审计员（Auditor）。你可以把审计员看作是 AI 记忆的“测谎仪”。

审计员的工作原理（侦探游戏）：
审计员与 AI 进行一场猜谜游戏：

设置： 审计员拿来一大堆书，并将它们分成许多个小组。
诡计： 在一轮中，审计员告诉 AI 去“遗忘” A 组。在下一轮中，它告诉 AI 去“遗忘” B 组。AI 并不知道哪一组是被真正移除的；它只知道有一组被移除了。
猜测： 在 AI 尝试“遗忘”之后，审计员会问：“你实际遗忘了哪一组？”
评分：
- 如果 AI 擅长遗忘，它应该感到困惑。它不应该能够分辨出“A 组被移除”和“B 组被移除”之间的区别。审计员的猜测应该是随机的（就像抛硬币一样）。
- 如果 AI 不擅长遗忘，它仍会有信息“泄漏”。审计员能比随机概率更频繁地猜对。

“ε” (Epsilon) 分数：
论文使用一个被称为 ε (epsilon) 的数字来衡量遗忘程度的高低。

低 ε： AI 正在真正遗忘。审计员无法比随机猜测做得更好。“保修单”依然有效。
高 ε： AI 在撒谎。审计员可以轻易猜出哪些数据被移除了。“保修单”失效了。

论文的发现：
作者在这两种类型的图书馆上测试了这个审计员：

“经过认证的”图书馆： 使用严谨、重数学的方法（如添加噪声或回溯时间）。
- 结果： 审计员几乎没有发现泄漏。ε 分数极小。这些方法确实如其所承诺的那样奏效。
“启发式的”图书馆： 使用快速且粗略的技巧（如仅针对剩余书籍进行重新训练，或尝试通过“推开”数据来进行“遗忘”）。
- 结果： 审计员发现了大规模的泄漏。ε 分数非常高（有时高达 50 或 60！）。这意味着这些方法实际上并没有遗忘数据，即使它们声称自己很高效。

总结：
这篇论文构建了一个实用的工具来揭露“虚假”的遗忘。它表明，虽然一些复杂的、经过认证的方法确实删除了数据，但许多流行的、更快速的方法只是在假装遗忘。如果你依赖这些快速方法来保护隐私，你可能会陷入麻烦，因为数据仍然在那里，隐藏在众目睽睽之下。

简而言之： 论文说：“不要仅仅相信 AI 说它忘记了。使用我们的审计员来检查它是否真的在说实话。”

技术摘要：机器学习遗忘算法的审计

问题陈述

机器学习遗忘（Machine unlearning）旨在从已训练的模型中移除特定训练样本的影响，理想情况下，得到的模型应与仅在剩余数据上重新训练得到的模型无法区分。虽然精确遗忘（exact unlearning）能提供强有力的保证，但对于深度网络而言，其计算成本往往高得难以承受。因此，出现了近似遗忘方法，其范围涵盖了从启发式方法（例如，对遗忘集进行梯度上升、基于 Hessian 矩阵的擦除）到提供 $(\varepsilon, \delta)$ -不可区分性保证的认证方法。

一个关键的开放性挑战是对这些声明进行实证评估。现有的理论界限通常依赖于可能在实践中并不成立的假设（例如凸性），并且缺乏实际工具来验证所声称的遗忘保证是否确实成立。本文旨在解决开发一个**审计器（auditor）**的需求，该审计器利用实证证据来测试遗忘保证，具体目标是拒绝“遗忘参数 $\varepsilon$ 低于某一特定下界（ $\varepsilon < \varepsilon_{LB}$ ）”的假设。

方法论

威胁模型

作者采用了强黑盒对手模型。对手已知：

学习算法 ( $A$ ) 和遗忘算法 ( $U$ )。
数据加载打乱器（随机排列 $\pi$ ）。
训练开始时的初始模型权重 ( $x_0$ )。
对手无法观察到训练或遗忘过程中的特定随机实现（例如梯度噪声），也无法访问算法的内部状态。该模型相对于标准定义增强了对手的能力，但与诸如模型裁剪（Model Clipping）和回溯删除（Rewind-to-Delete, R2D）等认证算法的保证保持一致。

审计器框架

所提出的审计器是一个假设检验框架，旨在计算关于真实遗忘参数 $\varepsilon$ 的数据依赖型下界 $\varepsilon_{LB}$ 。

设置： 将训练数据集划分为保留集 ( $D_r$ ) 和遗忘集 ( $D_f$ )。 $D_f$ 被进一步划分为 $m$ 个候选批次（batches）。
符号向量（Sign Vectors）： 审计器采样一个平衡符号向量 $S \in \{\pm 1\}^m$ ，其中 $+1$ 表示该批次被包含在训练集中（因此受遗忘影响），$-1$ 表示该批次被排除。
执行： 对于每次运行 $\ell$ $ℓ$ ：
- 根据符号向量 $S^{(\ell)}$ 构建训练集 $D(S^{(\ell)})$ 。
- 训练并随后遗忘模型以生成 $f_u^{(\ell)}$ 。
- 审计器尝试从 $f_u^{(\ell)}$ 中预测符号向量 $S^{(\ell)}$ 。
评分： 审计器计算重叠得分 $V^{(\ell)}$ ，即统计正确非零预测的数量（即预测符号与真实符号匹配的数量）。
归约至 LDP： 审计过程被归约为局部差分隐私（LDP）问题。如果遗忘算法是 $(\varepsilon, 0)$ -认证的，则审计器的机制被证明是 $(2\varepsilon, 0)$ -LDP。
假设检验： 利用多次独立运行中重叠得分的分布，审计器计算下界 $\varepsilon_{LB}$ 。如果观测到的重叠程度显著高于随机猜测，则拒绝原假设（ $H_0: \varepsilon \le \varepsilon_{LB}$ ），这表明遗忘效果较弱。

审计器实例化

提出了两种具体的审计器机制 $M$ 实例化方案：

实例化 I（按批次）： 适用于 $m$ 较大的情况。它借鉴 LiRA 的思想，为每个批次的 Logit 分数拟合高斯分布，以预测包含或排除情况。
实例化 II（联合符号向量）： 适用于 $m$ 较小（可枚举）的情况。它将整个符号向量视为一个假设，捕捉跨批次的关联性，并选择具有最高累积似然值的向量。

核心贡献

实用的审计器设计： 本文引入了一种元算法，将差分隐私审计技术扩展到遗忘设置中，特别针对子集层级的遗忘集而非单点邻居。
理论界限： 作者推导了新的理论界限（定理 4.2），将实证重叠得分转换为有效的 $\varepsilon$ 下界，并控制了第一类错误（Type I error），特别是在 $\delta=0$ 的情况下。
实证证伪： 该框架提供了一个实证证伪遗忘声明的工具。它能够区分具有严谨理论保证的方法与仅为启发式方法的方法。

结果

审计器在 CIFAR-100（使用 TinyNet 模型）和 Shakespeare 文本数据集（使用 LSTM）上进行了评估。实验涵盖了已认证和未认证的遗忘算法。

认证方法与未认证方法之间的显著分离

认证算法： 具有形式化保证的方法，如 模型裁剪（Model Clipping, Koloskova et al., 2025）和 回溯删除（R2D），始终产生非常小的 $\varepsilon_{LB}$ 值（通常接近 0）。这表明实证证据并未证伪其理论保证。
未认证/启发式算法： 缺乏形式化保证的方法，包括 基于 Hessian 的遗忘、交替上升-下降法（IDA）、针对遗忘集的上升法 以及 针对保留集的纯微调，均表现出较大的 $\varepsilon_{LB}$ $ε_{L B}$ 值，经常超过 50–60。
- 值得注意的是，声称在凸性条件下具有认证性的 Hessian 方法（Zhang et al., 2025），在 CIFAR-100（非凸场景）上表现出的 $\varepsilon_{LB}$ 为 142.5，这证明了审计器成功识别了该方法前提条件的失效。
- 纯微调和遗忘集上升法也显示出类似的极高界限，表明其遗忘性能较差。

数据划分的影响

研究观察到，均匀划分（即遗忘集和保留集共享特征支持）产生的 $\varepsilon_{LB}$ 值通常比 对抗性划分（不相交的标签类别）更高。这表明在均匀划分中，残余记忆和语义邻近性使得实现有效的遗忘变得更加困难。

凸与非凸场景

在凸损失函数（三次和逻辑损失）的实验中，认证 $\varepsilon$ 与实证 $\varepsilon_{LB}$ 之间的差距比在非凸深度学习设置中要小得多。这证实了审计器在分析易处理的设置中更为紧凑，且在深度学习中观察到的巨大界限很可能是由于启发式方法的真实遗忘失败，而非仅仅是审计器的松弛。

意义与主张

本文声称提供了第一个通过假设检验框架实证证伪机器学习遗忘保证的实用工具。其主要意义在于审计器的诊断价值：

它揭示了在实践中常用的启发式方法往往无法有效移除数据影响，这由高 $\varepsilon_{LB}$ 值所证明。
它验证了认证方法（当其假设成立时）即使在强对手面前也能维持其保证。
它强调了依赖于假设（如凸性）的认证声明在现实世界深度学习场景中的脆弱性。

作者总结道，尽管其分析目前仅限于 $\delta=0$ ，但所提出的审计器为评估机器学习遗忘算法的有效性提供了一个严谨的标准，能够将那些具有真实保证的方法与那些仅仅看起来像是遗忘了的方法区分开来。