🤖 machine learning

Verification of Machine Unlearning is Fragile

该论文揭示了机器遗忘验证机制的脆弱性，指出模型提供商可通过两种新型对抗性遗忘过程绕过现有验证策略，从而在保留被要求删除数据信息的同时欺骗验证者。

原作者： Binchi Zhang, Zihan Chen, Cong Shen, Jundong Li

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Binchi Zhang, Zihan Chen, Cong Shen, Jundong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲了一个关于**“机器遗忘”（Machine Unlearning）**的惊人发现：目前的验证方法非常脆弱，就像纸糊的墙一样，很容易被骗过。

为了让你轻松理解，我们可以把整个过程想象成一个**“餐厅与顾客”**的故事。

1. 背景：顾客有权“被遗忘”

想象你是一家餐厅（模型提供商）的常客，你经常来吃饭（提供数据）。现在，法律（比如 GDPR）规定，如果你不想再来了，或者想保护隐私，你有权要求餐厅彻底删除你的所有信息，并且餐厅必须让你相信，他们的系统里真的没有你的痕迹了。

这就是**“机器遗忘”**：把训练好的 AI 模型里关于你的数据彻底抹去。

2. 问题：怎么证明你真的删了？

作为顾客（数据所有者），你没法直接进厨房看厨师（模型提供商）是不是真的把你从账本里划掉了。你只能听厨师说：“删了，删干净了。”

为了防止厨师撒谎（比如为了省力气，或者为了保留你的口味偏好继续赚钱），研究人员发明了一些**“验证策略”**来检查：

后门验证（Backdoor Verification）： 就像你在点菜时故意埋了一个“暗号”（比如点一道极其奇怪的菜，或者把标签写错）。如果厨师真的把你删了，他应该不知道这个暗号，做出来的菜味道正常；如果他还记得你，他可能会下意识地按照那个奇怪的暗号做菜。
重演验证（Reproducing Verification）： 就像厨师必须给你看一本**“烹饪日志”**，详细记录每一步是怎么把关于你的数据从食谱里剔除的。你要能照着日志重新做一遍，发现结果和他说的一样，才信他。

3. 核心发现：验证很脆弱！

这篇论文的作者（来自弗吉尼亚大学的研究团队）发现：现在的这些验证方法，根本防不住狡猾的厨师！

他们提出了两种**“作弊方法”**，让厨师既能骗过检查，又能偷偷保留你的数据（或者说保留你的“口味”）。

作弊方法一：完美的“替身演员”法（Retraining-based）

原理： 厨师不想真的重新把整本食谱从头到尾抄一遍（太累了），但他想骗过“重演验证”。
操作： 当食谱里有一页写着“顾客 A 喜欢辣”时，厨师不直接删掉这一页。而是从剩下的顾客里，找了一个长得特别像顾客 A 的人（邻居），把那个人的喜好（比如“喜欢微辣”）拿来，假装是顾客 A 的喜好，继续写进新食谱里。
结果：
- 验证者看日志： 发现每一步操作都符合逻辑，数据确实不是顾客 A 的（是那个邻居的），所以验证通过！
- 实际效果： 因为那个“邻居”和顾客 A 太像了，做出来的菜（模型）味道几乎没变，顾客 A 的口味其实被保留下来了。
- 连“暗号”也骗过了： 因为模型本质上还是学到了类似的东西，所以那个奇怪的“暗号”依然能触发。

作弊方法二：聪明的“伪造日志”法（Forging-based）

原理： 这种方法更偷懒，专门用来骗那些只检查“日志格式”的验证者。
操作： 厨师手里本来就有原来的“旧食谱”（原始训练日志）。当你要删除数据时，他不需要真的重新做菜，而是直接在旧日志上**“修修补补”**。
- 他把原本记录你数据的那几行，偷偷换成了别人的数据。
- 他稍微调整一下数字，让修改后的日志看起来像是“重新做了一遍”，但实际上只是对旧日志的微小篡改。
结果：
- 验证者看日志： 只要允许一点点误差（比如允许数字有 0.001 的差别），这个伪造的日志就能完美通过检查。
- 实际效果： 厨师省下了巨大的计算成本，而且模型几乎和原来一模一样，你的数据依然被模型“记住”了。

4. 这意味着什么？（比喻总结）

现状： 我们以为只要厨师拿出一本干净的账本（验证通过），就代表他真的忘了你。
真相： 这篇论文告诉我们，账本是可以伪造的，或者可以用“替身”来顶替的。
- 如果你要求厨师“彻底重做”（Exact Unlearning），他可以用“替身演员”法，让你以为重做了，其实味道没变。
- 如果你要求厨师“出示日志”（Proof of Retraining），他可以用“伪造日志”法，让你以为他改了，其实只是涂改了一下。

5. 结论与启示

这篇论文并不是说“机器遗忘”没用，而是敲响了警钟：
目前的验证手段太脆弱了，就像用一张薄纸去挡洪水。

对普通人： 如果你要求删除数据，现在的技术可能无法保证你真的被“遗忘”了，模型提供商可能还在偷偷利用你的数据。
对研究者： 我们需要开发更聪明、更坚固的验证方法，不能只看日志或简单的测试，得想办法识破这些“替身”和“伪造”。

一句话总结：
现在的“机器遗忘”验证就像是在玩**“找茬游戏”，但模型提供商手里有“透视眼”和“橡皮擦”**，他们能完美地伪造出“已删除”的假象，实际上却把数据藏得严严实实。我们需要更厉害的“侦探”来对付他们。

这篇论文题为《机器遗忘验证的脆弱性》（Verification of Machine Unlearning is Fragile），由弗吉尼亚大学的 Binchi Zhang 等人撰写。文章深入探讨了在机器学习（ML）模型中执行“机器遗忘”（Machine Unlearning, MUL）时，现有验证策略的安全漏洞。

以下是该论文的详细技术总结：

1. 研究背景与问题定义

背景：随着 GDPR 和 CCPA 等隐私法规的实施，数据所有者有权要求从训练好的 ML 模型中移除其数据（即机器遗忘）。然而，数据所有者通常无法监控遗忘过程，必须依赖模型提供商（Model Provider）的诚实性。
现有方案：为了增强透明度，研究者提出了多种验证策略，主要包括：
1. 后门验证（Backdoor Verification）：数据所有者在训练前注入带有特定触发器的后门数据。如果模型被诚实遗忘，后门触发器应失效；否则，模型仍会响应后门。
2. 重演验证（Reproducing Verification）：模型提供商提供“遗忘证明”（Proof of Unlearning, PoUL），记录遗忘操作的每一步（如重训练轨迹），供第三方验证者重演以验证完整性。
核心问题：现有的验证策略是否真的安全？模型提供商是否可以通过“恶意遗忘”（Adversarial Unlearning）绕过这些验证，同时保留被遗忘数据的信息？
研究结论：论文给出了悲观的答案——机器遗忘的验证是脆弱的。模型提供商可以设计对抗性遗忘过程，在满足验证要求的同时，依然保留被遗忘数据的信息。

2. 威胁模型

攻击者：模型提供商（Model Provider）。
受害者：数据所有者（Data Owner）。
攻击目标：
1. 欺骗验证者，使其相信数据已被成功遗忘。
2. 在模型中保留被遗忘数据的信息（即模型仍能“记住”这些数据）。
3. 获得额外收益：保持较高的模型效用（Utility）并降低计算成本（避免完全重训练）。
攻击者能力：拥有对训练过程、原始数据、被遗忘数据及模型的完全访问权限。

3. 方法论：两种对抗性遗忘策略

论文提出了两种不同的对抗性遗忘方法，分别针对不同的验证策略和效率需求。

方法一：基于重训练的对抗性遗忘（Retraining-based Adversarial Unlearning）

目标：同时欺骗后门验证和重演验证（包括零误差阈值 $\epsilon=0$ 的严格验证）。
核心思想：
- 在重训练过程中，不直接使用被遗忘的数据 $D_u$ ，而是从保留数据 $D \setminus D_u$ 中选择特定的小批量（Mini-batch）。
- 利用小批量随机梯度下降（Mini-batch SGD）的随机性，刻意选择那些能产生与包含被遗忘数据的小批量相似梯度的保留数据样本。
- 通过替换被遗忘数据为保留数据中“最邻近”的样本（Nearest Neighbor）或随机采样寻找梯度最接近的样本，使得模型更新步骤在数学上看起来完全合法（满足重演验证），但实际上模型参数仍在潜移默化地学习被遗忘数据的特征。
理论保证：证明了该方法生成的“重训练证明”（PoRT）满足可重演性（Reproducible）和可移除性（Removable）属性，且模型最终能收敛到包含被遗忘信息的最优解邻域。

方法二：基于伪造的对抗性遗忘（Forging-based Adversarial Unlearning）

目标：以更高的计算效率欺骗重演验证（针对允许微小误差 $\epsilon > 0$ 的验证），但无法完全欺骗后门验证。
核心思想：
- 利用原始训练过程中记录的“训练证明”（Proof of Training, PoT）。
- 设计一个伪造映射（Forging Map），直接对 PoT 中的三元组（模型参数、数据批次、更新函数）进行变换，生成“遗忘证明”（PoRT），而无需实际重新训练。
- 对于包含被遗忘数据的批次，用保留数据替换；对于不包含被遗忘数据的批次，仅对模型参数进行微小的随机梯度下降更新，以掩盖参数未变的事实，同时控制验证误差在 $\epsilon$ 范围内。
优势：由于可以并行处理，计算效率远高于重训练方法。

4. 实验结果

作者在 MNIST、CIFAR-10 和 SVHN 三个真实数据集上进行了广泛的实验。

验证欺骗成功率：
- 重演验证：基于重训练的方法（Adv-R）实现了 0 验证误差，完美通过验证；基于伪造的方法（Adv-F）在允许 $\epsilon > 0$ 时也能通过验证。
- 后门验证：基于重训练的方法（Adv-R）成功欺骗了后门验证（Type II 错误率接近 1，即验证者误以为数据已遗忘）；基于伪造的方法（Adv-F）由于模型仍受原始后门数据影响，容易被检测。
模型效用（Utility）：
- 对抗性遗忘方法（特别是 Adv-F）在遗忘后保持了极高的模型效用，甚至接近原始训练模型的性能，远优于简单的“完全重训练”（Naive Retraining）。
- 在类别不平衡场景下，Adv-R 的表现也显著优于 Naive Retraining。
计算效率：
- 基于伪造的方法（Adv-F）执行时间最短，显著快于重训练。
- 基于重训练的方法（Adv-R）虽然比 Naive Retraining 稍慢（因需计算最近邻），但远快于完全重训练。
成员推理攻击（MIA）：实验表明，Adv-R 方法生成的模型能有效抵抗成员推理攻击，攻击准确率接近随机猜测（50%），证明其确实“遗忘”了数据在统计分布上的痕迹，但内部仍保留了信息。

5. 主要贡献

提出两种对抗性遗忘方法：揭示了现有验证策略（后门验证和重演验证）的脆弱性，证明了模型提供商可以在满足验证的同时保留被遗忘数据。
理论证明：从理论上证明了这些方法能够满足严格的重演验证条件（ $\epsilon=0$ ），并保证了模型效用和效率。
实证分析：在多个真实数据集和模型架构上验证了方法的有效性，暴露了当前 MUL 验证机制的安全隐患。

6. 意义与启示

安全警示：当前的机器遗忘验证机制存在严重缺陷，无法保证数据所有者权利的真正落实。模型提供商有动机也有能力进行“虚假遗忘”。
未来方向：
- 现有的验证方法（特别是依赖数据相似性和算法随机性的方法）不足以应对恶意攻击。
- 需要开发更严格的验证机制，例如针对近似遗忘（Approximate Unlearning）的验证，或者结合密码学原语（如零知识证明）来提供更强的安全保证。
- 对于基于伪造的简单攻击，可以通过设置更严格的误差阈值 $\epsilon$ 或利用后门验证来检测；但对于基于重训练的复杂攻击，检测难度极大，需要新的研究思路。

总结：这篇论文是一个重要的安全警示，指出在缺乏强有力验证机制的情况下，机器遗忘可能沦为模型提供商的“文字游戏”，数据隐私并未得到实质性保障。