💻 computer science

RUB: Evaluating Residual Knowledge in Unlearned Models

本文介绍了 RUB，一个统一的基准测试，以及用于评估机器遗忘在对抗性恢复尝试下的鲁棒性的遗忘映射攻击（UMA），揭示了当前的先进方法尽管通过了标准验证指标，但仍然存在脆弱性。

原作者： Hao Xuan, Xingyu Li

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Hao Xuan, Xingyu Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的学生，他背诵了一座庞大的图书馆里的所有书籍。有一天，你要求这个学生“忘掉”其中的一部分书——也许是因为这些书包含敏感秘密或受版权保护的内容。你希望他彻底忘记这些书，仿佛它们从未存在于他的脑海中一样。

这篇论文介绍了一种新的测试方法，用来检测这个学生是真的“忘掉了”，还是仅仅在装傻。

问题所在：“假装遗忘”

目前，有很多计算机程序（被称为“机器遗忘”技术）旨在让 AI 模型删除特定信息。但大多数对这些程序的测试就像是在问学生：“你还记得关于红城堡的那本书吗？”如果他说“不记得了”，测试就判定他通过了。

但本文作者认为，这还远远不够。一个狡猾的攻击者（或一个巧妙的技巧）可能会问一个略微不同的问题，或者展示一张带有微小、几乎不可见的划痕的照片，学生可能会突然想起那座红城堡。论文将这种现象称为**“残留知识”（Residual Knowledge）**——即信息仍然隐藏在模型中，等待着被挖掘出来。

解决方案：RUB 基准测试

为了解决这个问题，作者创建了一个新的测试场，名为 RUB（鲁棒性遗忘基准测试）。你可以把 RUB 想象成一个针对 AI 模型的严苛“审讯室”。

与其只是问“你忘了吗？”，RUB 会派出由“记忆侦探”（对抗性攻击）组成的专业团队，试图诱骗模型记起那些被禁止的信息。如果模型哪怕泄露了一点点秘密，它也会判定为失败。

他们是如何测试的

作者在三种不同类型的 AI“学生”身上进行了测试：

分类器（分类员）： 想象一个将照片分为“狗”或“猫”等类别的 AI。他们要求它忘掉“狗”这个类别。
- 测试方法： 他们向 AI 展示了一些经过微小、几乎不可见的变化（比如几个像素的偏移）处理过的狗的照片。
- 结果： 尽管 AI 声称已经忘记了狗，但“侦探”们只需稍微调整照片，AI 就会突然重新识别出它们是狗。
图像修复器（画家）： 想象一个可以填补图片缺失部分（比如拼图）的 AI。他们要求它忘掉如何画一种特定类型的建筑。
- 测试方法： 他们给 AI 一张带有该建筑的照片，但在上面盖了一个大黑框，并要求它填补空白。
- 结果： 当 AI 受到特定的“陷阱”输入攻击时，它成功地填补了缺失的建筑，证明它并没有真正忘掉如何画它。
文本生成图像模型（梦想家）： 想象一个根据文字描述（如“乡村里的教堂”）来画画的 AI。他们要求它忘掉“教堂”这个概念。
- 测试方法： 他们尝试用奇怪的、经过修改的文本提示词来诱骗 AI，看它是否仍会画出教堂。
- 结果： 大多数“遗忘”方法都失败了。只需几次尝试，AI 就会被诱导画出那座被禁止的教堂。

重大发现

作者发现了一个令人惊讶的差距：目前大多数方法虽然看起来“像”是忘掉了，但在“鲁棒性”方面表现很差。

金标准： 唯一真正有效的方法是“从头开始重新训练”（本质上是解雇这个学生，然后雇佣一个从未读过那些禁书的新学生）。这很完美，但非常昂贵且缓慢。
现有方法： 那些花哨、快速的“遗忘”技巧是非常脆弱的。它们能通过简单的测试，却无法通过“侦探”测试。它们就像是一个人背下了要忘掉的清单，但随身带着一张小纸条，只要有人问对问题，他就能读到上面的内容。

新规则：“鲁棒遗忘”

作者提出了一个面向未来的新规则。一个 AI 不应仅仅因为通过了简单检查就被视为“已遗忘”。它必须具备鲁棒性（Robustness）。

这意味着，即使一个聪明的攻击者尝试用尽各种手段强迫它回忆，AI 也必须无法泄露被遗忘的信息。如果 AI 可以被诱骗想起，那么遗忘过程就是失败的。

总结

简而言之，这篇论文说：“不要仅仅相信 AI 已经忘记了。要用大锤去敲击它，看看记忆是否真的消失了。” 他们建立了一个全新的工具箱（RUB）来精确执行这项任务，并表明目前的 AI “遗忘”工具过于脆弱，无法实现真正的安全。

技术摘要：RUB：评估已卸载模型中的残留知识

问题陈述
机器卸载（Machine Unlearning, MUL）已成为一种关键的隐私保护机制（例如，用于满足 GDPR、CCPA 合规性）和内容监管手段，旨在有选择地移除已训练模型中特定的数据影响。现有的技术主要关注验证卸载的“执行过程”——即确保模型的行为与在保留集上从头开始重新训练的模型相似——但它们很大程度上忽视了一个关键的安全漏洞：针对对抗性恢复的鲁棒性。现有方法往往无法保证敏感信息的完全移除，留下了可以被对手利用的“残留知识”。研究表明，已卸载的模型，特别是在扩散模型（DMs）和大型语言模型（LLMs）中，可以通过精心设计的输入（例如，对抗性提示或噪声）进行操纵，从而使被遗忘的数据重新浮现，从而有效地抵消了卸载过程。目前缺乏一个统一的框架来系统地评估这种脆弱性在各种计算机视觉任务中的表现。

方法论：RUB 框架
为了填补这一空白，作者提出了 RUB（Robust Unlearning Benchmark，鲁棒卸载基准），这是一个统一的框架，旨在评估卸载算法针对卸载后对抗性信息复现的鲁棒性。

核心原则（鲁棒卸载）： 论文将“鲁棒卸载”定义为一个过程，即一个卸载后的模型不仅在保留集上的表现与重新训练的对应模型不可区分，而且还能抵御试图恢复被遗忘信息的对抗性尝试。形式化地讲，对于遗忘集 $D_u$ 中的任何数据点 $x$ 和任何对抗性扰动 $\delta_x$ ，卸载模型 $f_u$ 必须在受到攻击时，仍与原始模型关于 $x$ 的输出保持显著的差异。
卸载映射攻击（Unlearning Mapping Attack, UMA）： 作者引入了 UMA 作为一种通用的、模块化的对抗性探测工具。UMA 被定义为一种通过修改模型输入，以导致输出揭示或近似旨在移除的信息的攻击策略。
- 公式化： 在白盒设置下（假设可以完全访问原始模型和卸载模型），UMA 寻求寻找一个最优扰动 $\delta_i$ ，使得在扰动输入下的卸载模型输出与原始模型在原始遗忘数据上的输出之间的距离最小化： $\arg \min_{\delta_i} D[f_u(\delta_i, \theta_u), f(x_i, \theta)]$ 。
- 特定任务的实例化：
  - 判别式任务： 使用 Logits 上的 KL 散度。
  - 图像到图像（I2I）： 使用均方误差（MSE）进行重建。
  - 文本到图像（T2I）： 利用扩散过程的噪声水平估计，通过优化扩散步骤来恢复目标概念。
基准范围： RUB 评估了 15 种最先进的卸载算法，涵盖三个不同的计算机视觉任务：
- 图像分类： 数据集包括 CIFAR10、CIFAR100 和 Tiny-ImageNet。
- 图像到图像重建： 使用带有掩码自编码器（MAE）设置的 ImageNet-1k。
- 文本到图像合成： 使用 UnlearnDiffAtk 代码库，在诸如“教堂”、“垃圾车”、“裸露”等概念上评估扩散模型。
评估指标： 该基准采用特定于任务的指标：
- 分类： 卸载准确率（UA，定义为遗忘集的原始准确率，越低越好）、成员推理攻击（MIA）成功率，以及用于衡量效用权衡的测试准确率（TA）。
- I2I： Inception 分数（IS）和 Fréchet Inception 距离（FID）。
- T2I： 攻击成功率（ASR）以及实现成功攻击所需的优化步数。

关键结果
在 15 种卸载方法上的广泛实验揭示了显著的脆弱性：

判别式任务： 虽然重新训练（金标准）实现了强大的鲁棒性，但现有的卸载方法（如 FT、RL、IU、SalUn）表现出不同程度的脆弱性。随着数据集复杂度的增加（从 CIFAR10 到 Tiny-ImageNet），卸载效能和鲁棒性都大幅下降。许多通过了标准验证指标的方法在对抗性探测下完全失效，表现出较高的攻击下 UA 和 MIA 分数。
I2I 任务： 卸载模型在正常条件下通常无法重建来自遗忘集的图像，但在提供对抗性输入时，可以被诱导生成高质量的被遗忘内容的重建图像。微小的噪声扰动通常足以绕过卸载机制。
T2I 任务： 尽管展示了较强的初始卸载效能，但大多数基于扩散的卸载方法（如 AdvUnlearn、EraseDiff、ESD）表现出有限的鲁棒性。对抗性攻击可以成功恢复被遗忘的概念，其难度各异（通过攻击步数衡量），这表明残留知识依然存在。
普遍发现： 在“卸载效能”（标准指标上的性能）与“卸载鲁棒性”之间存在一致性的差距。大多数当前方法对于对抗性恢复策略并不具备韧性。

意义与主张
论文将鲁棒性定位为评估机器卸载的核心标准，认为如果模型仍然容易受到对抗性恢复的影响，那么仅仅通过标准验证是不充分的。

首个综合基准： RUB 被呈现为第一个系统地评估不同视觉任务中卸载算法针对卸载后对抗性恢复能力的框架。
统一协议： 它提供了一个标准化的、可扩展的协议（UMA），用于经验性地验证卸载方法是否真正消除了残留知识。
研究方向： 作者声称，他们的发现强调了当前卸载方法中的根本性缺陷，敦促社区超越单纯的效能关注，在未来的卸载算法设计中明确纳入鲁棒性考量。目标是为开发能够抵御试图恢复被遗忘信息的恶意尝试的、更可靠且安全的卸载实践铺平道路。

论文得出结论，虽然当前的方法提供了一个起点，但对于高风险的隐私和内容监管场景而言，它们尚未足够鲁棒，而 RUB 作为一个必要的工具，旨在推动开发真正具有韧性的卸载技术。