🤖 AI

RULER: Representation-Level Verification of Machine Unlearning

本文介绍了 RULER，这是一组表征级验证指标，揭示了那些在传统输出级评估中看似成功的机器遗忘方法仍存在显著的残留记忆。

原作者： Georgina Cosma, Axel Finke

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Georgina Cosma, Axel Finke

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明的学生，他为了成为专家而研读了一本厚重的教科书。有一天，出版商告诉这位学生：“请忘掉你关于第五章所学的一切。”学生想服从，但他不能直接把书烧掉再从头开始——那会耗费太多时间和精力。于是，他尝试通过在大脑中抹去那些特定页面来“遗忘”第五章，同时保持对书中其余部分知识的完整掌握。

这篇论文介绍的是RULER，它旨在检查学生是否真正出色地完成了遗忘任务。

问题所在：“虚假遗忘”

目前，老师（或审计员）通过提出两个简单问题来检查学生是否真的遗忘了：

小测验：学生是否仍能正确回答关于书中其余部分的问题？（是的，他们可以。）
猜谜游戏：如果我们向学生展示第五章中的一句话并问：“你学过这个吗？”他们能告诉我们吗？（理想情况下，他们应该像抛硬币一样随机猜测。）

作者发现了一个漏洞。他们发现，学生可以完美通过这两项测试，但第五章的“幽灵”仍 lingering 在他们的大脑中。这就像一位魔术师成功让兔子从帽子里消失（输出），却仍秘密地将兔毛握在口袋里（内部记忆）。学生的回答看起来干净，但他们的思维过程仍记得那本被禁的章节。

解决方案：RULER（“X 光”眼镜）

作者创建了一套名为RULER（表示层验证）的新工具。RULER 不再仅仅倾听学生的回答，而是深入学生的大脑，观察其思维是如何组织的。

他们使用两个主要的“透镜”（指标）来检查这一点：

透镜 1：“黄金标准”对比（指标 M2）

想象你有一位“黄金标准”学生，他从未见过第五章。

测试：RULER 将试图遗忘第五章的学生的“思维模式”与黄金标准学生进行对比。
发现：尽管这位“遗忘”学生通过了小测验，但他的大脑对待第五章的方式仍与黄金标准学生不同。这就像比较两张地图：一张是完美描绘了没有特定公园的城市地图，另一张则是有人试图抹去公园却留下了淡淡、幽灵般轮廓的地图。这两张轮廓并不匹配。
结果：在他们的实验中，几乎每一种用于“遗忘”的方法都留下了这些幽灵般的轮廓。学生们通过了小测验，但在大脑扫描中却失败了。

透镜 2：“无神谕”侦探（指标 M4）

有时，你并没有一位黄金标准学生可供对比。因此，RULER 发明了一种仅利用学生自身记忆来检查其大脑的方法。

测试：RULER 观察关于被遗忘章节的“思维”，并问道：“这些思维看起来是归属于书中其余部分，还是像一根刺一样格格不入？”
类比：想象一群穿着蓝色衬衫的人（保留的数据）。你要求学生忘掉一个穿着红色衬衫的特定的人（要遗忘的数据）。
- 如果他们成功遗忘，那个穿红衬衫的人应该融合得如此完美，以至于看起来就像蓝色衬衫一样。
- 如果他们失败，那件红衬衫仍然发光，或者更糟的是，学生将红衬衫推得太远，以至于它现在漂浮在外太空（过度位移）。
发现：RULER 发现，在许多情况下，“被遗忘”的数据并没有融合进来。它要么作为记忆凸显出来，要么被推得太远，在学生的大脑中造成了奇怪的扭曲。

他们测试了什么

研究人员在四种不同的“遗忘”技术（即尝试抹去记忆的不同方式）上测试了这一点：

梯度上升：尝试主动将记忆推开。
NegGrad+：结合推开与强化其余部分的方法。
微调：只是重新学习书中的其余部分，希望旧记忆自然消退。
SCRUB：一种利用“导师”指导遗忘的复杂方法。

裁决：所有四种方法都通过了标准的“小测验”和“猜谜游戏”测试。但当 RULER 深入它们的大脑时，所有四种方法都失败了。它们都留下了被遗忘数据的显著痕迹。

一个特例：人脸识别

该论文还将其应用于人脸识别系统（如安全摄像头）。

场景：该系统被训练用于识别人，但随后被要求“遗忘”一个特定的人（即 GDPR“被遗忘权”请求）。
结果：即使在遗忘之后，该系统仍然识别出该特定人的面部结构。这就像试图“不再认识”一位朋友的脸；系统可以说“我不知道这是谁”，但其内部的“面部地图”仍完美地保留着那个人的素描。没有任何被测试的方法能够完全抹除这种身份层面的记忆。

核心结论

该论文得出结论：当前的“机器遗忘”方法并不像我们想象的那么彻底。 它们擅长清理模型给出的答案，却不擅长清理产生这些答案的内部记忆。

RULER 充当了真相讲述者，向我们表明：仅仅因为一个模型声称它遗忘了，并不意味着它真的遗忘了。要真正保护隐私，我们需要检查 AI 的内部“思维”，而不仅仅是其最终输出。

技术摘要：RULER——机器遗忘的表示级验证

问题陈述

机器遗忘旨在在不从头重新训练所带来的计算成本的情况下，从已部署的模型中移除特定训练记录（即“遗忘集”）的影响，同时保持模型在剩余数据（即“保留集”）上的性能。当前的评估协议依赖于输出级标准：

成员推理攻击（MIA）准确率：应接近 0.50（随机水平）。
保留集准确率：应得到保持。
遗忘集准确率：应与重训练预言机（仅基于保留集从头训练的模型）相匹配。

作者指出了这些协议的一个关键局限性：模型可以满足所有三个输出级标准，却仍然在其中间表示中编码关于被遗忘记录的信息。现有指标并未考察模型如何在其内部组织关于单个记录的信息，这可能导致一种“虚假的隐私感”，即模型在输出上表现正确，但保留了本应遗忘的数据的结构痕迹。

方法论：RULER

本文介绍了RULER（机器遗忘的表示级验证），这是一个基于倒数第二层余弦相似度的验证指标框架，包含两个视角。该框架在任务特定输出头之前的嵌入 $h_\theta(x)$ 上运行。

视角 1：预言机比较指标（需要重训练预言机）

这些指标将遗忘模型（ $\theta_u$ ）与基于保留集从头训练的重训练预言机（ $\theta_r$ ）进行比较。为了确保表示差异反映的是遗忘过程而非随机初始化，原始模型（ $\theta_o$ ）和预言机（ $\theta_r$ ）共享相同的随机种子。

M1（预言机比较相似度）： $\theta_u$ 和 $\theta_r$ 中遗忘集记录之间的平均余弦相似度。虽然高相似度是预期的，但 M1 缺乏用于显著性检验的固定零值。
M2（有符号校准差距）：视角 1 的主要指标。它计算遗忘集记录的平均相似度与 $\theta_u$ $θ_{u}$ 和 $\theta_r$ $θ_{r}$ 之间保留集记录的中位数相似度之差。
- 零假设： $M2 = 0$ 。
- 解释：负值表明存在残留记忆（遗忘集记录与预言机的相似度低于保留集记录）。正值表明过度校正。使用保留集的中位数作为基线是为了避免右偏分布导致的膨胀。
M3（表示偏移）：衡量遗忘前后与预言机相似度的变化。正值表示遗忘过程使表示更接近预言机；负值表示它们离预言机更远了。

视角 2：无预言机指标（不需要重训练预言机）

M4（百分位排名）：该指标仅基于遗忘模型 $\theta_u$ $θ_{u}$ 的内部几何结构运行。对于每个遗忘记录，它在保留集中找到最近邻并测量它们的余弦相似度。然后将该相似度与保留记录自身最近邻相似度的分布（留一法）进行排名。
- 零假设： $M4 = 0.50$ 。
- 解释：0.50 的值意味着遗忘记录在几何上与保留记录无法区分。大于 0.50 的值表明存在残留记忆（遗忘记录与保留集过于相似）。小于 0.50 的值表明过度位移（记录被推离保留分布过远）。

实验设置

数据集：十个表格分类数据集（例如 Adult Income、Breast Cancer、German Credit）被用作主要设置。该框架也被应用于大规模表格数据、图像分类（CIFAR-10、SVHN、CIFAR-100）、临床文本（MTSamples 配合 Bio_ClinicalBERT）以及面部身份遗忘（LFW）。
模型：表格数据使用固定的两层隐藏层 MLP（TabularMLP）；图像使用 CNN 和 ResNet-18；文本使用基于 BERT 的模型。
遗忘方法：评估了四种近似方法：梯度上升、NegGrad+、微调（Fine-Tuning）和 SCRUB（基于蒸馏）。第五种方法Bad Teacher被纳入以测试结构性差异与特定方法差异。
协议：实验使用了 10 个数据集、10 个训练种子和三个遗忘比例（ $1\%$ 、 $5\%$ 、 $10\%$ ）。统计分析采用以数据集为随机截距的线性混合效应模型（LMM），辅以 Wilcoxon 符号秩检验。

主要结果

1. 输出级与表示级之间的不一致

所有四种近似遗忘方法都通过了标准的输出级评估（MIA 准确率在 0.50 的 $\pm 0.05$ 范围内，保留准确率得到保持）。然而，M2 在 12 种条件中的 10 种检测到了统计显著的残留（ $p < 0.05$ ）。

方向性：M2 在所有方法和遗忘比例下始终为负值，表明遗忘集记录与预言机表示的距离比保留集记录更远。
效应量：效应量（ $r_{rb}$ ）随着遗忘比例的增加而增大，在 $10\%$ 遗忘比例时达到大 magnitude（$0.90 - 0.96$）。
方法独立性：事后检验显示，四种方法在 M2、M4 或 MIA 上没有显著差异。这种不一致是遗忘任务本身的属性，而非特定算法的结果。

2. Bad Teacher 验证

Bad Teacher方法使用了一种根本不同的机制（训练学生模型在遗忘记录上匹配随机初始化的教师模型），它也通过了输出级检查，但表现出显著的负 M2 值。这证实了未能擦除中间表示是当前近似遗忘方法的结构性局限，而非特定基于梯度或蒸馏技术的产物。

3. M4 的诊断效用

表格/通用数据：M4 显示平均排名略高于 0.50，这是由具有可检测记忆的数据集（如 Breast Cancer、Heart Disease）驱动的。
面部身份（LFW）：在模型训练用于性别分类但意外编码了身份的面部身份设置中，遗忘前的 M4 值极高（$0.73 - 0.94$），确认了强烈的身份级记忆。遗忘后，没有任何方法完全擦除该信号；梯度上升和微调使其基本保持原状，而 SCRUB 在低遗忘比例下导致了过度位移。
大规模/弱记忆：在原始模型显示 M4 $\approx 0.50$ （无可检测记忆）的大规模表格和图像数据集上，遗忘方法有时会引入伪影（过度位移或位移），表明当并非严格必要时，遗忘可能会降低表示质量。

意义与主张

本文主张，输出级评估不足以验证机器遗忘。模型可以满足所有标准的隐私和效用标准，同时在其内部表示中保留可测量的被遗忘数据痕迹。

RULER 作为验证工具：作者提出 M2 和 M4 作为评估协议的必要补充。M2 提供了针对预言机的残留记忆的群体水平测试，而 M4 则作为无预言机的诊断工具，既可用于遗忘前（评估是否需要遗忘），也可用于遗忘后（检测擦除不完全或过度位移）。
当前方法的局限性：跨不同方法和架构的持续负 M2 表明，当前的近似遗忘目标针对输出行为进行了优化，但未能约束中间表示。
适度范围：作者明确指出，这些指标是技术验证工具，而非 GDPR 第 17 条的法律合规测试。它们表征了表示级残留，但并未声称定义监管充分性。此外，这些指标依赖于余弦相似度，而余弦相似度不具有旋转不变性，因此 M2 需要配对种子设计。

总之，本文表明，对于许多近似方法而言，机器学习中的“遗忘”目前仅是一种输出级的幻觉，真正的擦除需要在表示级进行验证。