🤖 machine learning

Tackling Fake Forgetting through Uncertainty Quantification

本文识别了“虚假遗忘”现象，即遗忘准确率无法检测到保留的信息，并提出了一种基于共形预测的新指标（CR）和框架（CPU），以确保真实标签被有效从模型的不确定性集合中移除。

原作者： Yingdan Shi, Sijia Liu, Kaize Ding, Ren Wang

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Yingdan Shi, Sijia Liu, Kaize Ding, Ren Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明的学生，他背诵了一本厚重的教科书。现在，假设这本教科书中某一页包含一个需要被永久抹除的秘密（或许是因为隐私法规）。你要求这位学生“遗忘”这一页。

问题：“假性遗忘”的错觉

传统上，为了检查学生是否已经遗忘，我们会就那一页的具体内容向他提问。如果他答错了，我们就会说：“太好了！他已经忘记了。”

但本文指出，这种测试存在缺陷。这就像要求一名学生说出一个被要求遗忘的国家的 capitals。如果他说“巴黎”而不是“伦敦”，我们会认为他已经忘记了。然而，如果他内心深处仍然知道答案是“伦敦”，只是被问题搞糊涂了呢？或者更糟糕的是，如果你给出提示，他是否仍然能够猜出正确答案？

作者将这种现象称为“假性遗忘”。学生因为未能通过简单的测试而看起来像是已经遗忘，但相关信息仍潜藏于其大脑中，随时可能被恢复。

解决方案：“置信度网”

为了捕捉这种假性遗忘，作者引入了一种基于“共形预测”（Conformal Prediction）的新工具。

将共形预测想象成一张“安全网”或一个“猜测圈”。与其只要求学生给出一个单一答案，不如让他们画出一个圈，囊括所有他们认为“可能”正确的答案。

如果学生真的忘记了那个秘密，他们的圈应该又宽又乱，并且根本不应该包含真实答案。
如果他们只是在“假装”遗忘，他们的圈仍然会很紧凑，真实答案就藏在这个圈内，即使他们没有将其选为最可能的答案。

新指标：“置信度比率”（CR）

作者创建了一个名为 CR（共形比率）的新分数来衡量这一点。

旧分数（UA）： 仅检查学生是否答错了单一答案。（容易造假）
新分数（CR）： 检查真实答案是否仍然隐藏在学生的“可能答案安全网”中。如果真实答案仍在网中，该分数就会表明：“你还没有真正遗忘。”

新框架："CPU"

为了解决这个问题，作者构建了一种名为 CPU（共形预测遗忘）的新训练方法。

想象你在教导学生去遗忘。

旧方法： 你只是告诉他们：“别说‘伦敦’。”
CPU 方法： 你告诉他们：“不仅不要说‘伦敦’，还要确保‘伦敦’离你的可能猜测列表足够远，以至于完全落在你的安全网之外。”

他们通过借用并调整一种来自网络安全的技术（称为 C&W 攻击）来实现这一点。他们不再仅仅试图降低错误答案的置信度，而是主动将正确答案“推”出预测圈。

结果

当他们在图像识别任务（例如识别狗或汽车的图片）上测试这种方法时：

他们发现许多现有方法确实在“假装”遗忘。模型虽然会对图片进行分类错误，但正确的标签仍然隐藏在它们的预测圈中。
他们的新 CR 分数成功捕捉到了这些造假行为。
他们新的 CPU 框架实际上迫使模型将正确答案推出圈外，从而实现了更可靠、更真实的遗忘，同时没有破坏模型识别其他事物的能力。

简而言之

本文指出：“不要仅仅检查模型是否答错了答案；要检查答案是否仍然隐藏在它的安全网中。如果是，那就说明它并没有真正被遗忘。我们建立了一种新的方法来衡量这一点，并开发了一种新的训练方法，以确保数据确实已被清除。”

技术摘要：通过不确定性量化应对虚假遗忘

问题陈述

机器遗忘旨在从训练好的模型中移除特定数据点的影响，这一能力正日益受到如 GDPR 等法规的强制要求。虽然**遗忘准确率（UA）**是评估性能的标准指标——即衡量模型对“遗忘”数据产生误分类的比率——但作者指出了一个关键缺陷：虚假遗忘。

论文认为，UA 存在不足，因为它仅依赖于点预测。一个模型可能对遗忘数据点产生误分类（从而获得较高的 UA 分数），但在其不确定性估计中仍对真实标签保持高置信度。具体而言，真实标签可能仍包含在模型的共形预测集中，这意味着该信息并未真正从模型的决策边界中擦除。这一现象通过 Grad-CAM 可视化得以展示：即使模型对图像产生了误分类，如果真实标签仍保留在预测集中，其注意力机制往往仍会聚焦于物体的关键特征。

方法论

1. 共形比率（CR）指标

为了克服 UA 的局限性，作者提出了一种新的评估指标，称为共形比率（CR），其灵感来源于分割共形预测（SCP）。与仅检查单一预测类别的 UA 不同，CR 评估整个预测集。

该指标定义为：
$CR = \frac{\text{覆盖率}}{\text{集合大小}}$

覆盖率：真实标签落在共形预测集内的遗忘数据点的比例。在遗忘数据上较高的覆盖率表明存在“虚假遗忘”。
集合大小：预测集中标签的平均数量。
解释：在遗忘数据（ $D_f$ ）上较低的 CR 值表示更强的遗忘效果（真实标签成功被排除在集合之外）。相反，在测试数据（ $D_{test}$ ）上较高的 CR 值表明模型效用得以保留。

作者验证了现有指标往往无法检测到真实标签仍保留在预测集中的情况，而 CR 通过要求真实标签被推至非一致性分数阈值之外来捕捉这一现象。

2. 共形预测遗忘（CPU）框架

基于 CR 的见解，作者提出了CPU，这是一个用于增强基于训练的遗忘方法的通用框架。其核心思想是修改损失函数，明确强制将遗忘数据的真实标签推离共形预测集。

该框架调整了Carlini & Wagner (C&W) 对抗攻击损失。CPU 损失不再仅仅最大化真实类别与顶级竞争类别之间的差异，而是将真实标签的非一致性分数（ $S(x, y_t)$ ）推至共形阈值（ $\hat{q}$ ）之外。

提出的损失函数为：
$L_{cpu}(x, y_t) = \max\{\hat{q} - S(x, y_t), -\Delta\}$

其中：

$\hat{q}$ 是从校准集导出的阈值。
$S(x, y_t) = 1 - p_t(x)$ 是非一致性分数（逆概率）。
$\Delta$ 是边界参数（实验中设为 0.01）。

该损失鼓励模型增加真实标签的非一致性分数，直到其超过 $\hat{q}$ ，从而有效地将真实标签排除在预测集之外。最终目标函数将原始损失与此新项相结合：
$L_{total} = L_{original} + \lambda \cdot L_{cpu}$

主要贡献

虚假遗忘的识别：论文证明，被 UA（误分类）识别为“已遗忘”的大量数据中，仍有可能被恢复，因为真实标签仍保留在共形预测集内。
新颖指标（CR）：引入共形比率，通过评估整个预测集而非仅顶级预测，提供更可靠的遗忘质量评估。
CPU 框架：一个通用且与模型无关的遗忘框架，将共形预测概念整合到训练损失中（通过改进的 C&W 损失），以确保真实标签被排除在预测集之外。
全面评估：在多个数据集（CIFAR-10、Tiny ImageNet、Oxford-Pets）和架构（ResNet-18、ViT、Swin-T）上进行了广泛实验，验证了 CPU 在提升遗忘质量的同时，并未显著降低在保留数据或测试数据上的模型效用。

实验结果

指标优越性：在 12 种不同遗忘基线的实验中，使用 CR 与使用 UA 进行评估时，方法的排名发生了显著变化。在 UA 下表现良好的方法（如随机标签法）在 CR 下显示出遭受虚假遗忘，而其他方法（如 Salun）则表现出更好的真实遗忘能力。
框架性能：将 CPU 框架应用于现有方法（RT、FT、RL）显著降低了遗忘数据上的 CR（表明遗忘效果更好），同时保持了稳定的保留准确率（RA）和测试准确率（TA）。
- 例如，在 CIFAR-10 上使用 ResNet-18，将 CPU 应用于微调（FT）方法，将 UA 与重训练（RT）基线的差距从 4.8% 缩小至 0.7%，同时降低了遗忘数据上的 CR。
视觉证据：Grad-CAM 可视化证实，当真实标签被排除在预测集之外（如 CPU 所实现）时，模型的激活区域会远离物体的关键特征；而在标准遗忘中，即使发生误分类，特征仍会被高亮显示。
效率：添加 CPU 损失带来的计算开销微乎其微，在各种数据集上的训练时间增加不到 1 分钟。

意义与主张

论文声称，通过将评估范式从简单的准确率转向不确定性量化，为机器遗忘提供了更严格的基础。作者强调，仅依赖 UA 会制造一种隐私和安全方面的虚假安全感。通过确保真实标签不仅被误分类，而且被主动排除在预测集之外，所提出的 CR 指标和 CPU 框架提供了数据已被真正遗忘的更可靠保证。这项工作突显了现有遗忘方法往往未能解决预测置信度的问题，而所提出的方法利用共形预测和对抗攻击的原理填补了这一空白。