🤖 AI

SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation

本文介绍了 SUPREME，这是一个开源的多 GPU 框架，旨在通过将计算密集型的训练和测试阶段分配到多个加速器上，来加速并标准化图像遗忘方法的可复现性评估。

原作者： Petros Andreou, Jamie Lanyon, Axel Finke, Georgina Cosma

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Petros Andreou, Jamie Lanyon, Axel Finke, Georgina Cosma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位学生，他通过研读一座巨大的图书馆里的书籍成为了专家。突然，图书馆所有者说：“请忘掉你学过的关于这特定五本书的所有知识。”你不能直接从学生的脑中抹去页面，你必须教会他如何“忘掉”这些信息，而不至于让他忘记其他所有已知的知识。

这就是**机器学习遗忘（Machine Unlearning）**的问题。它的目标是在不丢弃整个模型并从头开始的情况下，移除特定数据对 AI 模型的影响。

你提供的论文介绍了一个名为 SUPREME 的新工具，旨在帮助研究人员找出哪些“遗忘”技术实际上最有效。以下是他们所做工作的简单拆解以及为什么这很重要。

问题所在：“单种子”陷阱 (The "One-Seed" Trap)

想象你正在测试一个蛋糕的新配方。如果你只烤了一次，发现味道很好，你可能会认为这个配方很完美。但如果那一次仅仅是因为你运气好，碰巧遇到了合适的温度或某个品牌的面粉呢？为了确保万无一失，你需要用不同的食材批次烤十次这个蛋糕，看看这个配方是否始终如一地出色。

在 AI 研究中，这种“食材批次”被称为种子（seed）（一个随机的起点）。

问题在于： 以前大多数用于测试遗忘技术的工具只能在一个计算芯片（一个 GPU）上运行。由于训练 AI 既慢又昂贵，研究人员只能负担得起运行一两次测试。
风险： 如果你只测试一次，你得到的可能是一个并不反映现实的幸运结果。论文指出，你需要多次运行测试（跨越许多个“种子”）才能确定一种方法是否真正奏效。

解决方案：SUPREME

作者构建了 SUPREME，全称是 Standardised Unlearning Platform for Reproducible Method Evaluation（用于可重复方法评估的标准化遗忘平台）。你可以把它想象成一个用于 AI 实验的高速、多车道赛车场。

以下是它如何运作的，使用了日常类比：

1. 多 GPU 高速公路
以前的工具就像是一条单车道的土路，一次只能跑一辆车（一个实验）。而 SUPREME 是一个多车道的高速公路。它将工作分散到**多个图形处理器（GPU）**上同时进行。这意味着研究人员可以在以前运行一次所需的时间内，运行十次相同的实验。这使他们能够观察结果是具有一致性的，还是仅仅是一个偶然。

2. “即插即用”工具箱
该框架的设计就像一套 乐高积木。

研究人员可以嵌入不同的数据集（例如论文中使用的“Pins Face Recognition”数据集）。
他们可以嵌入不同的 AI 模型（如 ResNet18 或 ViT）。
他们可以嵌入不同的遗忘方法（如“Bad Teacher”或“Selective Synaptic Dampening”）。
他们可以嵌入不同的成功衡量标准。
你不需要为了添加新部件而重建整个工具箱；你只需注册这个新部件，系统就会处理剩下的工作。

3. 三阶段竞赛
对于每一次实验，SUPREME 都会运行三个步骤：

第一阶段（训练）： AI 从完整的资料库中学习。
第二阶段（遗忘）： AI 尝试“忘记”特定数据（可以是整个类别，比如“所有关于比尔·盖茨的照片”，也可以是随机的 0.1% 的照片）。它还会创建一个“金标准（Gold Standard）”模型，该模型是在没有这些数据的情况下从头开始重新训练得到的。
第三阶段（评估）： 系统将“遗忘后”的 AI 与“金标准”模型进行对比。它会询问：“AI 真的忘记了目标吗？它在其余数据上的技能保留了吗？它仍然安全吗？”

他们的发现（演示）

作者在了一个名人面部数据集（Pins Face Recognition）上测试了这个系统。他们要求 AI 忘记特定的人（如休·杰克曼或比尔·盖茨）或随机的一把照片。

惊喜之处： 当他们只运行一次测试时，结果看起来与运行十次后的结果非常不同。有些方法在单次运行中表现惊人，但在十次运行取平均值后表现却很差。
结论： 这证明了运行多个种子是至关重要的。你不能只相信一次测试结果。这种“运气成分”（AI 开始时的随机性）会显著改变结果。

为什么这很重要

这篇论文并不声称发明了一种新的遗忘方式。相反，它构建了一个尺子，用来衡量现有方式的效果如何。

在 SUPREME 之前： 研究人员根据单次、可能带有运气成分的实验来猜测哪种遗忘方法更好。
有了 SUPREME： 研究人员现在可以进行公平、大规模的比较，以观察哪些方法是真正稳健的，哪些仅仅是碰巧运气好。

总结

SUPREME 是一个全新的开源工具，它通过同时使用多个计算芯片，让研究人员能够更快、更公平地运行 AI “遗忘”测试。它表明，之前的测试往往规模过小，不够可靠；并且要真正了解一个 AI 是否已经“忘记”了某些东西，你必须测试它很多次，而不仅仅是测试一次。

注：本论文完全侧重于技术框架以及在特定名人面部数据集上的方法评估。它并未讨论社交媒体中删除用户数据等现实世界应用，也未对临床或法律用途做出任何主张。

技术摘要：SUPREME：一种用于可复现图像遗忘方法评估的多 GPU 框架

问题陈述
机器学习遗忘（Machine unlearning）旨在从已训练的模型中移除特定训练数据的影，而无需从头开始重新训练。尽管已经提出了许多近似方法（例如微调、蒸馏、参数重要性方案），但评估这些方法面临着重大挑战。严谨的评估要求在多个随机种子下重复整个流水线——包括训练、遗ло忘和评估——以解释初始权重、数据顺序和遗忘操作带来的随机性。现有的图像分类遗忘框架（如 MUBox、ERASURE、Deep Unlearn）通常在单 GPU 上以全精度运行。这种局限性限制了在合理时间内能够评估的种子数量，可能导致基于单种子结果的误导性结论。此外，随着模型架构（如 Vision Transformers）和数据集规模的增长，这些评估的计算成本也随之增加，因此需要更高效的基础设施。

方法论：SUPREME 框架
作者引入了 SUPREME（标准化的可复现方法评估遗忘平台），这是一个旨在将遗忘评估流水线分布到多个 GPU 上的开源框架。该框架基于 PyTorch 和 Lightning Fabric 构建，支持分布式策略，包括分布式数据并行 (DDP)、完全分片数据并行 (FSDP) 和 DeepSpeed ZeRO。

SUPREME 的核心是一个有种子驱动的多阶段流水线（算法 1），它在 $P$ 个设备上执行三个不同的阶段：

阶段 1（训练）： 使用特定的训练种子在完整数据集 $D$ 上训练模型 $M_o$ 。
阶段 2（遗忘与重训练）： 对于每个遗忘目标，框架定义一个遗忘集（ $D_f$ $D_{f}$ ）和一个保留集（ $D_r$ $D_{r}$ ）。随后：
- 使用特定的遗忘种子在 $D_r$ 上从头开始重训练基准模型 $M_r$ 。
- 将遗忘方法 $a$ 应用于 $M_o$ ，利用 $D_f$ 和 $D_r$ 生成遗忘后的模型 $M_u$ 。
- 重训练和遗忘过程均利用跨设备的梯度同步。
阶段 3（评估）： 将 $M_u$ 与 $M_r$ 在配置好的指标上针对测试集（ $D'_f$ 和 $D'_r$ ）进行评估。结果通过 all-gather 操作进行聚合。

该框架支持两种遗忘场景：

目标类遗忘（Targeted Unlearning）： 移除与特定类别标签相关的所有样本。
随机样本遗忘（Random-Sample Unlearning）： 移除从整个数据集中抽取的随机子集（由百分比定义）。

核心贡献
论文概述了三项主要贡献：

基于注册机制的可扩展性： SUPREME 采用了一种设计，即数据集、模型架构、遗忘方法、评估指标和场景都通过模块路径进行注册。通过实现标准接口并注册模块路径，可以在不修改核心框架代码的情况下添加新组件。
多 GPU 架构： 与之前的工具不同，SUPREME 将训练、遗忘和评估分布在多个加速器上。它支持各种精度模式（例如，通过 BitsandBytes 实现的混合精度、8 位/4 位精度）和分布式策略，显著减少了进行多种子评估所需的时间。
在 Pins 人脸识别上的演示： 作者使用 Pins 人脸识别数据集以及 ResNet18 和 Vision Transformer (ViT) 架构对框架进行了演示。他们在十个种子下，针对全类场景和随机样本场景评估了多种遗忘方法。

实验结果
为了保持与参考实现的一致性，演示是在单个 NVIDIA L40S GPU 上进行的，尽管该框架支持多 GPU 执行。主要发现包括：

跨种子方差： 研究强调，单种子结果可能具有高度误导性。例如，在随机样本场景中，ResNet18 上“随机标签”在遗忘集上的准确率差异（ $\Delta Acc_{D'_f}$ ）在十个种子中的标准差为 $\pm 34.03$ 个百分点。同样，“选择性突触抑制”（Selective Synaptic Dampening）在 ViT 上的偏差为 $\pm 37.99$ 。这证实了多种子评估对于一致性比较是必要的。
指标敏感性： 在全类场景中，成员推理攻击（MIA）的差异（ $\Delta MIA$ ）在所有方法中都极小（大多在 $\pm 0.05$ 以内），无法区分不同方法。相反，遗忘集准确率差异（ $\Delta Acc_{D'_f}$ ）变化显著（在 ResNet18 上从 0.00 到 89.44），证明在该设置下它是一个更具辨别力的指标。
性能： 框架成功执行了 ResNet18 和 ViT 的完整流水线，捕捉到了不同种子引入的方差，并证明了大规模、可复现评估的可行性。

意义与主张
作者将 SUPREME 定位为一个能够实现一致、可复现的遗忘方法比较的工具，解决了模型复杂性日益增长以及多种子评估必要性的问题。他们明确指出，报告的数值表征的是框架的能力，而非对遗忘方法的确定性排名，因为演示仅限于单个数据集、两种架构和一个设备。论文最后总结道，未来的工作将把演示扩展到其他注册组件，并利用独立的训练、遗忘和评估阶段种子，以进一步分解方差的来源。该框架旨在为机器学习遗忘领域日益成熟所需的严谨基准测试提供便利。

问题所在：“单种子”陷阱 (The "One-Seed" Trap)

解决方案：SUPREME

他们的发现（演示）

为什么这很重要

总结

类似论文