Benchmarking Unlearning for Vision Transformers

本文首次针对视觉 Transformer（VT）建立了机器遗忘基准，通过系统评估不同架构、容量、数据集及遗忘协议下的算法性能，揭示了 VT 与 CNN 在数据记忆机制上的差异，并为该领域的可复现比较与性能基准设定了重要参考。

要点

这篇论文就像是在给人工智能（AI）的“记忆”做一场大体检，特别是针对一种叫做**“视觉 Transformer"（VT）**的新型 AI 模型。

为了让你更容易理解，我们可以把整个研究过程想象成**“清理一个超级图书馆”**的故事。

1. 背景：为什么需要“清理”？

想象一下，你开了一家非常聪明的图书馆（AI 模型），里面存了成千上万本书（训练数据）。

• 问题：有时候，图书馆里混进了一些坏书（比如带有偏见、错误信息、或者泄露隐私的书）。
• 需求：根据法律（比如“被遗忘权”），如果有人要求把关于他的那本书删掉，或者把坏书扔掉，图书馆必须彻底忘记这些书的存在，就像它们从来没进过图书馆一样。
• 现状：以前，大家主要研究怎么清理传统的图书馆（CNN 模型）。但现在，一种更先进、更强大的新型图书馆（视觉 Transformer，VT）流行起来了，它读图的方式和传统图书馆完全不同。但是，没人知道怎么高效地清理这种新型图书馆。

2. 核心任务：给新型图书馆做“遗忘测试”

这篇论文就是世界上第一个专门研究如何清理这种新型图书馆（VT）的“基准测试”。作者们就像一群挑剔的图书管理员，他们设计了各种场景来测试不同的“清理方法”。

他们测试了哪些东西？

1. 不同的图书馆结构：
   • ViT：像是一个喜欢全局视野的管理员，看一张图时，会同时关注整张图的每一个角落（全局注意力）。
   • Swin-T：像是一个喜欢局部细节的管理员，像传统图书馆一样，先关注局部再拼凑整体（层级结构）。
2. 不同的清理工具（算法）：
   • 微调（Fine-tune）：就像把坏书扔掉后，重新读一遍剩下的好书，让管理员适应新环境。
   • NegGrad+：一种更激进的方法，不仅读好书，还专门针对坏书进行“反向训练”，强行让管理员“忘掉”坏书的特征。
   • SalUn：一种精细操作，找出管理员脑子里哪些“神经元”记住了坏书，然后只切除这些部分。
3. 不同的“记忆”探测仪（代理指标）：
   • 要清理，得先知道管理员记住了什么。作者们测试了多种“探测仪”（比如看管理员对某本书的自信程度，或者重新训练后的表现），看看哪种工具能最准确地找到那些“顽固的记忆”。

3. 有趣的发现（用比喻解释）

发现一：新型图书馆和旧图书馆的“记性”其实很像

以前大家以为，新型图书馆（VT）因为结构不同，记东西的方式肯定和旧图书馆（CNN）不一样。

• 结果：作者发现，它们记东西的规律惊人地相似！就像不管是用钢笔还是用键盘写字，人类记住一首诗的规律是一样的。这意味着，以前用来清理旧图书馆的方法，大部分也能用在新型图书馆上。

发现二：不同的“清理工具”适合不同的“管理员”

• ViT（全局视野型）：这种管理员喜欢**“微调”**。因为它的记忆比较分散，像一张大网，直接切除某根神经（SalUn）效果不好，不如把剩下的书重新读一遍（微调），让它自然遗忘。
• Swin-T（局部细节型）：这种管理员和旧图书馆很像，**“反向训练”（NegGrad+）**对它效果最好。因为它有局部记忆的习惯，针对性地“洗脑”效果立竿见影。

发现三：越复杂的书，越难清理

• 在简单的书（如 CIFAR-10，只有 10 种小动物）面前，新型图书馆因为受过很好的“预训练”（在 ImageNet 上读过很多书），很容易就能把坏书忘掉。
• 但在复杂的书（如 ImageNet，成千上万种物体）面前，预训练的优势就变小了，清理难度变大。这时候，**“Holdout Retraining"（一种特殊的探测仪）**成了最靠谱的工具，它能帮管理员在复杂环境下也能忘得干净。

发现四：连续清理也不会“失忆”

• 现实情况是，我们可能今天忘一本书，明天忘一本书（连续遗忘）。
• 结果：作者测试了连续 5 次甚至 10 次清理，发现图书馆并没有因为反复清理而变笨。只要选对了工具（比如 NegGrad+），图书馆能一直保持清醒，不会越忘越乱。

4. 总结：这篇论文有什么用？

这篇论文就像给未来的 AI 开发者提供了一份**“操作手册”**：

1. 如果你用的是 ViT 模型：想删数据？试试微调，简单有效。
2. 如果你用的是 Swin 模型：想删数据？试试NegGrad+，效果最强。
3. 不管哪种模型：在复杂任务中，用Holdout Retraining这个工具来探测记忆，最靠谱。
4. 不用担心：连续删除数据不会搞坏模型，现有的方法很稳定。

一句话总结：
这篇论文告诉我们，虽然新型 AI 模型（视觉 Transformer）很强大，但清理它们并不像想象中那么难。只要选对“手术刀”（算法）和“探测器”（记忆指标），我们就能让这些 AI 既聪明又守规矩，真正符合“被遗忘权”的要求。

技术摘要

这篇论文题为 《Benchmarking Unlearning for Vision Transformers》（视觉 Transformer 的机器遗忘基准测试），由 Kairan Zhao 等人撰写。该研究填补了机器遗忘（Machine Unlearning, MU）领域在视觉 Transformer（VTs）架构上的空白，系统地评估了现有遗忘算法在 VTs 上的表现，并探索了记忆化（Memorization）在其中的作用。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景： 机器遗忘（从训练好的模型中移除特定数据的影响）对于构建安全、公平和符合隐私法规（如“被遗忘权”）的 AI 至关重要。与此同时，视觉 Transformer（如 ViT 和 Swin Transformer）已成为计算机视觉任务中 CNN 的有力替代品。
• 问题： 尽管针对大语言模型（LLMs）、扩散模型和 CNN 的遗忘基准测试已经存在，但针对视觉 Transformer（VTs）的遗忘基准测试尚属空白。
• 核心挑战： VTs 与 CNNs 在架构（全局自注意力 vs. 局部卷积）、归纳偏置（缺乏空间局部性）和训练范式（预训练 - 微调）上存在显著差异。现有的基于 CNN 的遗忘算法和记忆化代理（Proxies）是否适用于 VTs？VTs 的记忆化模式是否与 CNNs 相同？这些问题尚未得到解答。

2. 方法论 (Methodology)

该研究建立了一个全面的基准测试框架，涵盖以下关键维度：

• 模型架构：
  • 选择了两种主流的 VT 家族：ViT（全局自注意力，类似 CNN 程度较低）和 Swin-T（分层结构，类似 CNN 程度较高）。
  • 测试了不同容量（Capacity）的模型（如 ViT-Tiny/Small/Base, Swin-Tiny/Small/Base），并与 CNN（ResNet-18/50）进行对比。
• 数据集：
  • 使用了四个不同规模和复杂度的图像分类数据集：CIFAR-10, CIFAR-100, SVHN 和 ImageNet-1K（用于预训练和评估）。
• 遗忘算法：
  • 选取了三种代表性的遗忘范式，并均在 RUM（一种利用记忆化分层的元算法框架）中进行了集成以增强性能：
    1. Fine-tune (FT): 仅在保留数据上微调。
    2. NegGrad+: 基于梯度的方法，通过梯度上升移除遗忘集影响，同时保持保留集性能。
    3. SalUn: 基于显著性（Saliency）的参数选择性遗忘。
• 记忆化与代理指标：
  • 研究了 VTs 的记忆化模式，并评估了五种记忆化代理（Proxies）（置信度、最大置信度、熵、二值准确率、Holdout Retraining）在 VTs 上的有效性，以替代昂贵的真实记忆化分数计算。
• 评估协议：
  • 单次遗忘 (Single-shot) 和 持续遗忘 (Continual Unlearning) 场景。
  • 评估指标： 采用 ToW (Time to Forget) 和 ToW-MIA，综合考量遗忘集上的遗忘质量（通过准确率差异或成员推理攻击 MIA 漏洞）、保留集上的性能保持以及测试集上的泛化能力。

3. 主要贡献 (Key Contributions)

1. 首个 VT 遗忘基准： 首次系统性地 benchmark 了 VTs 上的机器遗忘，建立了可复现、公平且全面的比较基础。
2. 揭示记忆化模式： 发现 VTs 和 CNNs 表现出本质上相似的记忆化分布（长尾分布），尽管架构不同。
3. 验证代理有效性： 证明了源自 CNN 的记忆化代理（特别是置信度 Confidence和Holdout Retraining）在 VTs 上依然有效，可用于指导遗忘过程。
4. 架构与算法的兼容性分析： 揭示了不同遗忘算法在不同 VT 架构上的表现差异，打破了“一种算法适用于所有”的假设。
5. 持续遗忘的稳定性： 证明了在 VTs 上进行持续遗忘不会导致性能显著退化。

4. 关键结果与发现 (Results & Findings)

A. 记忆化与代理

• 记忆化模式： VTs 和 CNNs 在 CIFAR-100 等复杂任务上表现出高度一致的记忆化长尾分布。在 CIFAR-10 等简单任务上，预训练的 VTs 表现出比 ResNet-18 更低的记忆化（得益于全局上下文捕捉能力）。
• 代理指标： 置信度 (Confidence) 代理在所有模型和数据集上与真实记忆化分数的相关性最高（Spearman 系数约 -0.8 至 -0.9）。Holdout Retraining (HR) 虽然相关性稍低，但计算成本更低，且在复杂场景下表现稳健。

B. 算法性能表现

• NegGrad+ 是最稳健的选择： 在所有架构和数据集上，NegGrad+（尤其是结合 Holdout Retraining 时）表现最佳，特别是在复杂数据集（CIFAR-100, ImageNet）上。
• Fine-tune 的意外表现： 在简单任务（如 CIFAR-10）和 ViT 架构上，简单的 Fine-tune 表现惊人地好，甚至优于复杂算法。
• SalUn 的局限性： SalUn 在 ToW（遗忘准确率）上表现尚可，但在 ToW-MIA（抗成员推理攻击能力）上表现较差，尤其是在 ViT 架构上，说明其难以有效保护隐私。

C. 架构差异 (ViT vs. Swin-T)

• ViT： 倾向于受益于 Fine-tune，因为其全局注意力机制导致参数耦合更分散，简单的微调即可有效遗忘。
• Swin-T： 由于其分层和局部窗口注意力机制（类似 CNN），更受益于基于梯度的 NegGrad+。Swin-T 在复杂数据集上的遗忘性能通常优于 ViT。
• 容量影响： 存在一个“甜蜜点”（Sweet Spot）。例如，ViT-Small 和 Swin-Tiny 在 CIFAR-10 上达到了遗忘与隐私的最佳平衡；过大或过小的模型可能导致过拟合或欠拟合，影响遗忘效果。

D. 复杂场景与持续遗忘

• ImageNet 规模： 即使在 ImageNet-1K 这样的大规模数据集上，NegGrad+ 和 Fine-tune 依然有效，但整体遗忘难度增加（ToW/ToW-MIA 分数下降）。
• 持续遗忘： 在连续执行 5 到 10 次遗忘操作后，NegGrad+ 结合 HR 代理在 VTs 上保持了极高的稳定性，没有观察到明显的性能累积退化。

5. 实践建议 (Practitioners Takeaways)

• 架构 - 算法配对至关重要：
  • ViT + Fine-tune + Confidence：适用于低至中等记忆化场景，简单高效。
  • Swin + NegGrad+ + Holdout Retraining：适用于高复杂度数据集或持续遗忘场景，是最稳健的选择。
• 避免 SalUn： 在隐私敏感场景下，应避免在 VTs 中使用 SalUn，因为它在抵抗成员推理攻击方面表现不佳。
• 预训练的优势： 预训练有助于在简单任务上提升遗忘效果，但随着任务复杂度增加，这一优势会减弱。

6. 意义 (Significance)

这项工作不仅填补了视觉 Transformer 机器遗忘领域的基准空白，还纠正了关于 CNN 算法直接迁移到 VTs 的假设。它表明，虽然 VTs 和 CNNs 在记忆化模式上相似，但架构设计（全局 vs. 局部）显著影响了遗忘算法的选择和效果。该研究为未来开发专门针对 Transformer 架构的遗忘算法提供了坚实的参考基线和理论依据，对于推动安全、合规的视觉 AI 部署具有重要意义。

代码与资源： 论文提供了复现代码和基准测试基础设施，地址为 https://github.com/kairanzhao/Unlearning_VTs。