Suppression or Deletion: A Restoration-Based Representation-Level Analysis of Machine Unlearning

该论文提出了一种基于稀疏自编码器的恢复分析框架，揭示了现有机器遗忘方法大多仅在决策边界层面抑制信息，而未能真正从中间表示层删除敏感数据，从而强调了在预训练模型时代建立基于表示层验证的新评估标准的必要性。

要点

这篇论文探讨了一个非常关键的问题：当我们要让 AI“忘记”某些信息时，它真的忘记了吗？还是只是假装忘记了？

为了让你更容易理解，我们可以把 AI 模型想象成一个超级聪明的厨师，把训练数据想象成食谱。

1. 背景：为什么需要“遗忘”？

现在，很多 AI 模型（厨师）是在网上抓取的海量数据（公共食谱）上训练的。有时候，这些食谱里包含了不该公开的私人信息、版权内容或敏感数据。
法律（比如欧盟的 GDPR）规定，如果某人要求“被遗忘”，AI 必须把关于他的信息彻底删掉。

• 笨办法：把整个厨房拆了，只用剩下的安全食材重新开火（从头训练）。这太慢了，太贵了。
• 聪明办法（机器遗忘）：只把那个特定的食谱从脑子里“抹去”，保留其他技能。这就是论文研究的“机器遗忘”（Machine Unlearning）。

2. 核心问题：是“删除”还是“压制”？

目前的评估方法就像只问厨师：“你还记得那道菜怎么做吗？”

• 如果厨师说：“不记得了，我忘光了。”（输出结果看起来忘了）
• 但论文作者发现，这可能只是假象。

作者提出了一个惊人的观点：大多数所谓的“遗忘”方法，其实只是**“压制”（Suppression），而不是“删除”（Deletion）**。

• 压制（Suppression）：就像厨师把那道菜的食谱锁进了一个上了锁的抽屉，表面上看他不做了，但抽屉里其实还完好无损地放着。只要有人给他一把钥匙，他马上就能做出来。
• 删除（Deletion）：就像把那张食谱彻底烧成灰，连灰烬都扬了。无论给什么钥匙，他都再也做不出那道菜。

3. 作者是怎么发现的？（“恢复”实验）

作者发明了一种新的“测谎仪”，叫做基于恢复的分析框架。

• 工具：他们使用了一种叫稀疏自编码器（SAE）的工具。你可以把它想象成“思维透视镜”。它能直接看到厨师大脑（AI 模型的中间层）里正在思考什么，而不是只看他端出来的菜（最终输出）。
• 实验过程：
  1. 先让厨师“忘记”那道菜（应用遗忘算法）。
  2. 用“思维透视镜”观察厨师的大脑，找到那些专门负责那道菜的**“专家神经元”**（就像找到那个被锁住的抽屉）。
  3. 关键一步：作者强行给这些神经元“注入”一点原始的记忆能量（就像把钥匙插进锁孔，强行打开抽屉）。
  4. 结果：如果厨师立刻就能重新做出那道菜，说明信息只是被压制了，并没有被删除！

4. 惊人的发现

作者测试了 12 种主流的“遗忘”方法，结果让人大跌眼镜：

1. 大多数方法都在“装傻”：
   绝大多数方法（包括一些看起来很高级的算法）只是把输出结果改乱了，让厨师在回答问题时“答非所问”。但如果你用“思维透视镜”去检查，发现他脑子里关于那道菜的核心知识（语义特征）依然完好无损。一旦稍微“点拨”一下，他马上就能恢复记忆。

2. 连“重头再来”都不一定行：
   最讽刺的是，即使是**“从头训练”**（把厨师关起来，只让他看剩下的安全食谱，完全不看那个被遗忘的食谱），结果依然显示记忆被“恢复”了。

   • 原因：因为厨师的大脑结构是在之前学习海量数据时形成的。那些关于“如何做菜”的深层逻辑和通用技能（比如切菜、火候）已经刻在骨子里了。简单的“重练”只是让他忘了“这道特定的菜叫什么”，但没抹去他脑子里关于这道菜的所有深层特征。

3. 只有少数方法真的“烧了食谱”：
   只有极少数方法（比如直接重置某些神经层，或者强力削弱特定参数）才能真正把信息从大脑深处抹去，让恢复变得不可能。

5. 这意味着什么？（给未来的建议）

这篇论文给 AI 安全敲响了警钟：

• 现在的评估标准太肤浅了：只看 AI 最后答对还是答错是不够的。就像不能只看一个人嘴上说“我不记得密码了”就相信他，还得检查他脑子里是不是还藏着密码。
• 隐私风险巨大：如果现在的 AI 只是“压制”了敏感信息，那么一旦有人掌握了“解锁”技术（比如论文中的恢复方法），这些被以为已经删除的隐私数据就会死灰复燃。
• 未来的方向：
  • 设计新算法：不能只改改输出结果，必须深入到 AI 的“中间层”（大脑的深层结构），直接修改那些存储核心特征的神经元。
  • 建立新标准：在评估 AI 是否真的“遗忘”时，必须进行**“恢复测试”**。如果信息能被轻易恢复，那就不能算真正的删除。

总结

这就好比你在图书馆里把一本禁书撕掉了封面（目前的遗忘方法），书看起来没了。但作者发现，书的内容其实还完好地藏在书架深处。只要有人知道怎么把书拿出来（恢复技术），那本书就还在。

这篇论文告诉我们：在 AI 时代，真正的“遗忘”不是把书藏起来，而是必须把书彻底烧掉，连灰烬都不留。 我们需要更严格的标准来确保 AI 真的把敏感信息“烧”干净了。

技术摘要

这是一篇关于机器遗忘（Machine Unlearning, MU）评估方法的论文，题为《抑制还是删除：基于恢复的机器遗忘表示级分析》（Suppression or Deletion: A Restoration-Based Representation-Level Analysis of Machine Unlearning）。该论文发表于 WWW '26。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：随着预训练模型在 Web 上的广泛共享（如 Hugging Face），确保模型能够根据请求“遗忘”敏感、受版权保护或私人信息变得至关重要。机器遗忘旨在从训练好的模型中移除特定数据的影响，而无需昂贵的从头重训。
• 现有方法的局限性：
  • 目前的评估主要依赖基于输出的指标（Output-based metrics），例如在“遗忘集”（Forget Set）上的准确率（越低越好）或成员推理攻击（MIA）的成功率。
  • 核心问题：这些指标无法验证模型中间层的表示（Representations）是否真正被删除。模型可能仅仅在输出层抑制（Suppress）了特定信息，而中间层仍保留了完整的语义特征。这种“抑制”对于隐私保护是不足的，因为信息可以被恢复。
• 研究目标：区分“删除”（Deletion，彻底移除表示）与“抑制”（Suppression，仅掩盖输出），并开发一种能够检测表示级保留（Representation-level retention）的分析框架。

2. 方法论 (Methodology)

作者提出了一种基于恢复（Restoration）的分析框架，利用稀疏自编码器（Sparse Autoencoders, SAEs）和推理时引导（Inference-time Steering）技术。

• 核心假设：中间网络层通常集中了语义信息（语义瓶颈），而早期层捕捉低级特征，最终层是任务特定的。
• 框架流程：
  1. 特征选择（Feature Selection）：
     • 使用 SAE 提取第 $\ell$ 层 patch token 的激活值。
     • 过滤掉不激活或总是激活的无信息特征。
     • 计算每个特征的 F1 分数（精确率与召回率），筛选出针对特定类别的“专家特征”（Expert Features）。
     • 使用匈牙利算法对齐原始模型和遗忘模型的特征索引，确保特征匹配。
  2. 选择性恢复（Selective Restoration）：
     • 对于目标层，提取原始模型（$h_{orig}$）和遗忘模型（$h_{unl}$）的激活值。
     • 通过 SAE 编码后，将遗忘模型中对应“专家特征”的激活值替换为原始模型的加权值：
       $$\hat{h}[j] = h_{unl}[j] + \alpha (h_{orig}[j] - h_{unl}[j])$$
       其中 $\alpha$ 是引导系数（实验中设为 10 以放大特征）。
     • 将引导后的表示 $\hat{h}$ 解码并输入到遗忘模型的剩余层中，观察输出变化。
• 判定标准：
  • 如果引导后，遗忘模型在遗忘集上的准确率显著回升（接近原始模型），则表明该信息仅被抑制（中间层特征仍保留）。
  • 如果引导后准确率无明显变化，则表明信息已被删除。

3. 实验设置 (Experiments)

• 数据集：CIFAR-10 和 ImageNette（ImageNet 的 10 类子集）。
• 模型：在 ImageNet-21K 上预训练的 ViT-B/16。
• 评估对象：12 种主流的机器遗忘方法，包括：
  • 重训（Retrain）
  • 微调（Finetune）
  • 基于梯度的对抗方法（AdvNegGrad, RandomLabel）
  • 参数修改方法（Bad-T, SCRUB, SalUn, CF-K, EU-K, L1-Sparse, SSD, UNSIR）
• SAE 配置：TopK 稀疏度，CIFAR-10 设 $K=16$，ImageNette 设 $K=32$。

4. 关键结果 (Key Results)

通过对 12 种方法的评估，论文得出了三个主要发现：

1. 抑制普遍存在，删除罕见（Prevalence of Suppression over Deletion）：

   • 大多数近似遗忘方法（如 AdvNegGrad, SCRUB, RandomLabel, SalUn 等）虽然在输出指标上表现良好（遗忘集准确率为 0%），但在恢复实验中，其遗忘类准确率在深层网络中可恢复至接近原始水平（甚至 100%）。
   • 惊人发现：即使是从头重训（Retrain）模型，也显示出极高的恢复率。这表明预训练阶段习得的鲁棒语义特征并未被简单的重训移除，它们被保留在中间层表示中。
   • 结论：大多数方法仅是在决策边界层面抑制了信息，而未触及中间表示。

2. 层深与数据集复杂度的影响：

   • 恢复效果在中间层（Semantic Bottlenecks）最为显著。
   • 对于简单数据集（CIFAR-10），特征集中在第 8-9 层；对于复杂数据集（ImageNette），瓶颈层下移至第 9-10 层。
   • 这表明遗忘方法需要具有“层感知”（Layer-aware）能力，针对特定的语义瓶颈层进行操作。

3. 方法分类与有效删除：

   • 易受恢复的方法：依赖输出映射或损失函数调整的方法，以及简单的参数微调。
   • 有效删除的方法：
     • EU-K（层重置）：在所有层均实现 0% 的恢复准确率，证明其真正删除了表示。
     • 权重阻尼类方法（如 SSD, Bad-T, CF-K）：恢复率显著较低，表明对中间层参数的结构性修改更有效。

5. 主要贡献 (Key Contributions)

1. 提出新框架：引入了基于 SAE 和推理时引导的恢复分析框架，能够定量区分机器遗忘中的“抑制”与“删除”。
2. 揭示现有缺陷：通过大规模实验证明，当前主流的 12 种遗忘方法（包括重训）大多仅实现了表示级的抑制，而非真正的删除，存在严重的安全隐患。
3. 提出新指南：
   • 设计指南：遗忘方法应针对语义瓶颈层进行结构性修改（如层重置或定向参数阻尼），而非仅调整输出。
   • 评估指南：必须超越基于输出的指标，引入表示级验证（Representation-level verification）和恢复测试，特别是在隐私关键应用中。

6. 意义与影响 (Significance)

• 安全警示：在预训练模型共享时代，如果模型仅被“抑制”而非“删除”，攻击者可以通过微调或引导技术轻易恢复敏感信息。现有的评估标准严重低估了这一风险。
• 范式转变：论文呼吁将机器遗忘的评估重心从“模型输出行为”转移到“内部机制（表示级）”。
• 未来方向：为构建真正安全的模型分发和隐私保护提供了新的理论基础和评估标准，强调了在预训练模型时代进行深层表示级审计的必要性。

7. 局限性与未来工作

• 泛化性：目前主要基于 ViT 架构和图像分类任务，其他架构（如 LLM）的信息分布可能不同。
• SAE 依赖性：SAE 提取的特征依赖于超参数，且可能无法完美捕捉模型的所有内部行为，未来需探索其他可解释性方法。

---

总结：这篇论文通过创新的“恢复实验”揭示了当前机器遗忘领域的重大盲区——即大多数方法并未真正删除数据，只是掩盖了输出。这一发现对隐私保护、模型安全以及未来的算法设计具有深远的指导意义。