🤖 machine learning

SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion

SHRED 是一种新颖的、无需保留集的大语言模型机器遗忘方法，它通过自蒸馏识别并降低高信息量 token 的权重，从而选择性地移除记忆内容，在无需精心策划的保留集的情况下实现了遗忘效果与模型效用之间的更优权衡。

原作者： Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文SHRED的解释。

核心难题：“遗忘”困境

想象大型语言模型（LLM）是一个拥有超摄影般记忆的学生，它读遍了整个互联网。有时，这个学生会记住一些不该记的东西，比如名人的私人地址、受版权保护的书籍，或是制造炸弹的危险指令。

要解决这个问题，我们通常需要“遗忘”这些特定信息。然而，这里有个陷阱：

旧方法：为了阻止学生记住坏信息，同时又不让他们忘记其他一切（比如如何说英语或做数学题），我们通常必须提供一份包含安全、良好示例的“学习指南”，让他们在遗忘坏东西的同时进行练习。
问题所在：在现实世界中，我们往往没有那份完美的学习指南。创建它既困难又昂贵，还可能无意中给学生带来偏见。如果没有它，试图让学生遗忘通常会导致其“大脑受损”，使其忘记如何正常说话，或拒绝回答无害的问题。

解决方案：SHRED

作者提出了一种名为SHRED（仅通过高惊讶度保留熵降级的自蒸馏）的新方法。这个名字有点拗口，让我们通过一个类比来拆解它。

核心洞察：并非所有单词都同等重要

想象学生正在复述一段他们记住的关于特定事件的故事：

"7 月 4 日，约翰·史密斯驾驶一辆红色法拉利去了大峡谷。”

论文发现了一个关于模型如何“思考”这句话的有趣现象：

“无聊”的单词：像"On"、"the"、"to"和"a"这样的词非常常见。模型对这些词非常有信心。它们就像建筑物的脚手架。
“被记住”的单词：像"7 月 4 日”、“约翰·史密斯”、“红色法拉利”和“大峡谷”这样的词是具体事实。与那些无聊的词相比，模型对这些具体细节的信心实际上更低，因为它们仅属于那个特定的故事。

SHRED 的核心思想：你不需要擦除整个句子。你只需要针对特定的高价值事实（即脚手架部分），而保留通用的语言结构不动。

SHRED 如何运作（两步流程）

SHRED 是一种“无需保留集”的方法，意味着它不需要外部的学习指南。它利用模型自己的大脑作为老师。

第一步：侦探工作（选择）
模型阅读它需要遗忘的句子。它审视每一个单词，并问自己：“我对这个词感到多惊讶？”

如果模型不惊讶（高概率），那它是一个常见词（如"the"）。SHRED 会忽略这些词。
如果模型感到惊讶（低概率），那它是一个具体事实（如“约翰·史密斯”）。SHRED 将这些标记为需要遗忘的目标。

第二步：手术（降级）
随后，模型被训练同时做两件事：

遗忘目标：它被强制降低对具体事实（例如“约翰·史密斯”）的信心。
保留脚手架：它被要求保持对常见词（例如"On"、"the"）的高信心。

通过这样做，模型学会了“遗忘”特定的秘密，而不会丧失说英语的能力。这就像移除房间里的特定家具，而不去拆毁墙壁。

为何它优于其他方法

论文在四个不同的基准测试（类似于“遗忘”的“期末考试”）中测试了 SHRED 与其他多种方法。以下是他们的发现：

帕累托前沿：想象一张图表，左上角代表“完美分数”（完全遗忘 + 完全效用）。大多数方法都卡在中间或右下角。SHRED 是唯一一种在不需要学习指南（保留集）的情况下就能到达左上角的方法。
无“脑损伤”：其他方法经常导致模型开始拒绝回答问题或胡言乱语。SHRED 保持了模型通用智力的完整性。
幻觉修复：令人惊讶的是，SHRED 实际上降低了模型编造现实世界虚假事实的可能性。通过移除那些“虚假”的已记忆故事，模型的自然知识变得更加清晰。
鲁棒性：
- 重学习：如果你试图通过展示几个例子来诱骗模型再次记住秘密，SHRED 版本的模型比其他模型更难被诱骗。
- 隐私：黑客很难判断模型是否仍“记得”秘密数据。
- 稳定性：你可以长时间训练它而不会使其崩溃。

“旋钮”与设置

作者发现了两种主要调整 SHRED 的方式：

“多少”旋钮（P）：你可以选择只遗忘前 50% 最具体的单词，或者遗忘 100%。50% 似乎是平衡遗忘与保持模型智能的最佳点。
“批量大小”的惊喜：通常，在 AI 训练中，一次性使用大数据组效果更好。但 SHRED 在极小批量（甚至一次只有一个示例）下效果最好。这就像通过反复练习一个特定动作来学习新技能，而不是做全套锻炼；它有助于模型更精准地进行“遗忘”。

总结

SHRED 是一种巧妙的方法，它能让 AI 遗忘特定秘密，而无需依赖“良好示例”手册来引导。它通过识别承载秘密的特定、独特单词，并温和地降低其重要性，同时保持通用语言结构不变来运作。其结果是，模型成功遗忘了不良数据，但依然聪明、有用且安全可用。

技术摘要：SHRED——基于自蒸馏与 Logit 降级的无保留集遗忘方法

1. 问题陈述

大型语言模型（LLM）会记忆训练数据，从而引发隐私泄露、版权侵权以及危险知识传播等风险。机器遗忘旨在以可承受的成本选择性移除特定知识，而无需进行代价高昂的完整重新训练。

标准的遗忘范式需要一个保留集（来自与遗忘集相同领域的精选示例），以防止模型通用能力发生灾难性退化。然而，在实践中，由于数据稀缺或引入不必要的领域偏差，构建理想的保留集往往不可行。试图绕过保留集依赖的现有方法通常遭受严重的效用崩溃，导致语言结构受损或拒绝率过高。核心挑战在于：在不访问外部保留数据的情况下，如何有效遗忘特定的记忆内容，同时保持模型的通用能力。

2. 方法论：SHRED

作者提出了SHRED（基于高困惑度仅保留的熵降级的自蒸馏），该方法利用模型自身的输出分布作为教师，从而消除了对保留集的需求。该方法的基石在于一个洞察：在“遗忘集”实例中，并非所有 token 都同等程度地携带记忆信息。

关键洞察：Token 级别的信息密度

在已记忆特定文档的模型中，代表高信息内容的 token（例如具体名称、日期、独特关系）被分配的自回归概率低于代表通用语言支架的 token（例如标点符号、常见短语、停用词）。后者由广泛的预训练统计信息支持，而前者则特定于被记忆的实例。

SHRED 流程

SHRED 使用单个遗忘集（ $D_f$ ）在四个阶段运行：

教师前向传播：待遗忘的模型（参数 $\theta$ ）充当冻结的、离线策略的教师。它处理来自 $D_f$ 的序列，生成每个 token 的自回归概率 $p_\theta(x_t | x_{<t})$ 。
遗忘位置的选择：
- 系统排除初始上下文窗口（例如问答中的问题或文档前缀），以避免破坏基础语言建模能力。
- 将剩余 token 按概率升序排列。
- 选择底部- $P$ 分数（概率最低、香农信息最高）作为遗忘集（ $F$ ）。这些位置包含特定于文档的高信息 token。
- 剩余位置（ $R = T \setminus F$ ）充当隐式保留集，保留模型的通用语言能力。
KL 目标构建：
- 遗忘位置（ $t \in F$ ）：修改目标分布以“降级”被记忆的 token。
  - 变体 A（检索遗忘）：仅降级特定的被记忆 token $x_t$ （logits 设为 $-\infty$ ）。
  - 变体 B（知识遗忘）：降级被记忆 token 及概率分布的前- $\pi$ 核，以防止改写。
- 保留位置（ $t \in R$ ）：目标分布保持与教师原始分布相同，作为保持效用的锚点。
Top-K KL 自蒸馏：学生模型（ $\theta'$ ）被训练以最小化其预测与在 Top- $K$ 词汇子集上构建的目标分布 $q_t$ 之间的 KL 散度。这一单一目标同时驱动模型远离高信息记忆内容，并将其锚定在通用语言模式上。

3. 主要贡献

无保留集遗忘：SHRED 是首个证明无需任何外部保留数据即可实现有效遗忘的方法，转而依赖遗忘集自身的内部结构。
选择性 Logit 降级：通过识别并仅降级高困惑度（高信息）token，同时保留低困惑度 token，SHRED 避免了与统一遗忘方法相关的效用崩溃。
统一目标：该方法利用单一的自蒸馏目标，自然地平衡遗忘与效用保持，消除了在遗忘损失项和保留损失项之间进行复杂超参数平衡的需求。
鲁棒性：该方法被证明对成员推断攻击（MIA）、重学习攻击以及连续持续遗忘场景具有鲁棒性。

4. 实验结果

作者在四个标准基准上评估了 SHRED：TOFU（虚构作者问答）、MUSE（新闻/书籍）、RWKU（现实世界实体）和Hubble（YAGO/古腾堡）。

帕累托最优性：SHRED 在所有四个基准上建立了新的帕累托前沿，在遗忘效果与模型效用的权衡中，优于依赖保留集的基线方法（如 GradDiff、NPO 和 DPO）。
遗忘效果：SHRED 在遗忘指标上匹配了重新训练的“目标”模型（未使用遗忘数据训练的 oracle），且未表现出如梯度上升等方法中常见的“过度遗忘”现象。
效用保持：与通常导致效用崩溃或需要保留集来维持性能的基线不同，SHRED 保持甚至提升了通用效用。值得注意的是，在 TOFU 基准上，SHRED 被观察到主动恢复了由初始微调过程产生的幻觉或被抑制的世界知识，减少了在“目标”模型仍然失败的现实世界问题上的幻觉。
鲁棒性：
- MIA：小批量 SHRED 训练实现的隐私泄露分数接近重新训练的 oracle，显著优于基线。
- 重学习：SHRED 模型对“重学习”攻击具有抵抗力，即模型再次在遗忘集上进行短暂微调；它们恢复知识的速度远慢于基线。
- 持续遗忘：SHRED 在多轮遗忘过程中效用下降缓慢，而 NPO 和 RMU 等基线则遭受显著的效用下降。
超参数：该方法在降级百分比（ $P$ ）为 50–75% 且小批量大小（BS=1 或 2）时最有效，这有助于模型逃离损失景观中的局部极小值。

5. 意义与主张

论文声称，SHRED 代表了机器遗忘在实际部署中的重要进步。通过消除对精选保留集的依赖，SHRED 解决了现实世界应用中的主要瓶颈，因为在这些应用中此类数据不可用或难以精选。

作者强调，SHRED 利用模型自身“良性”token 作为锚点的能力，使其能够自然地保持通用能力，避免了遗忘任务中常见的通用效用“灾难性遗忘”。此外，观察到 SHRED 能够逆转由微调引入的幻觉，这表明该方法不仅仅是抑制知识，而是能够优化模型的分布，使其与通用世界知识更加一致。

论文结论指出，SHRED 在遗忘与效用之间提供了帕累托最优的权衡，对多种攻击向量具有鲁棒性，并在过度训练和持续遗忘场景下保持稳定，使其成为 LLM 隐私和安全合规的可行解决方案，且无需数据精选的开销。