💬 NLP

Divergence Decoding: Inference-Time Unlearning via Auxiliary Models

本文介绍了发散解码（Divergence Decoding），这是一种推理阶段的遗忘学习方法，它利用小型辅助模型引导大语言模型的逻辑值（logits）远离敏感数据，在以极小效用损失为代价有效缓解隐私和版权风险的同时，提供了一种适用于文本和图像领域的通用型解决方案。

原作者： Humzah Merchant, Bradford Levy

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Humzah Merchant, Bradford Levy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于“Divergence Decoding”（差异解码）论文的解释，采用了简单易懂的语言和日常类比。

问题所在：“无法忘却”的大脑

想象你有一位超级聪明的图书管理员（大型语言模型），他读过世界上所有的书。有时，这位管理员会记住一些特定的、敏感的细节——比如某人的私人日记或受版权保护的故事——而这些是不应该被分享的。

通常情况下，如果你想让图书管理员“忘掉”这个特定的秘密，你有两个糟糕的选择：

从头开始： 把图书馆烧毁，然后不带那本书重新重建一座。这需要耗费数百万美元和数年的时间。
脑部手术： 尝试从管理员的大脑中手术式地移除这段记忆。这是有风险的；通常你会意外地破坏他做其他事情的能力，比如写诗或解数学题（这被称为“灾难性遗忘”）。

解决方案：“导盲犬”系统

论文作者提出了一种聪明的新技巧，叫做差异解码 (Divergence Decoding, DD)。他们并不试图改变图书管理员的大脑，而是保留管理员原封不动，并添加两只小巧、专业的“导盲犬”来帮助在对话过程中引导他。

这个系统是如何运作的：

图书管理员（大模型）： 这是我们使用的主要 AI。他无所不知，包括那些我们想要他忘掉的秘密。
导盲犬 A（“遗忘”模型）： 这是一个微型、廉价的 AI，它仅针对我们想要删除的秘密信息进行训练。它对那份特定数据非常痴迷。
导盲犬 B（“记忆”模型）： 这是另一个微型 AI，它仅针对安全的、公开的信息进行训练。它知道除了秘密之外的一切。

它是如何工作的：“方向盘”

当你问图书管理员一个问题时，系统并不仅仅让图书管理员回答。它会询问两只导盲犬，它们认为答案应该是怎样的。

逻辑： 系统会观察导盲犬 A（痴迷于秘密的那只）想要表达的内容与导盲犬 B（安全的那只）想要表达的内容之间的差异。
转向： 如果导盲犬 A 在尖叫着“说出那个秘密！”，而导盲犬 B 在说“不，不要说那个！”，系统就会利用这种差异来引导图书管理员的回答，使其远离秘密，转向安全的版本。

把它想象成开车。图书管理员是汽车。导盲犬是坐在副驾驶位的两个人。一个人指着悬崖（秘密），而另一个人指着道路（安全的答案）。驾驶员（系统）只需将车转向道路的方向，忽略悬崖，而无需重新建造汽车的引擎。

为什么这种方法更好

无需脑部手术： 主图书管理员的大脑保持不变。这意味着他不会失去执行其他任务的能力。
便宜且快速： 训练这两只小型的导盲犬就像训练小狗一样——与重建整个图书馆相比，既快速又廉价。
应对难题： 以前的方法擅长阻止 AI 一字不差地背诵句子，但在处理关于秘密的复杂问题时会失效。这种方法利用了导盲犬的“推理能力”，从而在复杂的思考层面阻止 AI 接触到秘密。

“永久修复”（蒸馏）

论文指出，同时运行三个模型（图书管理员 + 两只狗）会消耗额外的计算资源。如果你想要一个以后只运行一个模型的永久修复方案，可以使用一种叫做蒸馏 (Distillation) 的过程。

想象一下，在导盲犬的引导下，图书管理员写出了一份完美的“小抄”，展示了如何在不涉及秘密的情况下回答问题。然后，你教一个新的单一图书管理员去背诵这份小抄。现在，你就拥有了一个单一的、干净的模型，它已经“学会”了如何遗忘，不再需要导盲犬了。

它有效吗？

作者在两个主要的基准测试（TOFU 和 MUSE）上测试了该方法，这些测试就像是衡量“遗忘能力”的标准考试。

结果： 他们的这种方法击败了所有之前的“最先进 (state-of-the-art)”方法。它在移除秘密的同时，能更好地保持 AI 的聪明程度。
超越文本： 他们还将此应用于图像生成（制作图片）。他们训练 AI “忘记”如何画特定种类的狗。该方法在图像领域同样奏效，成功地阻止了 AI 画出那些狗，同时没有破坏它画其他东西的能力。

总结

与其试图从一个巨大且复杂的脑中抹除一段记忆（这既困难又危险），这篇论文建议保持大脑不变，并使用两只聪明的小助手来轻轻地将对话转向远离禁忌话题的方向。这是一种“学习胜过遗忘”的方法，比以往的方法更便宜、更安全、也更有效。

技术摘要：差异解码 (Divergence Decoding)

问题陈述

大型语言模型（LLMs）经常会记忆敏感的训练数据，从而产生显著的隐私和版权风险。通过从现有的模型检查点中移除特定知识来应对这些风险具有挑战性。传统的处理方法（例如在经过清洗的数据集上重新训练模型）在面对前沿规模的模型时，计算成本是不可行的（需要数百万个 GPU 小时）。现有的机器遗忘（machine unlearning）方法通过梯度上升或负偏好优化等技术修改模型权重，但这些方法往往会导致灾难性的效用损失、具有脆弱性且成本依然高昂。此外，这些方法经常会降低模型在保留数据集上的整体性能。

方法论：差异解码 (Divergence Decoding, DD)

作者提出了差异解码 (Divergence Decoding, DD)，这是一种推理时（inference-time）的遗忘机制，旨在引导目标模型的逻辑值（logits）远离特定数据，而不直接修改模型的权重。该方法受到专家乘积（Product of Experts）框架和重要性采样（Importance Sampling）的启发。

核心机制

DD 利用两个通过标准微调流水线训练的小型辅助模型 $p$ 和 $q$ ，作为当前目标模型 $P$ （在保留集和遗忘集上均经过训练）与理想的重训模型 $Q$ （仅在保留集上训练）之间差异的代理。

辅助模型 $p$ ： 在“遗忘”集（或根据基准测试设置，在遗忘集和保留集的组合）上进行训练。
辅助模型 $q$ ： 在“保留”集上进行训练。

该方法通过根据辅助模型之间的差异来调整可获取的目标模型 $P$ 的逻辑值，从而近似于从理想的重训模型 $Q$ 中进行采样。提出了两种具体的调整方式：

线性差异解码 (Linear Divergence Decoding)： 一种逻辑值的线性组合，利用辅助模型之间的差异来引导目标模型：
$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$
这里 $\alpha$ 是一个超参数。比率 $q/p$ 起到了“领域专家”的作用，它会提升那些可能出现在保留集中的 token 的权重，并降低那些可能出现在遗忘集中的 token 的权重。
基于排名的差异解码 (Rank-Based Divergence Decoding)： 一种基于排名的调整，用于抑制前 $k$ 个最具差异性的逻辑值：
$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$
（在实际操作中，为了避免退化的隐私得分，前 $k$ 个逻辑值会被替换为未修改分布中的第 $k$ 大的逻辑值）。

模型蒸馏

为了解决在推理过程中同时运行三个模型（目标模型 + 2 个辅助模型）带来的延迟和计算成本问题，作者建议将 DD 增强系统的行为蒸馏回单个模型中。一个冻结的线性 DD 系统作为教师，目标模型作为学生，使用针对遗忘集的 KL 散度目标进行微调。这可以将推理时的控制器转换为一个可以无需辅助模型即可进行服务的参数化网络。

核心贡献

本文对机器遗忘领域的文献做出了以下贡献：

新颖的逻辑值引导机制： 该机制在标准遗忘基准测试（TOFU 和 MUSE）中超越了当前的先进技术（SOTA）方法。
连接两种范式： 建立了推理时遗忘与基于权重的遗忘之间的联系，通过蒸馏实现了灵活的部署。
跨领域有效性： 初步探索证明了该方法在文本生成之外的应用能力，特别是针对基于 Transformer 的图像生成。
广泛的消融实验： 涵盖了超参数选择、计算/延迟影响、跨分词器/跨家族泛化性以及对抗鲁棒性的全面分析。

实验结果

作者使用 Open Unlearning 框架在 TOFU（指令微调，复杂查询）和 MUSE（预训练，少样本问答）基准测试上评估了 DD。

性能： 在 TOFU 基准测试中，DD 明显优于 SOTA 基准方法（包括梯度上升、NPO、RMU 和 UNDIAL）。在 MUSE 上，它在知识记忆和问答任务上略微优于强基准方法，但在逐字记忆（Verbatim Memorization，其中简单的过滤方法通常表现出色）方面效果稍逊。
效用保持： 与许多导致灾难性遗忘的遗忘方法不同，DD 保留了通用知识和模型效用。
蒸馏： 蒸馏后的模型恢复了大部分推理时线性 DD 的性能增益，并优于先前的基于梯度的遗忘方法。
可扩展性与可持续性： 该方法随着遗忘集大小的增加而表现出良好的扩展性，并且能够处理连续的遗忘请求而不会出现明显的性能下降。
对抗鲁棒性： 在测试是否可以通过重复对抗性提示来恢复被遗忘信息的 Leak@K 基准测试下，蒸馏后的 DD 达到了与完整重训相当的性能，表明这种遗忘是鲁棒的，而非仅仅是表面层面的修正。
图像生成： 在基于 ImageNet 的图像生成的初步结果显示，DD 可以减少特定视觉语义（例如遗忘集中的狗类）的生成，同时保持感知质量，尽管在文本中相比之下，线性设置需要更高的 $\alpha$ 值。

重要性与主张

本文认为，通往更安全、更合规的人工智能之路不在于通过直接修改权重来“削弱”基础模型，而在于引导它。作者声称，对于许多实际用例（例如“被遗忘权”请求、版权合规以及防止前瞻偏差的金融回测），修改模型权重是不必要的，且可能对效用有害。

相反，DD 提供了一种“学习优于遗忘”的方法，即通过小型、廉价的辅助模型来引导大型模型的生成。这为需要频繁、即时遗忘的高风险部署提供了一个切实可行的解决方案，通过平衡有效的遗忘与模型能力的保留，重新定义了 SOTA 性能。该方法被呈现为对任何概率模型都具有普适性，将其效用从文本扩展到了图像生成等领域。