💬 NLP

Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance

本文介绍了交替标记加权遗忘（Alternating Token-Weighted Unlearning, ATWU），这是一个轻量级框架，通过在遗忘目标与保留目标之间的冲突中共同学习标记级重要性，从而在无需外部监督或辅助模型的情况下，提升了大语言模型的机器遗忘性能，并达到了最先进的水平。

原作者： Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《学习遗忘：通过学习标记级重要性来改进大语言模型遗忘》（Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance）的解释，采用了通俗易懂的语言和富有创意的类比。

核心问题：“抹掉整页”的橡皮擦

想象你拥有一座巨大且极其聪明的图书馆（大语言模型），它几乎读遍了互联网上的所有内容。有一天，你意识到它记住了某人的特定秘密日记，你需要立即将其移除。

问题在于，这座图书馆实在太庞大了，你无法直接撕掉写有那篇日记的具体页面。如果你试图通过在不包含该日记的情况下重新训练整个图书馆来“遗忘”那个特定的故事，你可能会不小心把其他有用的东西也给抹去了，比如如何写一封礼貌的邮件或如何解数学题。

目前的“遗忘”方法就像是在使用一块巨大的、钝重的橡皮擦。它们试图擦除包含那个秘密的整个句子或段落。但通常情况下，它们会连同语法、标点符号和常用词（如“the”或“and”）一起擦掉。这会导致图书馆的写作风格变得破碎且笨拙。

核心理念：一把精巧的手术刀

该论文的作者提出了一种看待遗忘的新方式。他们意识到，一个秘密句子中的每个词并不具有同等的“重要性”。

秘密部分： 你想要删除的具体名称、日期或事实（例如，“Hina Ameen”）。
结构部分： 那些支撑句子的、枯燥但必要的词汇（例如，“The author is...”）。

如果你试图让模型忘记“The”这个词，你并不是在移除秘密，而是在破坏语法。模型需要保持知道如何使用“The”的能力。

解决方案：ATWU（交替标记加权遗忘）

论文引入了一种名为 ATWU 的方法。你可以把它想象成给图书馆配备了一把精巧的手术刀，而不是一块钝重的橡使用者。

其工作原理如下，分步详解：

冲突测试： 作者意识到，确定哪些词应该被删除的最佳方法，是观察让模型忘记这些词会造成多大的“痛苦”。
- 如果图书馆尝试忘记“Hina”（秘密），它并不会损害其编写优秀句子的能力。
- 如果图书馆尝试忘记“The”，它就开始写出乱码。
- 洞察： 如果忘记一个词不会损害模型的通用技能，那么这个词就是一个理想的移除对象。如果它会损害技能，则保留它。
“计分员”（线性评分器）：
- 为了避免雇佣人类去阅读每个句子并圈出要删除的词（这既慢又贵），作者在模型内部构建了一个微小的、简单的“计分员”。
- 这个计分员观察模型的“大脑”（隐藏状态），并为每一个词分配一个分数。
- 高分： “这是秘密；我们必须擦除它。”
- 低分： “这只是语法；别动它。”
“舞蹈”（交替优化）：
- 模型和计分员轮流进行学习。
- 首先，计分员决定哪些词是重要的遗忘对象。
- 然后，模型尝试忘记这些特定的词，同时保持其原有技能不受影响。
- 接着，计分员观察模型的变化，并更新其评分以变得更加准确。
- 他们就这样来回“跳舞”，直到模型学会了精确地遗忘该忘的内容，而不破坏任何其他东西。

为什么这种方法更好（实验结果）

论文在两个不同的“图书馆”（数据集）上测试了这种方法，发现 ATWU 比以往的方法表现得更好：

精准度： 它成功地移除了特定的秘密（如名字“Hina Ameen”），同时保持了模型编写正常、高质量文本的能力。
无需额外帮助： 与其他需要第二个独立的 AI 来协助判断删除内容的方法不同，ATWU 利用模型自身的内部信号完全自主地完成了这项工作。
更好的平衡： 它实现了更好的权衡：它能更有效地遗忘“坏的东西”，同时比任何其他测试的方法都能更好地保留“好的东西”。

“隐喻”的魔力

想象你正在试图从一件白衬衫上去除一个特定的污渍。

旧方法： 你用漂白剂刷洗整件衬衫。污渍确实没了，但衬衫也变黄并毁掉了。
ATWU： 你使用一把只针对污渍颜色的激光器。它精准地烧掉污渍，而让白色的织物完全不受影响。

总结论点

论文声称，通过将“遗忘”视为一个模型同时学习“遗忘什么”和“如何遗忘”的联合问题，我们可以实现一种“机器遗忘”，它是：

无监督的： 它不需要人类来标注哪些词需要删除。
高效的： 它使用一个非常简单、轻量级的机制（线性评分器）来完成工作。
有效的： 它在“秘密信息”与模型需要保留的“通用知识”之间创造了更清晰的分离。

作者得出结论，这种方法证明了我们不需要外部工具或昂贵的标注来教导模型该遗忘什么；模型自身在“记住秘密”与“保持技能”之间的内在冲突，已经提供了它所需要的所有线索。

技术摘要：学习遗忘什么：通过学习型标记级重要性改进大语言模型遗忘

问题陈述
机器遗忘旨在从训练好的大语言模型（LLMs）中移除特定知识（如个人数据、受版权保护的文本、有害内容），而无需从头开始重新训练。对于自回归大语言模型而言，一个关键挑战在于，在“遗忘样本”（即待删除的数据）中，并非所有标记（tokens）对目标信息的贡献都是相等的。许多标记是结构性的（例如，功能词、标点符号、句法模式），对于维持通用语言能力至关重要。现有的标记加权遗忘方法试图有选择地对特定标记应用遗忘损失，但这些方法依赖于外部标注、辅助模型、基于概率的启发式算法或特定任务的规则来估计标记相关性。这些方法往往无法有效区分“遗忘特有内容”与“结构性标记”，从而导致遗忘不彻底或造成不必要的通用能力退化。

方法论：交替标记加权遗忘 (ATWU)
作者提出，标记级的遗忘特异性（forget-specificity）应当由遗忘目标与保留目标之间的相互作用来表征，而非依赖外部信号。他们将其形式化为一个关于模型参数 ( $\theta$ ) 和标记权重 ( $z$ ) 的联合优化问题。

理论公式化： 论文定义了一个“保留冲突”（retain conflict）度量 $\kappa(A)$ ，用于衡量在保持对保留集最优的同时，抑制一组标记 $A$ 所付出的代价。在“保留-冲突分离”假设下，作者证明了可以通过一个平衡保留损失和加权遗忘损失的联合目标函数来恢复预设的（oracle）遗忘特有标记集。这一理论结果表明，标记权重可以直接从遗忘目标中学习，无需外部监督。
算法 (ATWU)： 为了使该过程具有可操作性，作者引入了交替标记加权遗忘（ATWUs）。
- 评分器（Scorer）： ATWU 并非为每个标记学习独立的权重，而是使用一个轻量级的线性评分器 $g_w$ ，其参数为模型隐藏状态空间中的向量 $w$ 。标记的分数为 $\hat{z}_{x,t} = \sigma(\langle w, h_\theta(x_t) \rangle)$ ，其中 $h_\theta$ 是隐藏表示。
- 联合优化： 该框架优化一个松弛的连续目标函数，该函数包含保留损失、饱和负交叉熵遗忘损失 (SATGA+)、用于将分数推向二值化的熵正则项，以及一个用于控制所选标记数量的预算约束。
- 交替更新： 模型参数 $\theta$ 和评分器参数 $w$ 进行交替更新。当更新 $\theta$ 时，分数被分离（detached）；当更新 $w$ 时， $\theta$ 被冻结。这种方式通过解耦不断变化的模型几何结构与标记选择之间的反馈循环，从而稳定训练过程。

核心贡献

保留-冲突特征化： 论文通过遗忘与保留目标之间的张力，提供了对标记级遗忘特异性的理论特征描述，并证明了在自然分离条件下，联合优化可以恢复预设的遗忘特有支持集。
无监督学习标记权重： ATWU 是一个轻量级框架，它利用模型内部表示，与模型参数共同学习标记的遗忘特异性。它不需要外部的标记级监督、辅助模型或昂贵的标注。
自适应损失集成： 该方法引入了 SATGA+，这是一种得分调节的饱和负交叉熵变体，其中学习到的标记得分被注入到饱和指数中。这使得在优化的早期阶段能够实现更平滑、具备不确定性感知能力的更新。

结果
作者在两个基准测试上评估了 ATWU：TOFU（合成虚构作者传记）和 RWKU（真实世界公众人物知识）。

性能： ATWU 在遗忘质量 (FQ) 与保留退化 (RD) 平衡的指标——遗忘质量 (UQ) 上达到了最先进水平。在 TOFU 上，其 UQ 为 91.7（超过第二名 5.8 个百分点）；在 RWKU 上，其 UQ 为 58.7（超过第二名 6.8 个百分点）。
效用保持： 不同于会导致生成质量崩溃的激进遗忘方法，ATWU 能够使通用效用（通过 MMLU、重复率和成对胜率衡量）保持在接近原始检查点的水平。
标记分数质量： 与基于概率的启发式算法、辅助模型方法以及其他标记加权基准相比，学习到的标记分数在与地面真值（ground-truth）遗忘特有片段的对齐度上（通过 AUROC 衡量）显著更高。
通用性： 该框架是损失无关的；当与各种遗忘损失（如 DPO, NPO, SIMNPO）结合使用时，ATWU 始终能比其对应的无权重版本提升遗忘-保留的权衡表现。

意义与主张
论文声称，“保留冲突”为识别语言模型应该遗忘什么提供了一个有效的内在准则。通过将标记加权遗忘从外部启发式流水线转向端到端的联合优化问题，ATWU 证明了：

遗忘目标本身包含了足够的潜在信号，可以在无需外部监督的情况下恢复遗忘特有标记。
选择性遗忘的瓶颈不仅在于寻找正确的标记，还在于评分机制与遗忘目标的原则性协同设计。
可以实现可扩展、保护隐私且高度针对性的遗忘，而无需依赖往往会引入隐私风险和扩展性问题的外部标注。

作者指出了局限性，包括对标记选择预算超参数的依赖，以及对遗忘特有标记与结构性标记之间存在严格分离的假设（这在自然语言中可能仅近似成立）。此外，由于计算成本限制，目前的评估仅限于特定的基准测试和单次运行。