🤖 machine learning

De-attribute to Forget for LLM Unlearning

本文介绍了 DareU，一种新颖的大语言模型遗忘框架，它利用强化学习将遗忘集的归因分数清零，从而与现有的基于损失的优化方法相比，有效地缓解了过度遗忘并保留了模型的效用。

原作者： Xinyang Lu, Jiabao Pan, Rachael Hwee Ling Sim, See-Kiong Ng, Anthony Kum Hoe Tung, Bryan Kian Hsiang Low

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyang Lu, Jiabao Pan, Rachael Hwee Ling Sim, See-Kiong Ng, Anthony Kum Hoe Tung, Bryan Kian Hsiang Low

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博学多才的图书管理员（即大语言模型，LLM），他读过数百万本书籍来学习如何回答问题。最近，几位作者（“遗忘集”）意识到他们不想让自己的特定书籍留在图书馆里了。他们要求管理员“忘掉”他们的故事，以便这些故事不再被讲述或引用。

问题在于，这位管理员规模如此庞大，读过的书也如此之多，以至于你不能直接解雇他并重新雇佣一个从未读过这些书的新人。那将耗费数百万美元并花费数年时间。因此，你需要一种方法让这位管理员“忘掉”那些特定的书，而不至于丧失讲述其他所有故事的能力。

旧方法：“焦土政策”

以前的方法试图通过不断对管理员大喊：“别说这个！别说这个！”来让他忘记。他们试图在管理员试图谈论这些特定书籍时，最大化“错误得分”。

问题所在： 这种方法过于激进。这就像是告诉管理员：“如果你提到‘苹果’这个词，你就必须说一些完全荒谬的话，比如‘紫色香蕉’！”

过度遗忘： 管理员变得如此害怕提到那些禁忌的书籍，以至于他们在谈论像“橙子”这样无关的话题时，也会开始胡言乱语。
困惑： 目标并不明确。管理员应该说“我不知道”吗？还是应该说“香蕉”？旧方法没有一个精确的目标，所以管理员经常会崩溃并开始说些毫无意义的话。

新方法：DareU（“归因侦探”）

这篇论文介绍了一种名为 DareU 的新方法。它不再是通过大喊“别说它！”，而是彻底改变了目标。它提出了一个不同的问题：“这个故事的作者是谁？”

你可以这样理解：

归因得分： 想象管理员讲述的每一个故事都附带了一个微小的、隐形的标签，上面写着：“这个故事的灵感来自作者 X。”
目标： 遗忘的目标不是让管理员停止说话，而是要确保当他们谈论那些被遗忘的书籍时，标签不再显示“作者 X”。它应该显示为“无人”或“其他人”。
奖励机制： 论文使用了一种强化学习技术（类似于用零食训练狗）。
- 如果管理员讲了一个故事，而“归因侦探”（一个小型、快速的 AI 分类器）说：“嘿，这听起来像是出自作者 X 之手，”那么管理员就会受到惩罚（负奖励）。
- 如果管理员讲了一个故事，而侦探说：“这听起来一点也不像作者 X，”那么管理员就会得到奖励（正奖励）。

实际运作方式

系统首先训练一个小型、快速的“侦探”AI。这个侦探学会了识别“遗忘”作者的风格。然后，主管理员（大型 LLM）开始玩游戏：

它尝试回答问题。
侦探检查答案。
如果答案仍然带有“遗忘”作者的气息，管理员就会受到惩罚。
管理员会调整其大脑，停止产生带有该作者气息的答案，但它会努力保持答案的合理性和对大众的帮助。

为什么这种方法更好

论文声称这种方法解决了“胡言乱语”的问题。

精准度： 这种方法不是强迫管理员说“我不知道”或“香蕉”，其目标仅仅是移除“作者 X”这个标签。管理员仍然可以讲述关于该主题的精彩故事，只是不会再将其与想要被遗忘的人联系起来。
平衡性： 旧方法经常破坏管理员谈论其他事物（“保留集”）的能力（DareU 使用了一种特殊的“蒸馏”技巧来提醒管理员：“嘿，在忘记这个人的同时，别忘了如何谈论其他作者。”）

结果

研究人员在两个不同的“图书馆”（数据集）上测试了该方法：

TOFU： 一组虚构的琐事问题。
ArXiv： 一组科学论文摘要。

他们发现 DareU 在移除“遗忘”作者的影响力方面表现得更好，且不会让管理员变成一个胡言乱语的机器。它实现了更好的平衡：管理员成功地“忘记”了特定的作者（低归因得分），但对于其他人来说仍然保持聪明且有用。

局限性

论文承认，这种新方法比旧的“大喊”方法需要更多的计算能力和时间。这就像是雇佣一名侦探来检查每一个答案，而不是仅仅对着管理员大喊。然而，论文认为这种权衡是值得的，因为其结果是一个更聪明、更可靠的管理员，在被要求忘记某些事情时不会崩溃。

简而言之： 该方法不是强迫 AI 停止谈论某个话题（这会导致它结巴和胡言乱语），而是教 AI 以一种不再听起来像是出自那位想要被遗忘的人之手的方式来谈论该话题。

技术摘要：用于大语言模型遗忘的去归因技术 (DareU)

1. 问题陈述

大语言模型（LLM）的快速部署加剧了对不当训练数据（包括知识产权侵权、隐私信息和有害内容）的担忧。诸如 GDPR 和 CCPA 等法规强制执行“被遗忘权”，要求从已训练的模型中移除特定数据的影。虽然从头开始重新训练模型是理想的解决方案，但考虑到现代 LLM 和数据集的规模，这种做法在计算上是难以承受的。

现有的机器遗忘方法主要依赖于基于预测损失的优化，通常采用梯度上升（Gradient Ascent, GA）来最大化“遗忘集”（即要移除的数据）的损失。本文指出这些方法存在两个关键局型限制：

过度遗忘与模型崩溃： 盲目地最大化损失或最小化对数似然往往会导致生成不连贯、无意义的乱码，而不是产生一个仅仅是忽略遗忘集、但仍保持功能的模型。
不一致的优化目标： 一个完美遗忘后的模型，其目标损失值在不同个体数据样本之间是变化的（如重新训练模型的对数似然变化所示）。因此，最大化损失并不能提供一个一致且精确的目标，往往会损害“保留集”（即应当保留的数据）上的性能。

核心问题在于：是否存在一种更精确的优化目标，既能避免过度遗忘，又能有效地移除数据影响？

2. 方法论：DareU 框架

作者提出了 DareU（基于数据归因的强化学习用于遗忘），这是第一个将 LLM 遗忘建模为数据去归因（data de-attribution）问题而非预测损失最小化问题的框架。

核心概念：数据去归因

与其最大化预测损失，DareU 的目标是降低 LLM 生成响应对遗忘数据所有者的归因得分。

归因函数： 函数 $DA(i, y_d)$ 分配一个归一化的分数 $\in [0, 1]$ ，表示数据所有者 $i$ 的数据集影响生成内容 $y_d$ 的可能性。
目标： 对于属于所有者 $F$ 的遗忘集 $D_F$ ，目标是最小化期望归因得分：
$\min_{\theta} \mathbb{E}_{i \in F} [\mathbb{E}_{d \sim D_i} (DA(i, y_d))]$
理想情况下，在遗忘后，遗忘数据的归因得分应接近 0，而模型仍可归因为保留集的所有者。这为所有样本提供了一个一致的目标值（0），并避免了偏向崩溃、无意义的输出。

通过强化学习 (PPO) 实现

由于归因函数提供标量反馈，它们可以自然地作为强化学习（RL）的奖励模型。作者采用**近端策略优化（PPO）**来对齐 LLM：

奖励信号： 奖励由归因得分导出。为了提高稳定性，通过基于对数的函数 $\chi$ 对得分进行转换，将概率映射到 $[-1, 0]$ 范围，其中较低的归因得分对应较高的奖励。
高效奖励计算： 为了避免为每个 token 调用归因函数带来的高昂计算成本，归因得分每隔 $\kappa$ 个 token 计算一次，并广播给中间的 token。同时计算前缀平均基础奖励以降低方差。
蒸馏正则化： 为了保持模型在保留集（ $D_R$ ）上的效用，引入了蒸馏正则化项。该项通过最小化当前遗忘策略与原始策略在保留集上的 KL 散度，防止对非遗忘数据的灾难性遗忘。
归因分类器 ( $D_{Ac}$ )： 考虑到理想的归因函数（如 Leave-One-Out, Shapley values）计算成本极高，作者训练了一个轻量级的 LLM 分类器（使用 LoRA）来预测生成响应的数据所有者。该分类器在遗忘过程前进行离线训练，并在 PPO 过程中保持冻结。

3. 主要贡献

新颖的优化目标： 本文引入了数据去归因作为 LLM 遗忘的精确目标，解决了基于预测损失的方法中存在的不一致性和不稳定问题。
DareU 框架： 作者提出了第一个利用数据归因奖励在 PPO 设置下进行遗忘的框架。它有效地平衡了遗忘质量（移除影响）与模型效用（保留保留集性能）之间的权衡。
实证验证： 大量实验表明，DareU 在实现有效遗忘的同时，不会显著降低模型效用或产生不连贯文本，其表现优于现有基准方法（包括 GA, GDiff, SCRUB 以及基于偏好优化的方法如 IDK 和 NPO）。

4. 实验结果

该框架在 TOFU（问答）和 ArXiv（文本补全）两个基准测试上进行了评估，使用了 Llama2-7B 和 Qwen3-8B 模型。

遗忘有效性： 在两个数据集上，DareU 实现的 DF（遗忘集）ROUGE 分数最接近“重新训练”这一金标准，表明其具有卓越的遗忘质量。
模型效用： 与经常出现过度遗忘（低 DR ROUGE）的梯度上升（GA）和 GDiff 不同，DareU 在保留集（ $D_R$ ）和测试集（ $D_{test}$ ）上均保持了较高的 ROUGE 分数。
平衡性 (ToW 分数)： DareU 获得了最高的 拔河 (ToW) 分数，该指标综合了遗忘集、保留集和测试集中遗忘模型与重训练模型之间的差距。这证实了 DareU 比任何基准方法都能更好地平衡遗忘质量与效用。
鲁棒性：
- 减少乱码： 与 GA 和 SCRUB 相比，DareU 产生的无意义/乱码响应显著减少。
- 对抗鲁棒性： 该方法对于改写后的遗忘查询以及遗忘集与保留集之间的语义重叠保持有效。
- 分类器准确率： 即使在人工降低归因分类器准确率的情况下，该框架依然保持稳健。
效率： 虽然由于 RL 生成过程，DareU 的计算成本高于简单的预测损失方法，但它比全量重新训练要高效得多，且与二阶优化方法（如 SCuReNewton）相当。

5. 重要性与主张

本文声称 DareU 提供了一个更精确、更稳定的 LLM 遗忘优化视角。通过将重点从“最大化误差”转向“归零归因”，该方法避免了梯度上升方法中固有的模型崩溃和目标不一致的陷阱。

作者强调，尽管他们使用了轻量级分类器作为高效近似，但核心贡献在于去归因目标本身。他们断言，这种方法为所有遗忘样本提供了一个一致的目标（得分 0），这在理论上优于基于损失的变量目标。

承认的局限性：

计算成本： DareU 比简单的微调或 GA 更耗费计算资源，但它为更好的性能提供了合理的权衡。
对归因的依赖： 该方法需要访问训练数据（或其子集）来训练归因分类器，这可能会限制其在无法获取此类数据的预训练数据移除场景中的应用。
近似性： 使用分类器是一种近似手段；未来的工作可以集成更准确或更高效的归因函数以进一步提升性能。

总之，本文将 DareU 定位为一种有效的解决方案，它能在移除数据影响的同时保留 LLM 的效用，从而在无需承担高昂重训练成本的情况下遵循“被遗忘权”。