💬 NLP

Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning

该论文介绍了 ReRULE，一种用于基于强化学习的大语言模型遗忘（unlearning）的离策回放机制，它通过存储并复用低奖励的困难案例展开的回溯（rollouts），以提高在边界情况下的收敛性并保持质量，同时最大限度地减少额外的训练时间。

原作者： Zirui Pang, Chenlong Zhang, Haosheng Tan, Zhuoran Jin, Jiaheng Wei, Zixin Zhong

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zirui Pang, Chenlong Zhang, Haosheng Tan, Zhuoran Jin, Jiaheng Wei, Zixin Zhong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、博学多识的图书管理员（AI），他记住了数百万本书。然而，其中一些书包含着需要被遗忘的秘密——也许是受版权保护的故事或私人信息。目标是让这位图书管理员在被问及这些特定秘密时，能够说出“我不知道”，而不是让他忘记他所知道的其他一切。

这就是**AI 遗忘（AI Unlearning）**的问题。

旧方法：“策略内”（On-Policy）的挣扎

这篇论文讨论了一种称为 RULE 的方法，它试图通过一种“试错法”（强化学习）来教导图书管理员拒绝这些特定的问题。

这就像一个学生在参加模拟测试：

简单问题： 学生已经知道答案了。他们能立即答对。
难题： 这些是处于“应该知道”与“应该忘记”边缘的棘手问题。学生会不断出错或犹豫不决。

在旧方法（RULE）中，老师会一遍又一遍地向学生提问同一组问题。

问题所在： 老师浪费了大量时间在简单问题上。学生每次都能完美回答，但这并不能帮助他们学到新东西。这就像是在对着一个已经入网的篮筐练习投篮；你并没有因此变得更好。
错失的机会： 与此同时，难题（学生感到挣扎的问题）每次只会被问一次。如果学生答错了，那次尝试就会被直接丢弃，然后老师就转向下一个问题。学生永远没有第二次机会去修正那个特定的错误。

新方法：ReRULE（“重放”系统）

作者提出了一种名为 ReRULE 的新方法。他们意识到，“难题”才是最有价值的学习素材，而旧系统却把它们当作一次性的垃圾处理。

以下是 ReRULE 的工作原理，我们使用电子游戏类比：

重放缓存（“精彩集锦”）：
在训练初期，ReRULE 就像一位带着摄像机的运动教练。当学生（AI）在某个问题上挣扎并得分较低时，教练不会直接把那次尝试扔掉。相反，他们会记录下那次具体的挣扎过程，并将其保存在**“重放缓存”**（一个存放困难案例的特殊文件夹）中。
混合训练（“训练课”）：
在训练后期，与其只是提出新问题，教练会从重放缓存中提取那些保存好的“挣扎视频”。
- 他们会让学生再次面对同一个难题。
- 因为学生以前见过这个问题，所以他们可以再次尝试解决它，但这次可以采用略微不同的策略。
- 这就像教练说：“还记得你上次投篮没进吗？我们再试一次，但这次请注意你的手肘。”
结果：
计算机不再浪费时间练习它已经掌握的简单内容。相反，它将精力集中在那些处于遗忘边界附近的“困难案例”上。它重复利用这些困难的例子，直到学生最终掌握它们。

为什么这很重要（研究结果）

论文在三个不同的“图书馆”（数据集）上测试了该方法：

现实世界知识： 关于名人的事实。
受版权保护的书籍： 特别是《哈利·波特》。
虚构作者： 虚构的人物传记。

研究发现：

更好的记忆保留： 在《哈利·波特》测试中，新方法（ReRULE）在成功遗忘特定书籍细节的同时，能更好地保持图书管理员的通用知识（质量评分从 46.3 提升至 56.2）。
效率： 它并没有增加太多训练时间（仅增加了约 5–11%）。它只是更明智地利用了这些额外的时间。
“简单”的例外情况： 在一个非常简单的数据集（TOFU）上，新方法并没有产生太大帮助。这可以理解：如果所有问题都很简单，就没有可以重放的“挣扎视频”，因此该系统表现得和旧系统一样。这证明了该方法是专门为那些确实存在难题的情况而设计的。

总结

ReRULE 就像一位聪明的导师，他意识到重复简单的练习是在浪费时间。相反，他建立了一个学生最难错误的库，并强迫学生反复练习这些特定的问题，直到问题得到解决。这使得“遗忘”过程更快、更智能，并且能更好地保留 AI 的通用智能。

技术摘要：重放关键信息：面向高效 LLM 强化学习遗忘的离策重放

问题陈述

大语言模型（LLM）的知识遗忘旨在从预训练模型中移除有害知识（如受版权保护的内容、隐私信息），而无需承担全量重训练的高昂成本。近期的基于强化学习（RL）的方法（例如 RULE）将遗忘重新定义为学习一种拒绝行为：教导模型针对“遗忘集”相关的查询进行拒绝，同时保留对“保留集”和“边界集”的响应能力。

然而，作者指出 RULE 等方法在第二阶段在线策略优化（具体使用 GRPO）中存在严重的效率问题。在训练过程中，会出现显著的难易差异（hard–easy disparity）：

简单情况（Easy Cases）： 许多提示词（prompts）会迅速收敛到高奖励状态。在后续训练阶段继续采样这些提示词会产生极低的有效梯度信号（优势函数 $\approx 0$ ），但却消耗了大量的计算资源。
困难情况（Hard Cases）： 位于遗忘与保留语义边界附近的提示词在整个训练过程中往往保持低奖励。在标准的在线策略设置中，为这些困难情况生成的低奖励展开（rollouts）在一次使用后即被丢弃，尽管它们包含了关于模型失效模式的有价值信息。

这种动态导致了次优的训练效率：计算资源被浪费在已收敛的简单情况上，而困难情况却未能得到充分优化，这可能损害模型的通用能力（保留质量，Retain Quality），即在遗忘特定目标的同时保持原有功能。

方法论：ReRULE

为了解决这一问题，作者提出了 ReRULE（基于重放增强的强化学习遗忘），这是一种集成到 RULE 框架中的离策重放增强机制。

框架概述

ReRULE 保留了 RULE 的两阶段结构：

第一阶段（拒绝引导）： 在拒绝数据集上进行监督微调（SFT），以预热模型拒绝的能力。
第二阶段（拒绝边界优化）： 通过基于强化学习的优化来精炼遗忘查询与保留查询之间的边界。

ReRULE 流水线

其核心创新在于第二阶段，ReRULE 引入了一个**重放缓冲区（replay buffer）和混合训练（hybrid training）**机制：

困难情况识别与存储：
在 GRPO 训练早期，系统会监控针对每个提示词生成的展开组（rollout groups）的平均奖励。如果一组的平均奖励低于预设阈值 $\tau$ ，则将其归类为“困难情况”，并存储在重放缓冲区 $\mathcal{B}$ 中。该缓冲区累积了代表模型当前失效模式的低奖励轨迹。
混合训练（离策更新）：
一旦缓冲区包含足够数量的困难情况（ $|\mathcal{B}| \ge B_{min}$ ）且完成了预热期（ $t \ge T_{warm}$ ），ReRULE 就会激活混合训练机制。在每个步骤中，它执行：
- 标准在线策略更新： 使用来自当前策略 $\pi_\theta$ 的新鲜样本进行标准的 GRPO 更新。
- 离策重放更新： 使用从重放缓冲区 $\mathcal{B}$ 中抽取的样本进行额外的梯度更新。
重要性采样：
为了纠正生成存储展开的策略（ $\pi_{\theta_{old}}$ ）与当前策略（ $\pi_\theta$ ）之间的分布偏移，ReRULE 采用了重要性采样。离策梯度的计算方式为：
$\nabla_\theta J_{off}(\theta) = \mathbb{E}_{g \sim \mathcal{B}} \left[ \mathbb{E}_{y \sim \pi_{\theta_{old}}} \left[ \tilde{\rho}(y|x) \nabla_\theta \log \pi_\theta(y|x) \hat{A}(x, y) \right] \right]$
其中 $\tilde{\rho}(y|x)$ 是经过裁剪和归一化的重要性权重。这使得模型能够在无需进行昂贵的新采样的情况下，对困难情况进行重新训练。

核心贡献

识别训练低效性： 本文通过实验证明，LLM 遗忘中的在线 GRPO 存在收益递减（针对简单情况）和利用不足（针对困难情况）的问题，这种“难易差异”阻碍了收敛。
提出 ReRULE： 作者引入了一种离策重放机制，通过存储低奖励的困难情况展开并利用重要性采样进行重用。这使计算重点转向了需要进一步优化的边界情况。
理论分析： 作者提供了理论证明，表明与纯在线策略的 RULE 相比，ReRULE 对困难情况具有更紧致的收敛界限。通过增加困难区域有效训练 Token 的数量（ $N_{H}^{ReRULE} = N_{H}^{on} + \eta_\rho N_{H}^{off}$ ），该方法降低了困难区域的探索误差。
实验验证： 在三个基准测试（RWKU、MUSE-Books、TOFU）上的广泛实验验证了该方法的有效性。

实验结果

作者在三个数据集上将 ReRULE 与包括 GA、NPO、SimNPO 和原始 RULE 在内的基准方法进行了对比评估：

MUSE-Books（版权内容遗忘）： 该设置涉及《哈利·波特》内容，具有较高比例的困难情况。ReRULE 显著提升了保留质量（Retain Quality），从 46.3 (RULE) 提高到 56.2，同时保持了顶尖的遗忘质量（Forget Quality）。训练时间仅增加了 5–11%（从 6.8 小时增至 7.1 小时）。
RWKU（现实世界知识）： ReRULE 实现了最佳的遗忘质量，并在遗忘自然度（Forget Naturalness）和保留质量方面保持了前二的性能，在处理困难情况的效率上优于 RULE。
TOFU（实体遗忘）： 在此设置下，遗忘集较小且通常较容易（困难情况较少）。ReRULE 相比 RULE 的提升有限，作者认为这证明了重放机制在存在显著难易差异时最为有效。
消融研究：
- 将困难情况选择替换为随机存储会导致性能退化至标准 RULE 的水平，证实了针对“困难”情况进行存储的重要性。
- 改变阈值 $\tau$ 的实验表明，设置过高（包含较易情况）会降低效率，而最优设置（对于 MUSE 为 0.4）平衡了选择性和缓冲区大小。

重要性与主张

本文声称 ReRULE 提供了一种高性价比的强化学习遗忘增强方案。通过回收来自困难情况的“失败”展开，它提高了遗忘后模型的保留质量——这是遗忘任务中经常受到损害的关键指标——且无需进行全量重训练或消耗大量额外计算资源。

作者强调，该方法是有条件的：其益处在存在显著提示词难易差异的情景下（如 MUSE-Books）最为明显。在较简单的设置中（如 TOFU），增益很小，这支持了重放机制专门针对未充分优化之困难情况的假设。这项工作将 ReRULE 定位为实现更高效、更鲁棒的机器遗忘（特别是在保留通用模型效用的同时移除特定有害知识方面）的实用步骤。