🤖 machine learning

Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning

本文引入了一种用于强化学习遗忘（Reinforcement Unlearning）的有原则的奖励分解框架，该框架通过使用分级的指数函数和受 PageRank 启发的函数取代稀疏的二元奖励，证明了这些设计在显著加速特定知识遗忘的同时，能够保持模型的通用效用。

原作者： Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你构建了一个巨大的、超级聪明的机器人大脑，通过喂食整个互联网来训练它。它非常擅长写故事、解决数学问题以及聊任何话题。但有一个问题：有时，它会记住一些不该记住的东西，比如一位名人的私人家庭住址，或者它本不该知道的受版权保护的书籍情节。在现实世界中，像 GDPR 这样的法律赋予了人们“被遗忘权”，这意味着人们可以要求删除其数据。以前修复这个问题的方法是删除错误数据并从头开始重建整个机器人，这就像为了拆掉一块裂掉的砖而拆掉整座摩天大楼一样。这种方式缓慢、昂贵且浪费。科学家们现在正尝试教机器人“忘记”特定的事实，而不破坏它的其他技能。为了实现这一点，他们使用了一种叫做“强化学习”的技术，这就像训练一只狗：当它做得对时，你给它奖励（零食）；当它出错时，你什么都不给。目标是让机器人忘记禁止的信息，同时保持其通用的智能水平。

你即将阅读的论文探讨了这种“训狗”方法中的一个特定问题。目前，机器人的训练使用的是一种非常粗糙的奖励系统：一个简单的“是/否”信号。如果机器人不小心提到了那个禁忌的名字，它就会得到零分。如果它没提，它就得到一分。这就像一位老师告诉学生：“你的答案错了，”却没解释错在哪里，或者离正确答案还有多远。这使得学习过程变得缓慢且令人沮挫，因为机器人不知道自己是在进步还是仅仅在瞎猜。这项研究的作者 Efstratios Zaradoukas 及其团队提出了一个简单的问题：“如果我们给机器人一个更好的评分标准呢？”他们没有采用单纯的及格/不及格制，而是尝试给它一份详细的报告，显示它犯了多少错误以及这些错误的严重程度。他们测试了两种新的评分方式：一种是惩罚力度随错误次数增加而加重的（类似于“连胜终结者”），另一种则像是一场“人气竞赛”，其中忘记主要名人比忘记他们的次要角色更为重要。

他们在名为 RWKU 的标准基准测试上进行的实验表明，这些更聪明的评分系统效果更好。团队发现，通过使用这些“分级”奖励，机器人忘记禁忌信息的速度比旧的“是非题”方法快了多达三倍。这就像机器人从在黑暗中蹒跚前行，变成了拥有了一把能照亮障碍物位置的手电筒。至关重要的是，机器人并没有失去做其他事情的能力；它只是变得更擅长忘记那些被告知要忘记的特定事物。作者展示了我们设计这些奖励的方式是使机器卸载（unlearning）变得高效且实用的关键要素，为实现更清洁、更负责任的 AI 提供了一条路径，而无需每次都从头开始。

“健忘型”机器人的故事

问题所在：钝棒
想象一下，你正在教一只鹦鹉停止说某个特定的词，比如“香蕉”。在旧方法（论文中称为“二元奖励”）中，只有当鹦鹉从未说过这个词时，你才会鼓掌。如果它说了一次“香蕉”，你保持沉默。如果它说了十次，你依然保持沉默。鹦鹉完全不知道自己是否正在接近目标，或者是否和之前一样糟糕。这是一个“稀疏”信号——它能从中学习的信息非常少。论文认为，这就是为什么目前的 AI 卸载速度缓慢的原因；AI 正在黑暗中盲目猜测。

解决方案：分级评分卡
作者提出了两种新的“鼓掌”（或不鼓掌）方式，能给鹦鹉提供更好的反馈。

“指数型”奖励（连胜计数器）：
想象一下，鹦鹉在一个句子中说了三次“香蕉”。旧方法会给它零分。新的“指数型”方法会说：“好吧，你说了三次，所以你的分数有点低，但不是零。”如果它说了一次，分数很高但不完美。如果它说了十次，分数会剧烈下降。这给了 AI 一条平滑的反馈曲线。这就像玩电子游戏，当你受到攻击时，你的血条会逐渐下降，而不是在受到一次攻击后立即消失。这有助于 AI 理解它需要改进到什么程度。
“PageRank”奖励（重要性地图）：
这是最聪明的部分。想象一下，禁忌词不仅仅是“香蕉”，而是一个与著名作家（如斯蒂芬·金）相关的完整列表。列表包括“斯蒂芬·金”、“闪灵”、“站立”、“凯莉”。

旧方法对所有这些词一视同仁。忘记“斯蒂芬·金”和忘记“站立”一样容易。
新的“PageRank”方法观察它们之间的联系。“斯蒂芬·金”是主角；“闪灵”是他最著名的书。如果 AI 忘记了“斯蒂芬·金”，那是一个巨大的胜利。如果它忘记了“站立”，这很好，但没那么关键。
论文使用一个图（连接图）来确定哪些词是“老板”，哪些是“小弟”。如果 AI 忘记了“老板”但仍提到“小弟”，它会受到更大的惩罚；如果它忘记了“小弟”但还记得“老板”，惩罚则较小。这就像一位老师更在意你是否记住了故事的大意，而不是某个次要角色的名字。

结果：更快、更聪明
团队在一个拥有 38 亿参数的语言模型（一个非常聪明但并非最大的 AI）上测试了这些想法，使用了名为 RWKU 的基准测试。以下是他们的发现：

速度： 新方法使 AI 忘记目标信息的速度比旧的二元方法快了 3 倍。在论文的图表中，“PageRank”方法达到与旧方法相同的遗忘水平仅用了 500 步，而旧方法则需要 1,500 步。
质量： AI 不仅忘记得更快，而且忘记得更好。“PageRank”方法在针对最重要的事实方面表现尤为出色。
副作用： 在 AI 卸载中，一个主要的担忧是 AI 可能会忘记所有事情，甚至是好的东西（比如如何做数学或写诗）。论文显示，这些新的奖励方法使 AI 的通用技能（如推理和流畅度）几乎与之前完全相同。其“效用”得分并未下降。

他们排除了什么
论文还测试了一些变体以观察哪种效果最好。

他们发现，如果“指数型”奖励过于严格（就像二元奖励那样），它就无法发挥良好效果。
他们尝试了不同的方式来分布“PageRank”分数。他们发现，仅仅均匀地分布分数（线性方式）不如使用“Softmax”方法有效，后者能温柔地压缩分数，使得最重要的项目仍然获得最多的关注，而不太重要的项目也受到一点点惩罚。
他们确认，你不需要知道原始训练数据就可以进行此操作；你只需通过观察 AI 说的话即可验证奖励。

总结
论文表明，让 AI 高效忘记事物的秘诀不仅在于卸载算法的数学逻辑，还在于奖励的设计。通过从简单的“及格/不及格”系统转向理解不同事实重要性的细致的分级系统，我们可以教 AI 比以前更快、更有效地忘记特定记忆。这只是改变了我们向机器人“鼓掌”的方式，但它让机器人能在极短的时间内学会遗忘。

技术摘要：超越二元奖励：强化学习遗忘中奖励设计的比较研究

问题陈述

机器遗忘（Machine Unlearning, MU）旨在从已训练的大型语言模型（LLMs）中选择性地移除特定知识（例如个人数据、受版权保护的内容），而无需承担重新进行全量训练的高昂成本。随着 GDPR 和《欧盟人工智能法案》等法规的实施，这种能力正变得日益重要。

最近的方法将遗忘过程重新表述为强化学习可验证奖励（Reinforcement Learning with Verifiable Rewards, RLVR）问题，特别是利用了组相对策略优化（Group Relative Policy Optimization, GRPO）。在该框架下，模型针对直接从其输出中计算出的奖励进行优化，以验证是否存在禁忌概念。然而，现有方法（如 PURGE）依赖于稀疏的二元奖励（sparse binary rewards）。这些奖励仅在生成内容中不包含任何禁忌项时提供 1 的信号，否则提供 0。这种稀疏性产生了一个充满噪声的训练信号，无法向模型提供关于其部分响应距离成功实现遗忘还有“多远”的梯度信息。这一局限性成为了将强化学习遗忘（Reinforcement Unlearning, RUL）扩展到更复杂任务的瓶颈，导致收敛速度缓慢。

方法论

作者提出了一个原则性的框架，旨在将**可验证性（verifiability）与稀疏性（sparsity）**解耦。他们认为，一个奖励可以在不访问原始训练数据的情况下保持完全可验证，同时仍能提供密集且具有信息量的信号。

1. 奖励分解框架

论文引入了一个通用的奖励结构，定义为 $\phi(y; F, \psi) = \Gamma(I(y; F, \psi); H)$ ：

信息组件 ( $I$ )： 从禁忌匹配算子（统计禁忌项出现的次数）和辅助侧边信息（例如语义图）中提取数据。
转换函数 ( $\Gamma$ )： 将提取的信息映射到奖励范围 $[0, 1]$ 。
假设： 通过改变信息组件和转换方式，可以在不牺牲可验证性的前提下，创建更密集的学习信号。

2. 提出的奖励函数

作者利用该框架实例化了两种新的奖励函数，它们在“信息层级（Information Hierarchy）”中高于标准的二元奖励：

指数奖励 (Exponential Reward)：
- 机制： 使用禁忌概念出现的总次数 ( $m$ ) 作为信息组件。
- 公式： $\phi_{exp}(y) = \exp(-m/\tau)$ ，其中 $\tau$ 是一个衰减常数。
- 效果： 提供分级的惩罚。它不再是二元的 0/1，而是随着违规次数的增加而平滑下降，从而比二元基准提供更密集的信号。
受 PageRank 启发的奖励 (PageRank Inspired Reward)：
- 机制： 利用禁忌概念之间的语义关系。它构建了一个语义图，其中节点是遗忘项，边代表语义相似度（通过嵌入的余弦相似度表示）。
- 公式： 应用个性化 PageRank 算法，向主要目标实体倾斜，以计算每个项的重要性权重 ( $w_j$ )。该奖励根据这些权重对违规行为进行惩罚。
- 效果： 对语义中心概念（例如目标实体本身）的违规行为施加更高的惩罚，而对外围关联项的违规行为惩罚较轻。这创造了一个引导优化过程优先处理最具信息量违规行为的信号。

3. 理论分析

论文提供了 GRPO 下收敛速度的理论分析。它指出，与二元奖励相比，更密集的奖励能维持更稳定的优势估计（较低的优势项 $\hat{A}$ 方差）。

二元奖励： 在成功概率趋近于 0 或 1 时，会遭受“优势坍缩（advantage collapse）”，导致梯度消失。
密集奖励： 在整个训练过程中保持奖励分布的非零方差，从而实现更大的有效步长和更快的收敛。

实验设置

基准测试： 真实世界知识遗忘（Real World Knowledge Unlearning, RWKU），用于评估对 100 个真实世界著名人物的遗忘情况。
模型： Phi-3-Mini-4K-Instruct (3.8B 参数)。
基准线 (Baselines)：
- Base： 遗忘前的原始模型。
- Binary (PURGE)： 标准的稀疏二元奖励。
指标：
- Forget（遗忘）： 在填空（FB）、问答（QA）和对抗攻击（AA）上的 ROUGE-L 回召率。数值越低越好。
- Neighbor（邻近）： 对目标相关联知识的保留程度。数值越高越好。
- MIA： 成员推理攻击（Membership Inference Attack）得分（隐私性）。
- Utility（效用）： 通用能力（MMLU、推理、真实性等）。数值越高越好。

关键结果

实验在 20 个遗忘目标上进行了 1,500 个训练步长的测试。

收敛速度： 两种提出的奖励在训练效率方面均显著优于二元基准。
- PageRank Softmax 变体达到与二元基准相同的遗忘性能水平所需的训练步数减少了约 3 倍。
- 在第 500 步时，PageRank Softmax 实现了比 Base 模型 37.1% 的提升，而二元基准直到第 1,500 步才达到该阈值。
遗忘性能：
- PageRank Softmax 在所有指标（FB, QA, AA）上都取得了最强的遗忘得分，始终优于二元和指数衰减基准。
- Exponential Decay（指数衰减） 也优于二元基准，但通常不如 PageRank 有效。
效用与邻近知识保留：
- 至关重要的是，性能的提升并未以牺牲通用模型效用或邻近知识保留为代价。效用指标（GA, RA, TRU, FAC, FLU）在所有奖励设计中保持稳定，相对于 Base 模型的变化最多仅为 0.014。
- 邻近得分在所有方法中表现出统一的退化，表明这种权衡是由优化目标本身驱动的，而非特定的奖励设计。
消融实验：
- Exponential Decay： 衰减常数 $\tau$ 至关重要。研究发现 $\tau=0.5$ 是最优值，平衡了梯度信息量和优化压力。 $\tau$ 太小（ $\le 0.1$ ）会退化为接近二元的稀疏性； $\tau$ 太大（ $\ge 1.0$ ）则过于宽松。
- PageRank 变体： Softmax 变体（对原始 PageRank 分数应用温度缩放的 Softmax）优于标准 PageRank 和线性（Linear）变体。Softmax 有效地平滑了权重的幂律分布，在保留语义顺序的同时更均匀地分配了惩罚质量，而线性缩放则引入了失真。

意义与主张

论文声称，奖励设计是强化学习遗忘框架内驱动遗忘效率的关键因素。

理论贡献： 它形式化了奖励归纳偏置（inductive bias）与优化速度之间的权衡，证明了可验证性并不一定意味着稀疏性。
实际影响： 通过引入指数奖励和 PageRank 奖励，作者为实现可扩展且高效的机器遗忘提供了一条切实路径。结果表明，精心设计的奖励可以将遗忘过程加速高达 3 倍，同时保持强大的遗忘性能并保留通用的模型效用。
未来方向： 这项工作为开发在不访问原始训练数据的情况下仍保持可验证性的自适应奖励开辟了方向，表明可以进一步探索奖励的“信息层级”。

作者得出结论，超越二元奖励不仅仅是一个实现上的微调，更是学习信号结构的根本性改进，使得 RUL 能够扩展到更难的遗忘任务。