🤖 machine learning

Normalized Rewards for Preference Optimization

本文提出了一种针对 DPO 和 SimPO 等直接对齐算法（DAAs）的基于归一化的正则化技术，旨在缓解过度优化和似然崩溃问题，并证明该技术通过稳定标记级概率分布，显著提升了生成质量和通用基准性能。

原作者： Shawn Im, Federico Danieli, Skyler Seto, Barry-John Theobald, Katherine Metcalf

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Shawn Im, Federico Danieli, Skyler Seto, Barry-John Theobald, Katherine Metcalf

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常有天赋但又有点混乱的机器人如何写故事。你不想让它只是死记硬背你最喜欢的书；你希望它能理解你为什么喜欢这些书，这样它才能写出感觉同样棒的新故事。这就是人工智能中“对齐”（alignment）的世界。科学家们使用一种叫做“偏好优化”（preference optimization）的过程来教这些机器人。他们向机器人展示两个不同的答案——一个好的，一个坏的——并让它学习去选择那个好的。最流行的方法就像是在玩一场“热与冷”的游戏，机器人的得分取决于它的答案与人类偏好有多接近。

然而，这里有一个棘手的问题。有时，由于过于渴望取悦人类，机器人会变得过于兴奋。它开始以一种奇怪的方式改变其内部的“词汇表”，使得它本该使用的词汇感觉不再自然，尽管它在游戏中表现得越来越好。这就像一个学生，为了拿 A 而开始使用一种奇怪且过度复杂的方言，虽然他在技术上答对了，却让所有人感到困惑。这篇论文研究了为什么会发生这种情况，并提供了一条新的规则来让机器人保持接地气，确保它在学习变得有帮助的同时，不会失去原有的个性或编造出奇怪且有害的答案。

机器人的过度自信问题

这篇论文关注的是一种特定类型的机器人训练方法——直接对齐算法（Direct Alignment Algorithms, DAAs），其中最著名的是 DPO。把 DPO 想象成一位教练，它会对机器人说：“你在这一题的表现比那一题要好”，而不需要一个单独的裁判来评分。这种方式既高效又流行。但作者们注意到了一些奇怪的现象：机器人正在变得“过度优化”。

想象一下你在玩一款收集金币的电子游戏。游戏告诉你：“多收集金币！”于是，你开始疯狂地奔跑，忽略了墙壁、敌人和实际的路径。最终，你可能会因为太专注于金币而忘记了世界的运作规律，从而掉出地图。在机器人的案例中，它如此专注于最大化它的“奖励”（即选择正确答案的分数），以至于它开始扭曲它对概率的理解。它会同时降低说“好词”和“坏词”的概率，这听起来很奇怪，但实际上这会让机器人更有可能说出一些它从未见过的东西——有时是危险或荒谬的东西。这被称为“似然位移”（likelihood displacement）。

解决方案：一个“全概率”规则

作者提出了一个简单但强大的修复方法：一个名为**归一化奖励（Normalized Rewards）**的新规则。

为了理解这一点，请想象一个披萨。整个披萨代表了机器人所有可能回答的 100%。当机器人进行常规训练时，它可能会决定让“好切片”和“坏切片”都变小，这意味着“未知切片”（机器人尚未见过的部分）正在变大。这是很糟糕的，因为机器人可能会开始提供那些奇怪的未知切片。

作者建议在训练中加入一个“正则化项”。把它想象成一个严格的披萨厨师，他会说：“嘿，你谈论的这些切片（好的答案和坏的答案）的总大小必须保持不变。”如果机器人试图过度缩小“好切片”，厨师会强迫它也相应地缩小“坏切片”，以保持总体的平衡。这能阻止机器人无意中膨胀那些奇怪的、未知的切片。

他们的发现

研究人员在两种不同类型的机器人上测试了这个新规则：一种是使用参考指南的机器人（DPO），另一种是不使用参考指南的机器人（SimPO）。以下是他们的发现：

更好的平衡： 通过保持总概率平衡，机器人在变得更有帮助的同时，并没有失去其通用的智能。在一项衡量机器人遵循指令能力的测试（AlpacaEval2）中，使用新规则的 Llama-3.1-8B-Instruct 模型比使用旧方法实现了超过 20% 的相对增长。
保留通用技能： 通常，当机器人变得非常擅长遵循指令时，它们在通用知识（如数学或科学）方面会变差。但有了这个新规则，机器人的通用基准测试表现也提升了，增幅超过 9%。
“离群值”罪魁祸首： 作者深入挖掘以寻找旧方法失效的原因。他们发现，问题并不是发生在机器人的整个大脑中。它集中在极少数“离群值”词汇上——即那些机器人几乎不了解的罕见、奇怪的标记（tokens）。这些极少数的词汇承担了破坏概率的重任。新规则专门针对这些低似然度的词汇，温柔地将它们推回正常状态，以免它们扰乱整个系统。

结论

论文指出，机器人变得“疯狂”的原因在于它们没有被强制要求保持其概率数学的严谨性。通过添加一个简单的规则来保持它们所看到的答案的总似然度稳定，机器人可以在学习遵循人类偏好的同时，不破坏自身的内部逻辑。

作者发现，这种方法对于使用参考指南和不使用参考指南的机器人都有效。他们表明，这种方法不仅能阻止不良行为，还能帮助机器人在现实任务中表现得更好。虽然他们并不声称这解决了 AI 的所有问题，但他们的实验表明，保持“披萨切片”的平衡是迈向开发既聪明又安全的 AI 的关键一步。

技术摘要：偏好优化中的归一化奖励

问题陈述

直接对齐算法（DAAs），如直接偏好优化（DPO）和 SimPO，由于其相比于基于人类反馈的强化学习（RLHF）具有更高的计算效率，已成为使大语言模型（LLMs）与人类偏好对齐的标准方法。然而，近期的研究发现了一个关键局限性：DAAs 经常会出现其隐式奖励模型的过度优化问题。

这种问题的首要表现形式是似然位移（likelihood displacement），即在训练过程中，偏好响应和非偏好响应的似然度同时下降。这是因为标准的 DAA 目标函数（DPO、SimPO）优化的是响应对之间的奖励差异，导致配分函数 $Z(x)$ 在数学上被抵消了。因此，模型并无动力去维持对整个响应空间总概率质量的校准估计。这种缺乏归一化的现象会导致伪造的概率偏移，特别是对于“未见”响应（即不在训练对中的响应），这可能导致不可取的或有害的行为。

现有的关于过度优化的假设——例如响应对之间的高嵌入相似性或正则化不足——无法同时推广到基于参考（如 DPO）和无参考（如 SimPO）的方法中。此外，先前的分析往往关注单个 DAA 实例，而非共享的归一化机制。

方法论

作者提出，奖励过度优化源于隐式奖励缺乏归一化。为了应对这一问题，他们引入了一个正则化项，旨在保持偏好对中选中响应（ $y_w$ ）和拒绝响应（ $y_l$ ）的总长度归一化概率质量。

正则化项

核心洞察在于，对于应用 Softmax 的参数化语言模型，输出分布在整个训练过程中应保持归一化（配分函数 = 1）。由于估计所有可能响应的完整配分函数是不可行的，作者通过对已见响应进行归一化来实施约束。

他们定义了一个正则化惩罚项 $R(\pi_\theta, \pi_{ref}, x, y_w, y_l)$ ：
$R = \lambda \left( \log \frac{\bar{\pi}_\theta(y_w|x) + \bar{\pi}_\theta(y_l|x)}{\bar{\pi}_{ref}(y_w|x) + \bar{\pi}_{ref}(y_l|x)} \right)^2$
其中：

$\bar{\pi}$ 表示长度归一化概率（以减轻长度偏差）。
$\lambda$ 是一个超参数。
该项最小化了当前模型与参考模型分配给该对的总概率质量的对数比平方。

该惩罚项被添加到标准目标函数中：

N-DPO: $L_{N-DPO} = L_{DPO} + R$
N-SimPO: $L_{N-SimPO} = L_{SimPO} + R$

机制分析

论文提供了该正则化项的理论梯度分析。正则化项对模型参数 $\theta$ 的梯度与单个 Token 的似然度成反比。

离群 Token（Outlier Tokens）： 分析表明，似然位移是由极少数具有极低似然度的离群 Token 驱动的。这些 Token 主导了梯度更新。
缓解措施： 当总响应概率下降时，正则化项会产生梯度，主要增加这些低似然度离群 Token 的似然度。这重塑了奖励分布，防止了与位移相关的大规模伪造概率下降，同时对与生成相关的的高似然度 Token 做出极小的改变。

核心贡献

识别归一化缺陷： 作者阐明了由于无法考虑未见响应的分布（由于标准目标函数中配分函数的抵消），如何导致了似然位移。
机制解释： 他们将似然位移与概率偏移向离群 Token 集中进行的联系起来，并通过梯度分析证明了他们的正则化项通过利用低似然度 Token 来减轻这些偏移。
新颖的目标函数： 他们提出了 N-DPO 和 N-SimPO，这些函数结合了所提出的正则化项，适用于基于参考和无参考的对齐方法。
实证验证： 他们证明了这些改进后的目标函数能改善生成质量与通用基准能力之间的权衡。

实验结果

作者在 Mistral-7B-Instruct、Llama-3.1-8B-Instruct 和 OLMo-7B-SFT 上使用 UltraFeedback 数据集对 N-DPO 和 N-SimPO 进行了评估。

生成质量 (AlpacaEval)：
- 在 Llama-3.1-8B-Instruct 上，N-DPO 与标准 DPO 相比，在 AlpacaEval2（长度控制）得分上实现了 >20% 的相对提升。
- 在 OLMo-7B-SFT 上，N-SimPO 与 SimPO 相比，在 AlpacaEval2（原始胜率）上显示出 >75% 的相对提升。
- 所提方法通常优于其他正则化基线，如 DPO+SFT 和 DPOP。
通用基准性能：
- 与典型的“提升生成质量会导致通用能力下降”的权衡相反，N-DPO 和 N-SimPO 维持或提高了常识和推理基准（MMLU, ARC, HellaSwag 等）的分数。
- 对于 Llama-3.1-8B-Instruct，N-DPO 在提高生成质量的同时，将平均基准分数提高了超过 3%。
奖励建模：
- 与标准 DPO/SimPO 相比，使用正则化项训练的模型在留出数据集（HH-RLHF, HelpSteer2）上表现出更好或相当的奖励建模准确度，而 DPO+SFT 和 DPOP 则表现出显著的准确度下降。
似然动态：
- 训练曲线证实了正则化可以减轻似然位移。在 N-DPO 中，选中响应的似然度保持稳定，而在标准 DPO 中，其似然度显著下降。
- Token 级分析证实，正则化专门针对并修正了最小 Token 奖励（离群值）的分布。

意义与主张

论文声称，奖励归一化是直接对齐算法成功的关键且此前被忽视的因素。通过显式地强制执行已见响应的概率质量守恒，所提方法：

减轻似然位移： 它防止了可能导致有害行为的伪造概率偏移，特别是通过修正离群 Token 的行为。
改善权衡： 它允许模型更有效地学习偏好，而不牺牲通用能力，解决了限制 DAA 可靠性的“过度优化”问题。
具备泛化性： 该方法在基于参考（DPO）和无参考（SimPO）框架中均有效，表明存在统一的过度优化机制。

作者总结道，他们的分析揭示了为什么 DAA 在似然度下降（由于离群 Token 偏移）的情况下仍能提高生成质量，并证明了利用低似然度 Token 进行正则化是重塑奖励分布的一种有效策略。他们指出，虽然目前的分析侧重于离线设置，但其发现为深入研究偏好优化中奖励模型的细粒度行为提供了动力。