💬 NLP

When Are Two RLHF Objectives the Same?

本文介绍了 Opal，一种用于确定 RLHF 偏好目标代数等价性的规范化算法，该算法揭示了许多广泛使用的方法实际上是同一底层目标的重参数化，同时识别出了产生真正不同目标的特定结构机制。

原作者： Madhava Gaikwad

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Madhava Gaikwad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图完善新菜谱的厨师。在过去的几年里，数百名其他厨师都发表了他们自己“改进版”的食谱。有人说他们改变了香料，有人说他们微调了烹饪温度，还有人声称他们发明了一种全新的混合食材的方法。

核心问题在于：这些真的是不同的食谱，还是仅仅换了名字的同一道菜？

这篇论文介绍了一个名为 Opal 的工具（可以把它想象成一个“食谱翻译机”或“风味指纹扫描仪）来回答那个确切的问题，针对的是被称为 RLHF（基于人类反馈的强化学习）的 AI 训练方法。

以下是该论文发现的拆解，使用了简单的类比：

1. 问题所在：名字众多，味道相同

在 AI 世界中，研究人员提出了数十种不同的方法来教 AI 模型遵循人类偏好。他们给这些方法起了各种华丽的名字，比如 DPO、SPPO、SimPO 和 GRPO。每篇论文都声称其方法是一个“突破”或“截然不同且更好”。

作者们想知道：这些真的是不同的数学目标，还是仅仅用不同的语言书写的同一个目标？

2. 解决方案：Opal（翻译机）

作者构建了一个名为 Opal 的算法。你可以把 Opal 想象成一台机器，它获取两个不同的食谱（数学公式），并尝试将它们翻译成一种单一的标准“规范化”语言。

如果食谱能翻译成完全相同的标准语言： Opal 会说：“它们是相同的。”它会给出相同的“指纹”（哈希码）。
如果它们无法被翻译成相同的语言： Opal 会产生一个“见证”（witness）。这就像是一个具体的例子，展示了它们为何不同。例如：“在食谱 A 中，如果你加盐，它尝起来是咸的。在食谱 B 中，取决于锅里还有什么，加盐可能会让它尝起来变甜。”

3. 重大发现：许多“新”方法只是旧方法的伪装

当作者对 33 种不同方法 运行 Opal 时，他们发现了令人惊讶的事实：

“DPO”家族： 十种不同的方法（包括 SPPO 和 Nash-MD）被证明在代数上是完全等同于著名的 D besides DPO 方法的。
- 类比： 这就像有人声称他发明了一种烧开水的新方法，但管它叫“热相变”。这其实还是在烧开水，只是换了个高级的名字。
- 结果： 从 DPO 切换到 SPPO 并不会改变 AI 试图实现的实际目标；它只是改变了数学公式的写法。
“真正的”创新： 只有极少数方法是真正不同的。
- GRPO（批次效应）： 这种方法被用于著名的 DeepSeek-R1 模型。Opal 证明它与 DPO 有着本质的区别。
  - 类比： 想象你在给学生评分。在标准方法（DPO）中，你根据学生 A 自己的考试成绩来给 A 打分。而在 GRPO 中，你根据学生 A 与当天教室内其他学生的表现对比来进行评分。如果你把一个天才放进教室，学生 A 看起来就显得较差；如果你把一个成绩落后的学生放进去，学生 A 看起来就显得较好。这个“批次”改变了成绩。Opal 证明了这种“批次依赖性”使 GRPO 成为了一个完全不同的物种。
- KTO 及其他方法： 这些方法对“赢”和“输”的处理方式不同（就像一个比起赢带来的快乐，更恐惧损失的赌徒）。这种不对称性使得它们在结构上是独特的。

4. 实现真正差异的四个“秘密配料”

论文指出，要成为一种真正的新方法（而不仅仅是重述），它必须打破其中一条规则。如果它没有打破规则，那么它很可能只是对旧方法的重新包装。

组归一化 (Group Normalization)： 根据组内其他成员的情况来改变分数（如 GRPO）。
对依赖权重 (Pair-Dependent Weighting)： 根据特定答案的独特特征，对特定的配对进行差异化处理（如 KTO）。
Token 级结构 (Token-Level Structure)： 逐个单词地观察 AI 的回答，而不是看整个句子。
轨迹级 (Trajectory-Level)： 观察 AI 做出的决策的整个路径，而不只是最终答案。

5. 这对从业者意味着什么

如果你是一名试图选择一种方法的工程师：

不要被名字迷惑。 如果你看到一种看起来像 DPO 但有着华丽推导过程的新方法，它可能只是穿着燕尾服的 DPO。
检查“批次”。 如果一种方法会根据训练批次中包含的其他示例而改变其行为，那么它正在做一些独特的事情（如 GRPO）。
目标是一致的。 即使数学形式看起来不同，如果 Opal 说它们是等效的，那么它们旨在实现相同的“完美”AI 行为。然而，它们到达目标的速度或稳定性可能会有所不同。

总结

这篇论文是 AI 领域的一次“现实检查”。它使用数学工具（Opal）剥离掉华丽的术语，揭示了大多数近期出现的“新”方法实际上只是用不同方式书写的旧目标。 真正的创新只发生在当你从根本上改变 AI 比较答案的方式时（例如观察整个群体或整个路径），而不仅仅是当你重新排列代数公式时。

技术摘要：“何时两个 RLHF 目标是相同的？”

问题陈述

基于人类反馈的强化学习（RLHF）已成为使语言模型与人类偏好对齐的标准范式。虽然最初的流程涉及训练奖励模型并随后进行近端策略优化（PPO），但近期的发展引入了众多的直接偏好优化（DPO）变体和博弈论公式（例如 SPPO、Nash-MD、GRPO、KTO）。尽管这些方法都报告了不同的改进，但一个基本问题仍未解决：何时应当认为两种偏好优化方法是真正不同的？

目前尚不清楚源自不同理论视角（例如奖励建模 vs. 博弈论）的方法是在优化不同的目标，还是仅仅代表了同一个损失函数的代数重排。这种模糊性增加了评估算法新颖性和在方法选择时的实际决策难度。

方法论：Opal 框架

为了解决这一问题，作者引入了 Opal，一种旨在确定两个偏好目标是否在代数上等价的规范化算法。该框架的操作前提是：任何成对偏好方法都可以表示为对一个共同底层边际（margin）的变换，即 $\Delta = s(y^+) - s(y^-)$ ，其中 $s$ 是评分函数。

Opal 将任何偏好损失分解为三个原始操作的组合：

Add[ $\phi$ ]（加法）： 添加依赖于单个响应的惩罚项（例如 KL 正则化、长度归一化）。
- $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
Reweight[ $\omega$ ]（重加权）： 将边际乘以一个权重（例如温度、重要性权重）。
- $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
Link[ $g$ ]（链接）： 对边际应用一个单调函数（例如逻辑函数、Hinge 损失或平方损失）。
- $\Delta(y, z) \mapsto g(\Delta(y, z))$

可约性条件

如果一个方法满足以下三个条件，则被视为是可约的（即能够被映射到唯一的规范形式）：

(R1) 传递性（Transitivity）： 边际必须可以表示为分数的差值 $\phi(y) - \phi(z)$ 。违反此项意味着存在非传递性偏好，即 $a$ 与 $c$ 之间的边际不仅取决于它们的个体得分。
(R2) 对对独立性（Pair-Independence）： 权重必须仅取决于提示词 $x$ ，而不取决于特定的响应对 $(y, z)$ 或批次组成。
(R3) 单调性（Monotonicity）： 变换函数 $g$ 必须是严格单调的，以保持偏好顺序。

规范化与见证（Witnesses）

规范形式： 如果一个方法满足 (R1)–(R3)，Opal 会将其还原为唯一的标准形式： $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$ ，其中 $\Phi$ 是中心化的（ $\sum \Phi(y) = 0$ ）。两个方法当且仅当其规范形式（及生成的哈希值）相同时，才是等价的。
见证（Witnesses）： 如果一个方法违反了任何条件，Opal 会生成一个具体的见证来证明其非等价性。示例包括：
- 循环见证（Cycle Witness）： 一个具有非零循环和的三元组 $(a, b, c)$ ，违反了传递性。
- 对依赖型权重（Pair-Dependent Weight）： 两个在相同提示词下接收到不同权重的响应对。
- 组依赖型权重（Group-Dependent Weight）： 同一个响应对根据批次组成的差异而接收到不同的有效权重。

该框架明确排除了标记级方法（例如 RTO）和轨迹级方法（例如 PPO-RLHF），因为它们并不在完整的响应对之间的标量边际上进行操作，超出了成对边际分析的范围。

核心贡献

Opal 算法： 一个系统性的工具，通过将目标减少为规范形式或产生可验证的非等价性见证，来判定代数等价性。
对 33 种方法的分析： 作者分析了涵盖成对、列表式、基于组、标记级和轨迹级设置的 33 种偏好优化方法。
- 结果： 25 种方法是可约的，坍缩为 14 个不同的规范形式。
- 等价性： 十种方法（包括 DPO、SPPO、Nash-MD、INPO、DNO、APO、RSO、XPO、cDPO、rDPO）都缩减为与 DPO 相同的规范形式。
- 不可约性： 八种方法被证明是不可约的，包括 GRPO、RLOO、KTO、WPO、BCO、RTO、PPO-RLHF 和 ReMax。
GRPO 不可约性证明： 论文提供了一个显式的见证，证明 GRPO 在本质上不同于 DPO。它表明 GRPO 的组归一化导致响应对的梯度贡献取决于特定的批次组成（违反了 R2），从而根据其他存在的响应改变了边际的相对规模。
正交设计轴： 作者识别了四个产生真正不同目标的结构机制，这些机制与规范等价性是正交的：
- 组归一化（例如 GRPO）。
- 对依赖型权重（例如 KTO）。
- 标记级结构（例如 RTO）。
- 轨迹级优化（例如 PPO-RLHF）。

结果

代数等价性： 许多广受关注的方法在代数上是完全相同的。例如，源自博弈论极小极大目标的 SPPO 和 Nash-MD，都缩减为与 DPO 完全相同的规范形式。在这两者之间切换并不会改变优化目标，改变的只是推导过程。
结构性区别： 违反可约性条件（特别是 R2）的方法表现出截然不同的优化景观。GRPO 的批次依赖型归一化意味着同一个响应对可以根据批次的组成而接收到不同的梯度，这一特性是任何可约方法都不可能具备的。
哈希验证： 作者为每个可约方法的规范形式提供了 SHA-256 哈希值，允许从业者以编程方式验证等价性。

意义与主张

论文声称 Opal 区分了表示形式的变化与实质内容的变化。

澄清新颖性： 该框架表明，偏好优化文献中许多表象上的多样性，实际上源于对一小组底层目标的重新参数化。真正的算法新颖性需要违反至少一个可约性假设（R1–R3）。
实践指导： 对于从业者而言，在等价方法（如 DPO 与 SPPO）之间进行选择时，应根据实现细节、数值稳定性或隐式偏差来引导，而非期望获得本质上不同的算法行为。
决策论等价性： 等价的方法会诱导出相同的贝叶斯最优偏好排序，并对每一个边际的正负号达成一致，尽管它们在梯度量级和收敛速率上可能存在差异。

作者将这项工作定位为第一个能够通过形式化证明回答“这两个方法是否相同”的算法框架，实现了从启发式分类向严谨代数验证的跨越。