💬 NLP

Adaptive Margin RLHF via Preference over Preferences

本文提出了一种名为自适应边际强化学习人类反馈（Adaptive Margin RLHF）的新型框架，该框架利用“偏好之偏好”（preference-over-preference）标注来推断用于奖励建模与对齐的动态且数据特定的边际，并引入了 DPO-PoP 算法，在增强判别性能与生成性能的同时，通过专门的采样策略解决两者之间的权衡问题。

原作者： Yaswanth Chittepu, Prasann Singhal, Greg Durrett, Scott Niekum

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yaswanth Chittepu, Prasann Singhal, Greg Durrett, Scott Niekum

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何写出人类真正喜欢的的故事。为了做到这一点，你向机器人展示成对的故事：一个“好”故事和一个“坏”故事，并问它：“哪一个更好？”这是训练 AI 的标准方法，被称为 RLHF（基于人类反馈的强化学习）。

通常，机器人只是学习在“好”与“坏”之间做出选择。但新论文 《通过“偏好之上的偏好”实现自适应边际 RLHF》（Adaptive Margin RLHF via Preference over Preferences）指出，并非所有的“好 vs 坏”比较都是等同的。

以下是该想法的简单拆解，使用了日常类比。

1. 问题所在：并非所有的“更好”选择都是一样的

想象你是一位正在给学生评分的老师。

场景 A： 你在比较一位写出了杰作的学生和一位写出了胡言乱语的学生。这种差异是巨大的。这是一个容易的决策。
场景 B： 你在比较两个都写了不错文章的学生，但其中一个的语法稍微好一点。这种差异是微小的。这是一个困难的决策。

在传统的 AI 训练中，计算机对这两种情况的处理方式完全相同。它只是学习“A 比 B 好”。

作者认为这是一个错误。计算机应该学习到，场景 A（巨大的差距）是一个“强”偏好，应该被赋予更多的信心；而 场景 B（微小的差距）是一个“弱”偏好，应该被更谨慎地对待。

2. 旧方法：索要分数（“评分量表”问题）

为了弄清楚差距有多大，之前的方法尝试询问人类：“如果以 1 到 10 分为标准，好故事比坏故事好多少？”

论文指出这种方法并不可靠。人类很难给出一致的数字。一个人可能会给巨大的差距打“9”分，而另一个人可能打“7”分。这就像是在没有温度计的情况下让人们猜测确切的温度；每个人的猜测都会有些偏差。

3. 新方案：“偏好之上的偏好”（PoP）

与其询问一个数字，作者提出了一个更聪明的提问方式。他们要求人类观察两个不同的比较，并决定哪一个差异更“显著”。

比较 1： 杰作 vs. 胡言乱语。
比较 2： 一篇优秀的文章 vs. 一篇稍好一点的文章。

问题是： “这两个情况中，哪一个展现出的差异更大？”

大多数人可以轻松地说出：“第一个情况（杰作 vs. 胡言乱语）的差异要明显得多。”

这就是 “偏好之上的偏好”（Preference over Preferences, PoP） 的核心思想。这就像是在问一位裁判：“金牌和垫底名次之间的差距，是否比银牌和铜牌之间的差距更大？”这个答案是显而易见的，也比让他们为一个差距分配一个具体的得分要可靠得多。

4. AI 如何利用这一点（“自适应边际”）

在数学术语中，好答案与坏答案之间的“差距”被称为边际（margin）。

旧 AI： 使用固定的差距。 “只要好答案哪怕只是一点点更好，我就从中学习。”
新 AI (DPO-PoP)： 使用自适应边际。
- 如果人类说：“这是一个巨大的差异”，AI 会说：“好吧，我需要在我的内部数学模型中，确保好答案比坏答案好得多。”
- 如果人类说：“这是一个微小的差异”，AI 会说：“好吧，我会对这个处理得更温和一些。”

论文引入了一种特定的方法，称为 DPO-PoP（带有“偏好之上的偏好”的直接偏好优化），它利用这些“强 vs 弱”的标签来自动调整数学计算。

5. 权衡：两种采样方式

研究人员发现，你如何提问会改变结果。他们测试了两种策略：

“迭代式”策略（完美主义者）： 你强迫 AI 去观察每一个“弱”比较（那些微小的差距），并确保它能把这些都做对。
- 结果： AI 在识别哪个答案更好方面变得非常出色（它是一个优秀的评分员）。
- 缺点： 因为它过于专注于这些微小、棘手的差异，它在实际写作时有时会感到困惑。它变得过于谨慎了。
“随机式”策略（大局观）： 你随机抽取比较，这自然意味着你会看到更多的“大差距”（明显的胜出）而非微小的差距。
- 结果： AI 变成了一个更好的作家。它能创作出更具创意和帮助性的故事，因为它专注于人类喜欢的那些清晰、强烈的例子。
- 缺点： 它在识别最细微、最微妙的差异时，可能不如前者那么完美。

核心结论

论文声称，通过仅仅让人们比较两个差异而不是评价一个差异，我们可以让 AI 更好地理解人类偏好的强度。

如果你想要一个完美的评判者，请使用“迭代式”方法。
如果你想要一个优秀的创意作家，请使用“随机式”方法。

两种方法都优于传统的 AI 训练方式，证明了询问“哪个差异更大？”比询问“这个差异有多大？”是一个更聪明的提问方式。

技术摘要：通过“偏好之偏好”实现自适应边际的 RLHF

问题陈述

在基于人类反馈的强化学习（RLHF）中，使大语言模型（LLMs）与人类偏好对齐通常依赖于成对的偏好数据。标准的做法（如 Bradley-Terry (BT) 模型和 Direct Preference Optimization (DPO)）通常将所有偏好对视为等同，或者依赖固定的边际（margin）。虽然基于边际的优化在分类任务中已知能提高泛化能力和鲁棒性，但现有的 RLHF 方法面临着显著的局限性：

无边际或固定边际： 许多方法不应用边际或使用常数边际，未能考虑到不同偏好之间强度的差异（即，有些偏好代表了响应之间清晰的区别，而另一些则具有模糊性）。
噪声标量评分： 现有的自适应边际方法通常从人类或 LLM 提供的标量偏好分数（例如 Likert 量表）中推导边际。这些分数通常校准不良、在标注者之间不一致且存在噪声，导致边际信息不可靠。
对准确分数的依赖： 假设可以获得准确偏好分数的算法在实践中难以实现，因为人类很难提供可靠的数值化偏好强度评分。

核心问题是如何推断自适应边际——即根据每个数据点的偏好强度而变化的边际——而不依赖于带有噪声的标量注释。

方法论

作者提出了一个名为通过“偏好之偏好”（Preference-over-Preference, PoP）监督实现的自适应边际 RLHF 的框架。该方法不再要求标注者为单个偏好分配数值分数，而是要求他们比较两个偏好对，并确定哪一个反映了更强的区分度。

核心概念：偏好之偏好 (PoP)

给定两个偏好实例， $A \succ B$ 和 $C \succ D$ ，标注者（人类或 LLM）被要求判断哪个偏好更强。如果 $(A \succ B)$ 被判定比 $(C \succ D)$ 更强，这意味着奖励差值 $r(A) - r(B)$ 大于 $r(C) - r(D)$ 。

推断： 较弱偏好的奖励差值作为较强偏好的下界（即边际）。
优势： 这种形式将注释任务简化为关于相对大小的二元判断，这在认知上是自然的，并且符合决策分析原则（MACBETH）。它避免了离散评分量表的校准问题，并提供了比离散评分更丰富的信息，从而允许推断连续的实值边际。

算法：DPO-PoP

论文将该框架实例化于 Direct Preference Optimization (DPO) 算法中，得到了 DPO-PoP。

损失函数： 标准 DPO 损失经过修改，以纳入从较弱偏好对中推导出的自适应边际。对于一个较强的偏好对 $(x_s, y^+_s, y^-_s)$ 和一个较弱的偏好对 $(x_w, y^+_w, y^-_w)$ ，损失函数强制要求强偏好对的隐式奖励差超过弱偏好对。
$\min_{\theta} \mathbb{E}_{D_{PoP}} \left[ -\log \sigma \left( m_\theta(x_s, y^+_s, y^-_s) - \text{sg}[m_{\hat{\theta}}(x_w, y^+_w, y^-_w)] \right) \right]$
其中 $m_\theta$ 是隐式边际， $\text{sg}$ 表示停止梯度算子，以防止边际项直接影响策略参数的更新。
稳定性： 为了解决由无界边际引起的梯度不稳定问题，作者采取了以下措施：
- 将边际值裁剪到固定区间 $[0, M_{max}]$ 。
- 使用通过 Polyak 平均缓慢更新的目标策略 $\hat{\theta}$ 来计算边际参考，以防止训练期间的剧烈波动。
采样策略： 论文探索了两种构建 PoP 数据集 ( $D_{PoP}$ $D_{P o P}$ ) 的策略：
- 迭代采样（Iterative Sampling）： 每个偏好都与 $k$ 个较弱的偏好进行比较。这确保了所有偏好都能得到平等的表示，但可能会过度代表弱信号（噪声）对比。
- 随机采样（Random Sampling）： 随机选择偏好对并进行比较。这会导致一个其中强偏好出现频率更高的数据集。

核心贡献

PoP 监督框架： 一种通过偏好之间的序数比较而非标量评分来推导自适应边际的新方法，提高了校准度和鲁棒性。
DPO-PoP 算法： DPO 的一个具体扩展，它集成了 PoP 监督，实现了使用仅监督学习的边际感知对齐，无需单独的奖励模型训练阶段。
发现权衡关系： 作者识别出了判别性能（偏好标签的分类准确率）与生成性能（生成文本的质量）之间的基本权衡。
- DPO-PoP-Iter（迭代采样） 擅长判别任务，能正确分类弱偏好，但在生成质量方面表现欠佳，这可能是由于过度拟合了噪声信号。
- DPO-PoP-Random（随机采样） 在生成指标和分布外基准测试的稳健判别准确率方面表现更优，因为它更多地关注强且清晰的偏好。
理论见解： 论文为自适应边际分类器提供了泛化界限，表明其泛化误差取决于逆平方边际之和 ( $\sum 1/m_i^2$ )。这解释了为什么随机采样（包含较少的弱边际）比迭代采样具有更好的泛化界限。

实验结果

实验在 UltraFeedback 数据集上使用 Llama-3.2-3b 和 Llama-3.1-8b 模型进行，并在 RewardBench、AlpacaEval-2 和 UltraRM 胜率上进行了评估。

判别性能： DPO-PoP-Iter 实现了最高的测试分类准确率（在 UltraFeedback 上约为 80%），即使是面对拥有真实值（ground-truth）边际的模型也实现了约 8 个百分点的领先。然而，它在强偏好上的真实值边际相关性较低。
生成性能： DPO-PoP-Random 在生成指标上持续优于所有基线模型，包括那些拥有真实值边际的模型。
- 在 AlpacaEval 2.0 上，DPO-PoP-Random 实现了 14.2% 的胜率，显著高于最近的竞争对手（12.4%）。
- 在 RewardBench 上，DPO-PoP-Random 获得了最高的综合得分，在对话（Chat）、安全（Safety）和推理（Reasoning）类别中均表现出稳定性。
小样本场景： 在低数据设置下，DPO-PoP-Random 比 DPO-margin-gt 的胜率提升了 17 个百分点，这表明 PoP 注释即使在有限数据下也非常有效。
LLM 注释： 当 PoP 标签由 LLM（GPT-4.1-mini）而非真实值分数生成时，DPO-PoP-Random 仍然保持了稳健的性能，验证了该方法的实际可行性。

意义与主张

论文声称 DPO-PoP 为 RLHF 提供了一种实用且有效的替代方案，用于处理数值化评分量表的注释。通过利用偏好之间的比较判断，该方法推断出的细粒度边际信息在不同标注者之间具有更可靠的校准性。

其意义在于能够驾驭判别-生成权衡：

寻求高领域内分类准确性的从业者可以使用 迭代采样（Iterative Sampling）。
优先考虑高质量文本生成和对分布偏移具有鲁棒性的从业者可以使用 随机采样（Random Sampling）。

作者强调，这种方法不需要复杂的奖励建模或强化学习循环，可以无缝集成到现有的 DPO 流水线中，且计算开销极小（仅增加了一次前向传播）。这项工作表明，“偏好之偏好”是改进 LLM 对齐的一种符合认知直觉且信息丰富的信号。