📊 statistics

Reward Learning from Best-of- $N$ Preference Data: Targets, Tradeoffs, and Design Principles

本文通过推导独立变体的闭式目标、表征决定最优 $N$ 选择的边际与连通性之间的权衡，并提出平衡生成成本与标签效率的设计原则，分析了基于 Best-of- $N$ 偏好数据的奖励学习。

原作者： Rattana Pukdee, Maria-Florina Balcan, Pradeep Ravikumar

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Rattana Pukdee, Maria-Florina Balcan, Pradeep Ravikumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图教学生（一个人工智能）如何写好故事的老师。你没有时间为学生写的每一个故事都打出完美的分数。相反，你使用了一个技巧：你要求学生写 N 个不同版本的故事，选出最好的一个，然后将其与一个“被拒绝”的版本进行比较。

这篇题为《从 Best-of-N 偏好数据中学习奖励》（Reward Learning from Best-of-N Preference Data）的论文提出了一个简单而深刻的问题：你要求学生撰写的草稿数量（N），以及学生初始写作能力的质量，是如何改变老师实际学到的内容的？

以下是他们研究结果的拆解，使用了日常类比。

1. 设置：“Best-of-N”游戏

在人工智能领域，我们经常通过让模型生成多个答案（假设是 4 个、8 个或 16 个）并从中挑选胜者来创建训练数据。

胜者： 这一组中的最佳答案。
败者： 这一组中的随机答案或绝对最差的一个。
目标： 教会一个“奖励模型”（评委）识别什么是好的答案，以便稍后帮助训练 AI。

普遍的直觉是：“如果我要求的草稿越多（N 越大），胜者就会更好，因此数据也就更好。”
论文的转折点： 这并不是故事的全貌。这不仅仅关乎胜者有多“好”，更关乎老师能看到什么样的比较。

2. 两个重大的权衡：“边际”与“地图”

作者发现，增加 N（要求更多草稿）会同时拉动两个方向相反的杠杆。把这想象成尝试绘制一张城市地图。

杠杆 A：“边际”（让差异变得明显）

它是什么： “边际”（Margin）是指你能多清晰地分辨出一个好答案和一个坏答案之间的差异。
大 N 的影响： 当你要求 100 份草稿时，胜者很可能是惊艳的，而败者很可能是糟糕透顶的。两者之间的差距巨大。这就像是在比较一辆法拉利和一辆自行车。差异显而易见，这使得老师非常容易识别出胜者。
益处： 这使得学习信号变得非常强且清晰。

杠杆 B：“连通性”（看到全貌）

它是什么： “连通性”（Connectivity）是指老师对“中间地带”的观察程度。老师是否能看到一个“还不错”的答案与一个“相当差”的答案之间的比较？
大 N 的影响： 如果你总是挑选法拉利和自行车，你就永远看不到轿车和摩托车之间的比较。你失去了“中间”部分的地图。老师只看到了极端情况。
代价： 随着 N 变大，老师不再看到“中间步骤”。地图变得稀疏，只有最顶尖和最底层的点被连接起来。

权衡关系：

小 N（例如 2 份草稿）： 你能看到很多不同的比较（良好的连通性），但胜者与败者之间的差异可能很小，难以判断（较小的边际）。
大 N（例如 16 份草稿）： 差异巨大且易于判断（大的边际），但你只看到了极端情况，错过了中间地带（低连通性）。

3. 设计的金科玉律

基于这种拉锯战，作者给出了两条实用的规则，用于运行这个过程：

规则 #1：根据你的“瓶颈”选择 N

如果你的问题是“缺乏人类标签”（标签稀缺/昂贵）：
- 类比： 你能请到的老师很少，无法为每份论文评分。
- 策略： 使用大 N。 既然你负担不起为许多对组合进行评分，那就让每一对比较都发挥最大价值。要求 16 份草稿，让胜者与败者之间的差异如此明显，以至于老师仅通过一次比较就能学到很多。
如果你的问题是“生成草稿的计算能力不足”（生成过程稀缺/昂贵）：
- 类比： 你有成千上万的老师，但学生写得太慢了。
- 策略： 使用小 N。 不要浪费时间为每个问题生成 16 份草稿。生成 2 份草稿，进行比较，然后针对更多的题目这样做。通过观察更多的街道，你会得到更好的“城市地图”，即使车与车之间的差异较小。

规则 #2：塑造“基础分布”（学生的起点）

“基础分布”（Base Distribution）是指你在挑选胜者之前，学生生成的草稿池。论文指出，你可以通过“调整”这个池子来帮助老师学习特定的内容。

“中间质量”原则： 当你要比较的两样东西之间存在许多草稿时，老师的学习效果最好。
示例 1（安全性）： 如果你想教会 AI 区分“有害”和“安全”的答案，不要只生成“安全”和“有害”的草稿。在中间生成很多“平庸”或“有缺陷但不危险”的草稿。这为老师创造了一条清晰的路径，去学习安全与不安全之间的界限到底在哪里。
示例 2（推理）： 如果你想教数学，不要只生成“完美”和“胡言乱语”的答案。生成一些“接近正确”的答案。老师需要看到“正确”与“接近正确”之间的区别，才能学习其中的细微差别。

4. 实验展示了什么

作者在虚构数据和真实世界数据（如数学问题和安全问题）上测试了这些想法。

结果： 他们证实了当训练样本非常少时，使用大 N 效果最好。当拥有大量数据时，使用小 N（并生成更多对组合）效果更好。
关于调优的结果： 当他们调整“基础分布”，在特定任务（如安全或数学）的混合物中放入更多“中等质量”的答案时，AI 在这些特定技能上的学习能力显著提升。

总结

这篇论文告诉我们，Best-of-N 并不是一个能让 AI 变强的“魔法按钮”。它是一个具有特定权衡的工具：

大 N 提供了清晰、明显的差异，但视野狭窄。
小 N 提供了广阔的视野，但差异微妙。

为了获得最好的 AI，你需要将你的“N”的大小与你的资源（你拥有更多的老师还是更多的计算机？）相匹配，并仔细设计草稿池，以确保 AI 能看到对完成目标任务最重要的那些比较。

技术摘要：从 Best-of-N 偏好数据中学习奖励

问题陈述

Best-of-N (BoN) 采样是现代人工智能系统（特别是用于训练奖励模型和对齐大语言模型 LLM）中构建成对偏好数据的广泛使用机制。在此过程中，从基准分布中采样 $N$ 个候选响应，并由一个专家（人类或基于模型的专家）选择最佳响应作为“被选中”（chosen）的样本。对于“被拒绝”（rejected）的样本，通常是从剩余候选集中均匀选择（Best-vs-Random），或者是选择最差的候选者（Best-vs-Worst）。

尽管这种方法非常普遍，但从此类数据中进行奖励学习的理论特性仍不明确。具体而言，以下两点尚不清楚：

在标准的 Bradley-Terry (BT) 目标函数下，由此产生的数据集会诱导出什么样的特定奖励函数？
如何选择候选集大小 $N$ 和基准分布，以优化学习效率？

普遍直觉认为，较大的 $N$ 会产生更好的数据，因为被选中的响应具有更高的绝对质量。然而，本文认为这种直觉是不完整的，因为数据的效用不仅取决于被选中响应的质量，还取决于数据集所能提供的特定比较关系。

方法论

作者通过 条件偏好分布 (Conditional Preference Distribution, CPRD) 的视角来分析奖励学习，该视角建立在最近的一个分布无关框架 (Pukdee et al., 2026) 之上。该框架刻画了偏好数据何时具有 Bradley-Terry 可表示性，并指出有限样本学习受两个关键量控制：边际 (margin)（区分成对样本的难度）和 连通性 (connectivity)（覆盖比较空间的能力）。

本文通过以下方式将该框架实例化于 Best-of-N 数据：

推导闭式解目标： 分析“独立”变体（Best-vs-Independent 和 Best-vs-Worst-Independent），其中被拒绝的样本与被选中的样本是独立抽取的。在这些设定下，作者推导出了 BT 损失函数总体最小化值的显式闭式表达式。
分析实际变体： 将分析扩展到实际的 Best-vs-Random 和 Best-vs-Worst 设定。在这些设定中，被选中的响应与被拒绝的响应是耦合的（从同一组 $N$ 个候选集中抽取），这意味着精确的 BT 可表示性通常会失效。作者证明，随着 $N$ 的增大，这些实际设定的极小值会趋向于独立变体的目标。
刻画权衡关系： 研究参数 $N$ 如何同时影响诱导偏好分布的边际和连通性。
实验验证： 通过改变 $N$ 和重塑基准分布，在合成数据和真实世界数据集（UltraFeedback, PKU-SafeRLHF, GSM8K）上验证理论预测。

核心贡献

1. 奖励目标的刻画

独立变体： 对于 Best-vs-Independent，诱导的奖励目标 $r^*_{BI}$ 被证明是 Best-of-N 分布与基准分布的对数比： $r^*_{BI}(x, y) = \log \frac{P_{BoN}(y|x)}{P_{base}(y|x)} + c(x)$ 。至关重要的是，该目标保留了底层真实奖励 $r^*$ 的排序。
实际变体： 对于 Best-vs-Random 和 Best-vs-Worst，由于样本之间的耦合，其总体极小值无法给出简单的闭式解。然而，作者证明，随着 $N$ 的增加，这些设定的极小值在边际半范数（margin semi-norm）意义上趋近于独立变体的目标。具体而言，对于 Best-vs-Random，距离随 $O(1/N)$ 衰减；对于 Best-vs-Worst，则呈指数级衰减。

2. 边际与连通性的权衡

论文识别了一个由 $N$ 控制的基本权衡：

边际 (Margin)： 增加 $N$ 会放大成对边际。两个结果 $y$ 和 $y'$ 之间的边际随 $N$ 线性增长，并受“中间质量 (between mass)”（即基准分布落在 $y$ 和 $y'$ 奖励得分之间的概率质量）的缩放。更大的边际使单个比较更具信息量，且对估计误差更具鲁棒性。
连通性 (Connectivity)： 增加 $N$ 会降低连通性。随着 $N$ 的增大，BoN 采样会向高奖励结果集中，而 Worst-of-N 则向低奖励结果集中。这缩小了观察到的比较范围，导致中间层级的对子（pairs）代表性不足。连通度随 $N$ 指数级下降。

3. 设计原则

基于上述权衡，作者提出了两条可操作的设计原则：

资源瓶颈原则： 最优的 $N$ $N$ 取决于偏好标签的稀缺程度。
- 标签受限阶段： 当人类标注成为瓶颈（样本量 $n$ 较小时），较大的 $N$ 更为理想。增加的边际有助于克服因数据有限而导致的高估计误差，即使连通性有所降低。
- 生成受限阶段： 当标签廉价或自动化程度高时（ $n$ 较大），较小的 $N$ 更为理想。当数据充足时，来自大 $N$ 的连通性损失会超过边际收益；此时，将节省的计算预算用于收集更多具有较小 $N$ 的三元组（triplets）会更有效率。
中间质量原则 (Between-Mass Principle)： 可以通过塑造基准分布来选择性地放大边际。两个响应之间诱导出的边际随基准分布在奖励顺序中放置在其间的质量大小而增长。从业者应通过塑造基准分布，在针对目标评估分布的关键响应对之间（例如，安全任务中有害输出与可接受输出之间）放置更多的质量。

结果

合成数据： 实验证实了预测的权衡关系。对于小样本量（ $n$ ），较大的 $N$ 会带来更高的测试准确率。随着 $n$ 的增加，最优的 $N$ 会减小；当 $n$ 足够大时，较小的 $N$ （如 $N=2$ ）由于更好的连通性，表现优于较大的 $N$ （如 $N=8$ ）。
真实世界数据： 在 UltraFeedback 上，同样的趋势依然成立：较大的 $N$ 有利于小数据阶段，而较小的 $N$ 在大数据阶段更具竞争力或表现更好。
基准分布重塑： 在安全（PKU-SafeRLHF）、推理（GSM8K）和通用（UltraFeedback）任务上的实验表明，通过重塑基准分布以增加关键比较的“中间质量”，可以提高测试准确率。例如，在安全任务中，上采样“平庸”（有缺陷但不危险）的响应增加了有害输出与可接受输出之间的边际，从而提升了性能。

意义

本文为从 Best-of-N 偏好数据中进行奖励学习提供了理论基础。它超越了“候选者越多越好”的启发式观点，通过严格刻画诱导奖励目标及其样本复杂度权衡，深化了理解。

其重要性在于：

澄清信号： 它明确了奖励学习从 BoN 数据中究竟提取了什么信号，表明虽然排序得以保留，但具体的奖励函数取决于 $N$ 和基准分布。
指导数据设计： 它为从业者提供了具体的、有原则的指南，指导如何根据资源约束选择 $N$ ，以及如何通过工程化手段设计基准分布，以最大化特定下游任务的学习效率。
连接理论与实践： 它将抽象的边际和连通性概念与 Best-of-N 采样的实际机制联系起来，解释了为什么在某些情形下过大的 $N$ 会导致性能下降，以及如何缓解这一问题。

作者总结道，偏好数据的构建不仅仅是一个细节问题，而是一个关键的设计杠杆，它决定了学习到的是什么样的奖励以及学习效率如何。