🤖 machine learning

The Representation-Rationalizability Tradeoff in Reward Learning

本文将来自异质成对偏好的一致性奖励学习的社会选择不可能问题，重新框架为现代 RLHF 流水线中的一种基本权衡，证明了更丰富的响应表示在减少表示误差的同时，通过暴露更多无法由标量奖励解决的不一致比较，进而增加了聚合误差。

原作者： Jing Dong, Yaoliang Yu, Pascal Pourpart

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Jing Dong, Yaoliang Yu, Pascal Pourpart

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“人类品味”难题

想象一下，你正在尝试制造一个机器人厨师。为了教会它什么是“好”食物，你请了 1,000 位不同的人品尝两道菜（菜品 A 和菜品 B），并投票选出他们更喜欢哪一个。

在 AI 世界（特别是 RLHF）中，情况正是如此。我们有一个提示词（食谱请求）和两个响应（菜品）。人类投票选出更好的那一个。目标是创建一个单一的“计分员”（奖励模型），为每一道菜分配一个数字，以预测这群人的偏好。

论文的核心洞察：
作者认为，我们组织这些菜品的方式（即“表示/特征提取”）创造了一个根本性的陷阱。如果你把类别做得太简单，你会丢失细节；如果你把类别做得太详细，你就会创造出一个单一分数无法解决的逻辑悖论。

类比 1：“模糊”与“超清晰”的相机

想象一下，你正在拍摄一张人群的照片，以决定谁是“最佳”舞者。

选项 A：模糊的镜头（简单的表示）
你使用一个非常模糊的相机。在这张照片中，三个截然不同的舞者（爱丽丝、鲍勃和查理）看起来都像是完全相同的色块。

结果： 你的计分员认为他们是完全一样的。它给他们所有人打出了相同的分数。
问题： 你丢失了信息。也许爱丽丝其实跳得非常好，但因为在你的模糊照片中她看起来和表现糟糕的鲍勃一模一样，所以你无法分辨。这就是嵌入损失（Embedding Loss）。你丢弃了有用的细节。

选项 B：4K 超高清镜头（丰富的表示）
你换上了一个超清晰的相机。现在你可以看到每一个雀斑和发丝。爱丽丝、鲍勃和查理看起来完全不同。

结果： 你的计分员可以清晰地看到每个人。
新问题： 因为你能看得如此清晰，你注意到人群投票中的矛盾。
- 人群说：“爱丽丝比鲍勃好。”
- 人群说：“鲍勃比查理好。”
- 人群还说：“查理比爱丽丝好。”
悖论： 这被称为孔多塞循环（Condorcet Cycle）（投票循环）。这就像剪刀石头布。无论你给爱丽丝、鲍勃和查理分配什么样的数字，你都无法同时满足这三个投票。如果你给爱丽丝高分，你就违背了“查理比爱丽丝好”的投票。
论文术语： 这就是一致性成本（Agreement Cost）。你展示的细节越多，揭示出的这种不可能实现的循环就越多。

权衡：“金发姑娘”区间（恰到好处的区间）

论文证明，你不能仅仅通过不断提高相机的清晰度来获得完美的分数。

太简单： 你错失了差异（高嵌入损失）。
太复杂： 你暴露了太多单一数字无法解决的矛盾（高一致性成本）。
刚刚好： 在中间存在一个“甜点区”。你既要有足够的细节来区分舞者，又不能详细到触发一个会让评分系统崩溃的逻辑循环。

令人惊讶的发现：
论文表明，“完美的”细节程度完全取决于你询问的具体人群。适合爵士乐爱好者的设置，对于古典音乐爱好者来说可能并不适用。不存在通用的“最佳”设置。

类比 2：“小组项目”经理

想象你是一名经理，试图根据委员会的反馈对你的员工进行排名。

“粗放型”经理： 你按“部门”对员工进行分组。你告诉委员会：“谁更好：市场部还是工程部？”
- 优点： 容易决定。
- 缺点： 你忽略了最好的营销人员可能比最好的工程师还要差。你失去了细微差别。
“超细节型”经理： 你按“姓名、鞋码和最喜欢的颜色”对员工进行分组。
- 优点： 你拥有完美的数据。
- 缺点： 委员会的反馈很混乱。他们说“喜欢蓝色的约翰比玛丽好”，“玛丽比史蒂夫好”，但“史蒂夫又比约翰好”。
- 崩溃： 你试图为每个人写一份单一的绩效评估分数。你做不到。数学逻辑崩溃了，因为偏好形成了一个圆圈。你变得越具体，发现的圆圈就越多。

关于 AI 训练（“联合训练”陷阱）

在现代 AI 中，我们通常尝试同时训练“相机”（表示）和“计分员”（奖励），希望它们能自动找到完美的平衡。

论文的警告：
作者指出，这种“联合训练”并不会自动找到那个甜点区。

想象一下你在杂耍的同时走钢丝。论文证明，如果你试图同时调整绳子（表示）和杂耍动作（奖励），你最终可能只会原地打转或者从上面摔下来。
系统可能会陷入一种状态：由于矛盾太混乱，“计分员”停止对任何人给出不同的分数（变成了一个常数），实际上是因为无法处理这些矛盾而放弃了任务。

结果总结

分解： AI 奖励模型的误差由两部分组成：
- 信息损失： 因为过于笼统而错失的信息。
- 一致性成本： 因为揭示了单一分数无法解决的矛盾而产生的惩罚。
权衡： 随着你让 AI 变得“聪明”（更详细），第一个误差会下降，但第二个误差会上升。
结论： 你不能仅仅通过投入更多的算力或更复杂的模型来解决问题。你必须找到一个与你所处理的具体数据集相匹配的特定细节水平。有时候，保持稍微“模糊”一点的状态，对于最终得分来说反而比完美清晰更好。

简而言之：在试图教会 AI 理解人类偏好的过程中，细节并不总是越多越好。有时候，看得太清楚反而会揭示出一个简单的分数无法处理的混乱局面。

技术摘要：奖励学习中的表示-合理化权衡

问题陈述

在基于人类反馈的强化学习（RLHF）中，核心学习任务是将来自多个标注者的异质性成对偏好转换为单个标量奖励函数 $r(x, y)$ 。经典的社会选择理论指出，当标注者样本具有异质性时，聚合后的偏好可能会诱发孔多塞循环（Condorcet cycles，例如 $A \succ B, B \succ C, C \succ A$ ），使得任何标量奖励都无法一致地对所有响应对进行排序。

尽管近期文献从社会选择的角度分析了 RLHF，但这些工作通常假设存在一个固定的、预先枚举的有限备选集。然而，在现代流水线中，响应是通过学习到的表示 $\phi(x, y)$ 以及随后的标量头 $g$ 进行评分的，即 $r(x, y) = g(\phi(x, y))$ 。嵌入 $\phi$ 决定了哪些响应被视为可区分的备选方案，以及哪些比较对模型是可见的。本文研究了一个基本问题：增加 $\phi$ 的表示丰富度是否总能改善对人类偏好的拟合？

作者认为，那种“更丰富的表示提供更多信号并从而实现更好拟合”的普遍直觉是不完整的。相反，嵌入本身改变了聚合问题。精细化 $\phi$ 会减少响应的坍缩，将原本不可区分的对转化为不同的备选方案。虽然这减少了信息损失，但同时也暴露了更多可能形成不可约循环（irreducible cycles）的成对比较，而任何标量奖励都无法使这些循环合理化。

方法论与理论框架

1. 冗余损失的分解

本文在具有任意标注者异质性的随机效用模型（RUM）下形式化了学习问题。作者定义了学习到的奖励 $r$ 相对于贝叶斯最优损失 $L^*$ （即在已知聚合偏好完美的情况下能达到的最佳性能）的超额交叉熵损失。

他们证明该超额损失可以精确分解为两项：
$L(r) - L^* = E_{\text{emb}}(\phi) + E_{\text{agr}}(\phi, r)$

嵌入损失 ( $E_{\text{emb}}$ )： 衡量当嵌入 $\phi$ 将可区分的响应坍缩到同一点时所丢弃的信息。当 $\phi$ 变得更丰富（维度更高或更具表达力）时，该项会减少。
一致性成本 ( $E_{\text{agr}}$ )： 衡量聚合偏好的不可约性。即使 $\phi$ 完美保留了所有区别（是单射的），聚合后的偏好仍可能包含循环，从而阻止任何标量奖励同时合理化它们。随着 $\phi$ 变得更丰富，由于暴露了更多潜在的循环，该项会增加。

2. 下界与权衡分析

作者推导出了一个显式量化这两项之间张力的超额损失下界：
$L(r) - L^* \geq 2e_d + \frac{\ell_\delta^2}{2} \bar{P}_d^\delta$
其中：

$e_d$ 是嵌入误差（与 $E_{\text{emb}}$ 相关），随嵌入维度 $d$ 单调非增。
$\bar{P}_d^\delta$ 是在维度 $d$ 下可见的孔多塞循环的曲率加权概率，随 $d$ 单调非减。
$\ell_\delta$ 是一个依赖于边际（margin）的常数。

在温和的假设下（特别是假设由嵌入生成的 $\sigma$ -代数随维度增长），论文表明这两项的下界向相反方向移动。因此，极度粗糙和极度精细的表示都可能是次优的，这意味着存在一个依赖于数据集的最优嵌入维度。

3. 在 DPO 和联合训练中的扩展

直接偏好优化 (DPO)： 作者表明相同的分解和下界结构也适用于 DPO，证明即使没有显式的奖励模型，表示-合理化权衡也支配着基于偏好的策略学习。
联合训练： 本文分析了联合训练嵌入和奖励头的动力学过程。他们证明联合更新并不保证每轮都会减少其中任一权衡项。具体而言，优化动力学通过奖励倾斜协方差（reward-tilt covariances）改变嵌入误差和循环概率。在联合更新的任何固定点，奖励在数据上变为常数，从而不再提供偏好信号。因此，联合训练并不会隐式地收敛到权衡中的“甜点区”。

关键结果

理论发现

精确分解： 超额损失严格等于嵌入损失（信息损失）与一致性成本（合理化失败）之和。
单调性： 在标准假设下（如嵌套 $\sigma$ -代数），增加嵌入维度会降低嵌入损失，但会增加一致性成本的下界（循环概率）。
非凸优化： 联合训练嵌入和奖励并不保证能找到最优权衡；它可能会停滞在奖励为常数的退化点。

实验验证

实验在以下数据集上进行：

合成数据： 使用具有传递性、循环性和噪声效用成分的数据生成。
真实世界数据集： Jester（笑话评分）、Sushi（寿司偏好）和 MT-Bench（LLM 对话偏好）。

观察结果：

随着嵌入维度增加，嵌入损失降低，而一致性成本增加。
总超额损失通常在中间的嵌入维度处表现出一个极小值，验证了理论上的权衡关系。
这些趋势在显式奖励建模（RLHF）和隐式奖励提取（DPO）中均成立，且跨越不同的预训练编码器（如 all-MiniLM-L6-v2, mpnet）。
合成数据的可视化显示，随着维度增加，响应形成孔多塞循环的嵌入空间区域扩大，证实了更丰富的表示会暴露更多不可调和的偏好。

意义与主张

本文声称将 RLHF 中的奖励建模理解从纯粹的表示挑战转向了聚合问题。其主要意义在于指出，学习到的嵌入不仅是一个特征提取器，更是一个定义了可用于比较的备选集合结构的组成部分。

主要主张包括：

标量奖励的局限性： 在存在异质性偏好时，一致性标量排序的不可能性不仅是一个统计伪影，而且是一个取决于表示的可调属性。
最优复杂度： 在 RLHF 中不存在“越多越好”的表示丰富度规则；最优维度是在捕捉偏好区别与避免暴露不可约循环之间的平衡。
训练动力学： 标准的联合训练程序并不会自动导航这一权衡，这表明当前的 RLHF 流水线在没有明确考虑这种表示-聚合张力时可能是次优的。

作者保持了审慎的态度，指出其工作主要是理论性的，并未提出新的模型或可部署的系统，而是澄清了当前标量奖励建模方法在异质性人类反馈下的一个基本局限。