💬 NLP

When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models

本文指出标准的 Bradley-Terry 奖励模型损失函数存在表示距离偏差，该偏差导致梯度更新过度依赖于特征距离而非预测误差，并提出了一种轻量级归一化方案 NormBT，通过缓解这一问题来显著提升性能，尤其是在细粒度推理任务上。

原作者： Tong Xie, Andrew Bai, Yuanhao Ban, Yunqi Hong, Haoyu Li, Cho-Jui Hsieh

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Tong Xie, Andrew Bai, Yuanhao Ban, Yunqi Hong, Haoyu Li, Cho-Jui Hsieh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一名法官，让其决定两个 AI 生成的答案中哪一个更好。这正是大型语言模型（LLM）领域中**奖励模型（Reward Model）**的核心工作。训练这位“法官”的标准方法叫做 Bradley-Terry (BT) 损失函数。

你可以将 BT 损失看作是一位正在给学生评分的老师。老师观察两个答案：一个是“被选中”的（好的），另一个是“被拒绝”的（坏的）。如果学生答错了，老师就会给予一个“推力”（梯度更新）来纠正他们。

问题所在：“距离”带来的干扰

论文指出，目前的“老师”（BT 损失）有一种奇怪的偏见。它不仅仅根据学生“错得有多离谱”来给予推力，还会根据这两个答案在计算机眼中看起来“有多不同”来给予推力。

这里有一个简单的类比：

想象你在教一个人分辨两幅画的区别。

情况 A（明显的错误）： 你展示了一幅猫的画和一幅烤面包机的画。学生说：“烤面包机更好。”这是一个巨大的、显而易见的错误。在学生的认知中，这两张图片距离很远。老师给出了一个巨大的、响亮的推力：“不！那是烤面包机！学学这个！”
情况 B（微妙的错误）： 你展示了两幅非常相似的猫的画。一幅耳朵上有一道微小的划痕；另一幅则是完美的。学生说：“带划痕的那幅更好。”这是一个极其微小、微妙的错误，但它是唯一的区别。在学生的认知中，这两张图片距离非常近。

缺陷： 在标准的 BT 方法下，老师对情况 B 只会给予一个微弱的、几乎察觉不到的推力。为什么？因为计算机认为：“这两张图片看起来如此相似，我对它们的‘感觉’差异很小，所以我也不会用力推学生。”

相比之下，对于情况 A，老师仅仅因为图片看起来差异巨大，就给予了巨大的推力，即便学生早就已经确定烤面包机是不好的。

结果： 学生把所有时间都花在了学习如何区分猫和烤面包机（那些容易、明显的差异）上，却几乎没怎么学习如何发现猫耳朵上那道微小的划痕（那些困难、重要的细节）。在 AI 世界中，这意味着模型在安全性（拒绝不良请求）方面表现出色，但在推理任务上表现不佳，因为这类任务中，正确答案与错误答案之间的区别往往只是一个微小的逻辑步骤。

解决方案：NormBT（公正的老师）

作者提出了一种名为 NormBT 的新方法。

你可以将 NormBT 想象成一位不再关注画作看起来有多不同，而是完全专注于学生错得有多离谱的老师。

修复方案： NormBT 给老师的推力增加了一个特殊的“音量旋钮”。
- 如果两个答案看起来非常相似（距离小）但学生答错了，老师会调高音量。“嘿，尽管它们看起来很像，但你还是错了！注意听！”
- 如果两个答案看起来差异很大（距离大），老师会稍微调低音量。“好吧，你答对了，但别太兴奋，这个区别本来就很明显。”

为什么这很重要

论文在各种 AI 模型上测试了该方法，并发现：

它是“即插即用”的修复方案： 你不需要重建 AI 或改变它的“大脑”。你只需要更换老师进行推力计算时的数学公式即可。这既便宜又快速。
它有助于处理难题： 最显著的改进出现在推理任务（如编程或数学逻辑）中。这些任务中，“好”答案与“坏”答案看起来几乎完全一样，而旧的方法在教导 AI 识别这些细微差别时失效了。
它平衡了天平： AI 不再仅仅从容易的差异中学习，现在它能从困难的区别中同样有效地学习。

总结

论文指出，目前训练 AI 法官的标准方式偏向于明显的差异，而忽略了微妙的差异。通过添加一个简单的数学“归一化器”（NormBT），他们迫使 AI 专注于它错得有多离谱，而不是选项看起来有多不同。这使得 AI 在识别精细错误方面表现得更好，尤其是在复杂的推理任务中。

技术摘要：当距离成为干扰：BT-Loss 中奖励模型的表示距离偏差

1. 问题陈述

奖励模型（RM）是基于人类反馈的强化学习（RLHF）的核心，作为引导大语言模型（LLM）对齐的人类偏好代理。训练这些模型的标准目标函数是 Bradley-Terry (BT) loss，它从由“选中”（ $y_w$ ）和“拒绝”（ $y_l$ ）响应组成的成对数据中学习。

作者发现标准 BT loss 的更新动态存在一个关键缺陷：表示距离偏差（Representation Distance Bias）。虽然 BT 梯度旨在由预测误差（即排名错误的幅度）驱动，但分析表明，梯度的范数与两个不同的组件共同决定：

预测误差： 选中响应与拒绝响应之间预测奖励的差异。
表示距离： 两个响应在最终层输出空间中的距离（ $\|h_w - h_l\|$ ）。

这种耦合产生了一种伪造的学习信号，使得更新的幅度由这两个响应在表示空间中的距离，而非仅仅由模型的错误程度来决定。

小距离对（Small-Distance Pairs）： 语义或结构上相似的样本对（例如，一段正确的代码片段与一个仅含单个逻辑错误的片段）通常具有较小的表示距离。在标准 BT loss 下，这些样本对获得的更新极其微弱，即使模型对它们的排序出现了错误。这对于推理和编程等需要细粒度区分的任务至关重要。
大距离对（Large-Distance Pairs）： 差异巨大的样本对（例如，拒绝回答与回答有害查询）自然具有较大的表示距离。这些样本对会获得不成比例的强力更新，从而可能掩盖来自更微妙、更细粒度样本的学习信号。

因此，模型在最需要进行细粒度区分的困难任务上训练不足，而在处理表象差异时过度强调。

2. 方法论：NormBT

为了解决这种偏差，作者提出了 NormBT，一种自适应成对归一化方案，用于重新缩放每个偏好对的梯度贡献。

理论基础

作者分解了 BT 梯度范数 $\|\nabla_\theta L_{BT}\|$ ，并证明其正比于：
$\|\nabla_\theta L_{BT}\| \approx |\sigma(d) - 1| \cdot \|h_w - h_l\|$
其中 $d$ 是奖励差值， $\|h_w - h_l\|$ 是表示距离。为了使更新大小主要取决于预测误差项 $|\sigma(d) - 1|$ ，作者引入了一个权重 $w_i$ ，该权重与表示距离成反比。

实现细节

直接计算用于加权的精确梯度范数在计算上是非常昂贵的。相反，NormBT 使用最终层表示距离（ $\|h_w - h_l\|$ ）作为代理，这被证明是线性评分头（linear score head）的精确代理，也是全模型的强近似。

提出的损失函数为：
$\mathcal{L}_{NormBT}(\theta) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \tilde{w}(y_w, y_l) \cdot \log \sigma(r_w - r_l) \right]$

其中权重 $\tilde{w}$ 定义为：
$\tilde{w}(y, y_l) = \frac{\mu_t}{\|h_w - h_l\| + \epsilon}$

关键设计选择包括：

停止梯度（Stop-Gradient）： 距离项使用停止梯度算子进行计算，以防止归一化权重本身被优化。
EMA 稳定性： 为了防止训练期间的尺度漂移（因为嵌入量级可能会发生变化），作者使用批次平均表示距离（ $\mu_t$ ）的指数移动平均（EMA）来归一化权重。这确保了权重保持稳定，并能适应分布偏移。
轻量化集成： NormBT 不需要架构变更，保留了 BT 的概率基础，且产生的计算开销微乎其微。

3. 核心贡献

梯度分析： 本文提供了详细的理论和实证分析，表明 BT 梯度范数是由预测误差和表示距离共同决定的，从而导致了有偏差的学习信号。
识别偏差： 作者证明了这种耦合会导致小距离对（通常是最关键的细粒度任务）接收到微弱的更新，而大距离对则主导了学习信号。
提出 NormBT： 他们引入了 NormBT，这是一种通过表示距离对更新进行归一化的即插即用式修改，确保学习信号专注于预测误差。
实证验证： 在不同 LLM 基座（Gemma-2b-it, Llama-3.2-3B）和数据集（Unified-Feedback, Skywork-Reward）上的广泛实验展示了持续的性能提升。

4. 实验结果

作者在 RewardBench 基准测试和下游 Best-of-N (BoN) 选择任务上，将 NormBT 与标准 BT 基线以及几种变体（BT + Margin, BT + Label Smoothing）进行了评估。

RewardBench 表现： NormBT 在所有设置下均一致优于 BT 基线。最显著的增益出现在**推理（Reasoning）**类别中，其准确率平均提高了超过 5%。这验证了作者的假设，即推理任务依赖于被标准 BT 所抑制的细粒度区分（小表示距离）。
下游 RLHF (BoN)： 在 Best-of-N 选择实验中，使用 NormBT 训练的模型比 BT 基线获得了更高的“金标得分”（gold scores，即所选响应的质量）。
消融研究：
- NormBT 的表现优于 LayerNorm 和梯度裁剪（Gradient Clipping）等其他训练技术，后者未能解决样本对之间的相对权重问题。
- 该方法具有互补性，即使在其他 BT 变体（如 NormBT + Margin）之上应用也能提升性能。
- 移除 EMA 稳定性机制或使用替代相似度度量（如余弦相似度、平均池化嵌入）会导致性能下降，从而验证了特定设计选择的有效性。

5. 意义与主张

本文声称 NormBT 为标准 BT loss 的结构性限制提供了一个原则性且轻量级的解决方案。通过将更新幅度与表示距离解耦，NormBT 确保了奖励模型能够更忠实地从细粒度区分中学习，而这些区分通常是最具挑战性且最关键的。

作者强调，他们的工作并非直接解决数据质量或标注者偏差，而是提高了从现有成对数据中提取学习信号的效率和保真度。他们将 NormBT 定位为判别式奖励建模范式的基石性改进，有望在需要精确推理和微妙错误检测的领域中，为下游 RLHF 应用提供更可靠的奖励信号。