Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

技术摘要：FiMi-RM（通过偏差拟合缓解奖励模型中的长度偏差）

问题陈述

基于人类反馈的强化学习（RLHF）是使大语言模型（LLM）与人类偏好对齐的标准框架。然而，这一过程容易受到奖励作弊（reward hacking）的影响，即策略会利用训练好的奖励模型中的缺陷来最大化分数，而非真正遵循人类意图。一种普遍的作弊形式是长度偏差（length bias），即奖励模型会系统性地偏好较长的回答，无论其质量如何。这导致下游模型生成过度冗长的内容。

现有的缓解策略存在显著局限性：

1. 缺乏特征化： 一些方法（如 RRM）试图平衡数据分布或使用因果框架，但并未明确对偏差的形式进行建模。
2. 线性假设： 许多方法（如长度惩罚、ODIN、Huang 等人）假设响应长度与奖励之间存在线性关系。它们要么根据长度减去一个固定系数，要么使用线性回归将长度与质量解耦。
3. 不足之处： 这些线性假设无法捕捉长度与奖励得分之间复杂的非线性交互本质，尤其是不同长度区间内观察到的复杂模式。

方法论：FiMi-RM

作者提出了 FiMi-RM（通过偏差拟合来缓解奖励模型中的长度偏差），这是一个旨在自主学习并纠正底层非线性偏差模式的框架。该方法分为三个不同的阶段运行：

1. 预热阶段（Warm-Up Stage）：

   • 使用 Bradley-Terry 损失在偏好数据上训练标准的奖励模型（$model_r$）。
   • 至关重要的是，此阶段保留了奖励模型固有的长度偏差，而不是立即尝试纠正它。这确保了模型具有强大的、系统性的倾向，即为较长的回答分配更高的分数，从而为随后的拟合阶段提供一个清晰的目标。

2. 长度偏差拟合阶段（Length Bias Fitting Stage）：

   • 引入一个轻量级的拟合模型（$model_f$），用于显式表征响应长度（$len(y)$）与有偏差的奖励输出（$r$）之间的关系。
   • 架构： 标量长度被投影到一个 $d$ 维特征空间（使用受位置编码启发的长度编码），通过 ResNet 架构进行处理，然后通过线性投影头来预测奖励（$\hat{r}$）。
   • 目标： 拟合模型的训练目标是最小化其预测值（$\hat{r}$）与实际奖励模型输出（$r$）之间的差异。优化过程使用皮尔逊相关系数损失（$L_{pearson}$），以最大化预测奖励与实际奖励之间的相关性。
   • 核心洞察： 使用皮尔逊损失可以在不给拟合模型本身施加线性约束的情况下实现相关性对齐。基于 ResNet 的 $model_f$ 可以自由学习复杂的非线性依赖关系。

3. 长度去偏差阶段（Length Debiasing Stage）：

   • 对原始奖励模型进行微调，使其在保持建模人类偏好能力的同时，实现输出与响应长度的解耦。
   • 训练机制： 该框架采用奖励模型与拟合模型之间的交替训练策略。
   • 损失函数： 奖励模型使用复合损失进行优化：
     $$L_{debiased} = L'_{pearson} + L_{BT}$$
     • $L'_{pearson}$：迫使奖励模型的输出与拟合模型的预测值不相关（从而有效地移除学习到的偏差）。
     • $L_{BT}$：标准的 Bradley-Terry 损失，确保模型保留其判别人类偏好的能力。
   • 指示函数 $I(step)$ 在拟合偏差和对奖励模型进行去偏差之间交替进行训练步骤。

核心贡献

1. 非线性偏差建模： 本文引入了一个多阶段框架，能够自主学习响应长度与“作弊”奖励之间的非线性关系，超越了以往工作中简单的线性假设。
2. 非线性的实证验证： 通过拟合过程，作者识别出一种多阶段偏差模式：
   • 短响应（<100 个 token）： 表现出强烈的线性相关性，即奖励随长度增加而增加。
   • 较长响应： 这种关系趋于平缓，在某些情况下甚至表现出轻微的下降趋势，表明长度对奖励的正向影响随着输出变长而减弱或反转。
3. 全面评估： 该方法通过长度-奖励分布分析、长度控制胜率以及多种对齐算法（DPO 和 Best-of-N）下的响应长度分布进行了验证。

实验结果

作者使用 Qwen2.5-7B 和 Gemma2-9B 模型在 Anthropic HH 数据集上对 FiMi-RM 进行了评估，并将其与 Vanilla 奖励模型、长度惩罚（Length Penalty）和 ODIN 进行对比。

• 偏好准确度： FiMi-RM 在被选响应较长（C-longer）与较短（R-longer）的子集上实现了更平衡的准确度。虽然在 C-longer 子集上的整体准确度略有下降，但作者认为这表明成功移除了“长度捷径”，而非丧失了语义理解能力。
• 长度-奖励分布： 散点图显示，与基准模型相比，FiMi-RM 在不同长度区间内产生了更对称且更平坦的奖励分布，证实了有效的去偏差效果。
• 下游性能（BoN & DPO）：
  • 胜率： 在 Best-of-N (BoN) 和直接偏好优化 (DPO) 设置中，FiMi-RM 均获得了最高的**长度控制胜率（LC-WR）**和标准胜率（WR）。
  • 冗长性： 与 Vanilla RM 和长度惩罚相比，该方法显著降低了生成响应的平均 token 长度，同时保持或提升了在 MT-Bench 和 IFEval 等基准测试上的表现。
  • 选择偏差： 在 BoN 选择中，与倾向于将偏好转向中等长度响应的 ODIN 相比，FiMi-RM 展示了对简洁输出更强的偏好。

意义与主张

本文声称，FiMi-RM 通过显式建模问题的非线性本质，提供了一种更精确、更有效的缓解长度偏差的方法。通过在不损害核心偏好建模能力的前提下将长度从奖励中解耦，该方法使 RLHF 流水线能够生成既高质量又长度适度的响应。

作者指出，尽管他们的方法有效地减少了伪相关性，但人类偏好是否完全独立于长度仍是一个开放性问题。他们承认在某些语境下（例如需要详细解释的任务），长度与质量之间的正相关性是真实的。然而，他们的框架成功地区分了可利用的偏差与真实的偏好，从而实现了更安全、更有效的模型对齐。