技术摘要：当分布内收益失效时：评估偏好偏移下的弱到强奖励模型

1. 问题定义

本文解决了可扩展监督中弱到强（W2S）泛化的一个关键缺口。虽然 W2S 框架旨在利用较弱教师模型的标签来训练更强的学生模型，以激发超越教师自身性能的能力，但现有的评估通常依赖于匹配的训测分布。

作者认为，这种设置高估了对齐在现实部署中的可靠性。具体而言，他们研究了零样本分布偏移下的 W2S 偏好学习。核心问题在于，在源域上基于弱偏好标签训练的强学生模型，往往在分布内（ID）表现看似成功，却无法将其学到的对齐行为迁移到未见过的目标域（分布外，OOD）。

本文识别出一种特定的失效模式：表示失效。弱监督微调可能会将强模型的内部表示拉向特定于源域的伪影，而非维持广泛可迁移的偏好表示。因此，模型虽然拟合了源数据，却丧失了泛化能力。

2. 方法论：表示锚定（ANCHOR）

为了缓解表示漂移，作者提出了表示锚定（ANCHOR），这是一种旨在约束弱监督微调期间学生模型的正则化技术。

核心机制

ANCHOR 在标准的弱到强偏好学习目标基础上，增加了一个正则项，使学生的隐藏状态保持接近于冻结的预训练参考模型（该模型与学生微调前从同一检查点初始化）的状态。

训练目标结合了两个部分：

1. 弱偏好损失（$L_{w2s}$）： 标准的 Bradley-Terry 损失，其中强学生学习去匹配弱教师生成的软偏好概率（$q_i$）。
2. 锚定损失（$L_{anchor}$）： 可训练学生与冻结参考模型隐藏状态之间的掩码均方误差（MSE）。该损失仅应用于响应令牌，排除提示和填充令牌。

样本 $i$ 的总损失为：
$$L(i) = L_{w2s}(i) + \lambda L_{anchor}(i)$$
其中 $\lambda$ 控制表示保持的强度。

变体

作者根据锚定层的不同评估了两种变体：

• 最后一层 ANCHOR（默认）： 将损失应用于最后的 Transformer 层。这在计算上高效，并直接正则化由奖励头使用的表示。
• 中间层 ANCHOR： 将损失应用于中间层（例如 50% 和 75% 的层），以在允许最终层具有更多灵活性的同时保留通用特征。

3. 评估协议与指标

本文引入了零样本偏好域偏移评估协议。模型在一个数据集（源域）上进行训练，并在以下设置中进行评估，而非标准的保留划分：

• 分布内（ID）： 来自同一源数据集的保留测试划分。
• 分布外（OOD）： 来自同一广泛偏好类别中不同数据集的测试划分（例如，在 HelpSteer3 上训练，在 Anthropic Helpful 或 UltraFeedback 上测试）。

为了量化性能，作者提出了三种感知迁移的指标：

1. 弱到强原始增益（WRG）： 衡量相对于弱教师的 ID 改进（源域上的 $Acc_{student} - Acc_{teacher}$）。
2. 绝对 OOD 增益（AOG）： 衡量向目标域的迁移（目标域上的 $Acc_{student} - Acc_{teacher}$）。
3. 净迁移分数（NTS）： 一个综合指标，会对源域的回退进行惩罚。
   $$NTS = AOG - \max(0, Acc_{teacher}^{ID} - Acc_{student}^{ID})$$
   这确保了 OOD 域中的收益不是以牺牲源域的可靠性为代价获得的。

4. 关键结果

实验在两个偏好类别（Helpful 和 Harmless）和两个模型系列（Llama 和 Qwen）上进行，使用了 HelpSteer3、Anthropic Helpful/Harmless、UltraFeedback、PKU-SafeRLHF 和 RAIL 等数据集。

• ID 成功掩盖 OOD 失败： 基线方法（朴素 W2S 和基于置信度的 W2S）通常能实现强劲的 ID 性能（高 WRG），但在 OOD 设置中表现出显著的绩效下降或负迁移。例如，在 HelpSteer3 上训练的朴素模型在 Anthropic Helpful 上评估时，准确率下降了 20 个百分点。
• SEAM 权衡： SEAM 基线表现出尖锐的权衡，实现了有竞争力的 OOD 增益，但往往以严重的 ID 退化（负 WRG）为代价。
• ANCHOR 性能： ANCHOR 始终实现了最平衡的结果。它在保持有竞争力的 ID 性能的同时，显著改善了 OOD 迁移。
  • 在 Llama/Helpful 设置中，ANCHOR 将 Anthropic Helpful 上的 AOG 从 0.60（朴素）提升至 4.41。
  • 它在大多数配置中产生了最高的净迁移分数，证明了它在实现跨域泛化的同时，成功保留了源域的可靠性。
• 消融研究结果：
  • 锚定强度（$\lambda$）： 适中的锚定强度（例如 $\lambda = 10^{-4}$）提供了最佳平衡。更强的约束阻碍了对弱信号的适应，而更弱的约束未能防止漂移。
  • 层选择： 最后一层 ANCHOR 通常比中间层 ANCHOR 提供更好的整体平衡，表明正则化最终表示对于此任务已足够且更高效。

5. 意义与主张

本文提出了三项主要贡献：

1. 评估协议： 建立了一个严格的零样本偏好域偏移协议，论证了仅凭 ID 准确率不足以评估 W2S 奖励模型。
2. 实证证据： 证明了当前的 W2S 方法在分布偏移下是脆弱的，揭示了分布内收益可能会高估对齐的可靠性。
3. 稳健方法： 引入了 ANCHOR，这是一种简单的正则化方法，能有效限制表示漂移。作者声称，这为实现更稳健的偏好迁移提供了一条实用路径，且无需改变推理时的架构。

作者得出结论，稳健的 W2S 对齐不仅需要通过强模型是否从弱监督中学习来评估，还需要通过所学奖励函数在特定训练域之外是否保持可靠来评估。

6. 局限性

作者承认了几个局限性：

• 离线代理指标： 评估依赖于离线成对准确率，这可能无法完全捕捉下游部署的细微差别（例如 best-of-n 选择、在线 RLHF 或开放式生成质量）。
• 计算成本： 虽然推理保持标准，但训练需要通过冻结参考模型进行额外的前向传递，增加了显存和时间需求。
• 范围： 实验仅限于特定的 helpful/harmless 领域和模型规模；需要在多样化的任务领域和更大的模型家族中进行更广泛的评估。