💬 NLP

The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement

本文介绍了 SAVE，这是一个利用价值锚定的在策略反馈（value-anchored on-policy feedback）来使奖励模型能够通过对策略响应进行评分并过滤模糊样本来实现自我监督与改进的框架，从而克服了对高成本人类偏好数据的依赖，并在多种基准测试和强化学习算法中展示了卓越的性能。

原作者： Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何写出伟大的故事。为了做到这一点，你需要一个老师（策略/Policy）来写故事，以及一个评委（奖励模型/Reward Model）来评分。

在标准的方法中（称为 RLHF），评委是在一大堆旧的人类笔记上训练完成的，然后就被固定住了。老师写故事，评委评分，老师也随之变得更好。

问题所在：
随着老师变得越来越聪明，它开始写出与评委所受训练的旧笔记非常不同的故事。评委感到困惑了。它开始给优秀的故事打差分，或者给糟糕的故事打高分，因为它从未见过这种“新风格”的写作。这导致了老师“钻系统的空子”——写出奇怪、机械化的故事来欺骗评委，从而获得高分，尽管这些故事本身并不好。这被称为“奖励作弊”（reward hacking）。

通常情况下，为了解决这个问题，你需要雇佣更多的人类来为新的故事评分，或者要求一个更聪明的 AI 来充当新的评委。这两者都既昂贵又缓慢。

解决方案：SAVE
这篇论文介绍了一个名为 SAVE 的新框架。你可以把它理解为赋予评委一种自我进化的超能力，让它能够通过学习老师自身的工作来进行学习，而不需要新的外部人类帮助。

它是这样运作的，我们用一个简单的类比来说明：

1. “价值锚点”（基准线）

想象一下，评委有一个特殊的工具：一个价值锚点（Value Anchor）。评委不再仅仅是看一个故事并说“好”或“坏”，而是通过锚点询问：“对于这个特定的提示词，平均而言，一个故事有多好？”

如果提示词是“写一首关于猫的诗”，锚点知道平均水平的猫诗也就那样。

如果老师写了一首比平均水平更好的诗，评委就会说：“这是一个正面样本！”
如果老师写了一首比平均水平更差的诗，评委就会说：“这是一个负面样本！”

这把老师自己的输出变成了一个自我评分系统。评委不需要知道“绝对真理”；它只需要知道什么比当前的平均水平更好或更差。

2. “自适应过滤器”（质量控制）

有时，老师会写出两个质量几乎完全相同的作品。评委可能会感到困惑并说：“嗯，这两个看起来都差不多。”

SAVE 有一个过滤器（Filter），它会说：“如果我们无法清晰地分辨好与坏的区别，那么暂时忽略这个例子。”它只保留那些差异明显且直观的例子。随着训练的进行，这个过滤器会变得越来越聪明，允许在后期使用稍微复杂一些的例子。

3. “自我监督循环”（循环过程）

这就是神奇的循环：

老师写出一批故事。
评委使用其价值锚点对它们进行比较。它将它们分为“优于平均水平”和“低于平均水平”。
评委利用这些清晰的差异来更新自身。它学习到：“啊，我明白了！当老师这样写的时候，它实际上是好的，即使它看起来和我的旧训练数据不一样。”
老师随后使用这个更聪明的评委来为它的下一批故事评分，从而变得更加优秀。

为什么这很重要？

无需新的人类参与： 评委从老师自身的错误和成功中学习，因此你不需要不断地雇人来为新数据评分。
保持新鲜感： 因为评委学习的是老师当前的写作风格，所以它永远不会“过时”。它会随着老师一起进化。
防止作弊： 通过将评分锚定在平均表现上，老师很难通过奇怪的低质量技巧来欺骗评委。

结果

作者在六个不同的“考试委员会”（基准测试）上测试了该方法，这些测试旨在检验一个评委的好坏。

得分： 初始评委的平均得分为 76.0。在使用 SAVE 后，它提升到了 77.3。
老师： 当他们使用这个改进后的评委来训练老师时，老师在遵循指令和创作高质量内容方面变得显著更好。

简而言之： SAVE 就像是给老师的阅卷员一面镜子。阅评员不再依赖旧教科书，而是观察学生当前的作品，将其与学生自身的平均水平进行比较，并从差异中学习。这让阅卷员变得更聪明，也让学生变得更优秀，而这一切都不需要聘请新的监考人员。

技术摘要：RLHF 的另一面 (SAVE)

问题陈述

通过基于人类反馈的强化学习（RLHF）进行大语言模型（LLM）对齐，高度依赖于奖励模型（RM）的质量。然而，构建鲁棒的 RM 面临两个主要的瓶颈：

数据获取成本： 获取多样化、高质量的偏好数据成本高昂，需要大量的专家人工标注，或从更强（通常是无法直接访问的）判别模型中进行蒸馏。
分布不匹配： 标准的 RM 是在静态的、离线的偏好数据上训练的。随着 RL 训练过程中策略模型（Policy Model）的演进，其生成分布会逐渐偏离静态训练集。这导致在优化后的策略频繁访问的区域出现校准失效，从而引发“奖励作弊”（Reward Hacking）和过度优化（古德哈特定律/Goodhart's Law）。

传统的补救措施，如收集新鲜的人类标签或重新查询外部判别器，仅仅是重复了原始的成本瓶颈，或者延续了对外部监督的依赖。本文提出了一个关键问题：奖励模型能否利用 RL 训练过程中生成的在策略（On-policy）响应进行自我改进，而无需额外的标签或外部判别器？

方法论：SAVE 框架

作者提出了 SAVE（通过价值锚定的在策略反馈进行自监督奖励模型改进），该框架将在策略响应视为自监督反馈，以持续精炼 RM。

核心组件

价值锚定奖励模型 (Value-Anchored Reward Model)：
RM 在标准的奖励头 ( $R(x, y)$ ) 之外，还增加了一个针对特定提示词的价值头 ( $V(x)$ )。价值头用于估计当前采样策略下，针对提示词 $x$ 的响应的预期奖励。这是通过共享 RM 的骨干网络 ( $f_\omega$ ) 并添加一个轻量级的价值头 ( $v_\psi$ ) 来实现的。
- RM 优势 (RM Advantage)： 特定响应 $y$ 的优势定义为 $a_{RM}(x, y) = R(x, y) - V(x)$ 。它衡量了一个响应是优于还是劣于策略针对该提示词的平均预期。
自适应反馈过滤 (Adaptive Feedback Filtering)：
为了确保自监督信号的可靠性，SAVE 采用了课程驱动的过滤机制：
- 对于每个提示词，采样一组 $G$ 个在策略响应。
- 具有接近零的 RM 优势（模糊样本）的响应会被过滤掉，过滤采用随训练步数衰减的动态阈值 $\mu(t)$ 。
- 只有产生正向（ $a_{RM} \ge 0$ ）和负向（ $a_{RM} < 0$ ）响应子集的提示词才会被保留，以提供对比信号。
自监督目标函数 (Self-Supervised Objectives)：
该框架使用两种不同的损失函数在过滤后的数据上优化 RM：
- 对比奖励损失 ( $L_R$ )： 一种价值锚定的对比目标，旨在将正向优势响应推至价值锚点之上，将负向优势响应推至价值锚点之下。这会更新奖励头 ( $h_\phi$ ) 和骨干网络 ( $f_\omega$ )。
- 价值校准损失 ( $L_V$ )： 一个均方误差（MSE）损失，用于训练价值头去预测采样组的无偏经验平均奖励。这确保了锚点作为一个校准基准的稳定性。
极大极小博弈形式 (Minimax Formulation)：
在理论上，SAVE 被构架为一个以奖励模型为中心的极大极小问题：
$\min_\eta \max_\theta M_t(\eta, \theta)$
其中，策略 ( $\theta$ ) 作为一个自适应的数据生成器，自然地寻找 RM 失效（暴露其弱点）的区域；而 RM ( $\eta$ ) 则最小化其在这些挑战性样本上的排序误差和校准误差。

核心贡献

SAVE 框架： 一个通用的自监督框架，通过在策略反馈不断改进奖励模型，消除了对额外人工标注或外部判别器的需求。
理论证明： 作者将该过程形式化为一个极大极小问题，从理论上证明了策略优化会自然产生具有信息量的样本，从而暴露奖励模型的认识论错误（Epistemic Errors）。
实证验证： 在六个不同的基准测试以及多种 RL 算法（GRPO, RLOO, GSPO）和策略骨干网络上进行了广泛实验。

实验结果

论文在六个奖励模型基准测试上评估了 SAVE：RewardBench、RewardBench 2、RM-Bench、PPE Preference、PPE Correctness 和 JudgeBench。

奖励模型性能：
- 从基线 RM（Skywork-Reward-V2-Llama-3.2-3B，平均分 76.0）开始，在使用更强的策略骨干（Qwen3-4B）时，SAVE 将平均分提升至 77.3。
- SAVE 在所有六个基准测试中均取得了最佳分数，超越了包括持续离线训练、平均奖励基线和 HL-BT（最高-最低 Bradley-Terry）方法在内的基线。
- 消融实验证实，课程过滤机制和动态策略更新对于性能至关重要；冻结策略或移除课程会导致性能下降。
下游策略性能：
- 改进的 RM 转化为更好的下游策略表现。在 AlpacaEval 2 上，长度控制的胜率从 51.68% 提高到 54.24%。
- 在 Arena-Hard-v2.0 上，胜率从 30.2% 上升到 33.9%。
- 改进后的 RM 具有可迁移性，即使在非协同训练的情况下，也能增强所使用的策略。

意义与主张

论文声称 SAVE 为奖励模型训练的“瓶颈”提供了可扩展的解决方案。通过利用策略自身的演进来生成具有信息量的在策略反馈，SAVE 打破了对静态离线数据和外部判别器的依赖。

作者强调：

自我改进是可行的： 奖励模型可以仅利用 RL 过程中的生成数据实现有效的自我改进。
价值锚定至关重要： 使用学习到的、针对特定提示词的价值锚点优于朴素的成对排序（如 HL-BT），后者容易过拟合于语义等价响应之间的表层结构差异。
鲁棒性： 该方法与优化器无关，在不同的无 Critic RL 算法（GRPO, RLOO, GSPO）中均表现出一致的增益。

论文总结道，在策略反馈是改进奖励模型及其引导的下游策略的有效监督信号，这标志着范式从孤立的奖励建模转向在线联合演进。

局限性

作者谦虚地承认了以下局限性：

模型规模： 实验是在 3B–4B 规模的模型上进行的；更大规模模型的动态特性仍需验证。
评估指标： 依赖于自动基准测试和基于 LLM 的判别器；人类偏好研究将提供更有力的证据，特别是在安全敏感或主观任务方面。
计算成本： 由于需要为每个提示词采样多个响应并在训练期间更新 RM，SAVE 引入了额外的计算开销，尽管据报告其时间开销相对于内存增加而言属于适中水平。