🤖 machine learning

The Hidden Bias of Process Reward Models:PRISM for Rewarding the Right Reasoning

本文识别了过程奖励模型（PRM）中由数据不平衡导致的隐藏偏差，这种偏差会导致对错误步骤的过度授信，并提出了 PRISM，一种对比训练框架，该框架通过优先考虑可靠的相对比较而非逐点标签拟合，显著减少了假阳性并提高了下游任务中的推理准确性。

原作者： Aakriti Agrawal, Souradip Chakraborty, Armin Saghafian, Nihal Sharma, Rizal Fathony, Nam H Nguyen, C. Bayan Bruss, Amrit Singh Bedi, Furong Huang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aakriti Agrawal, Souradip Chakraborty, Armin Saghafian, Nihal Sharma, Rizal Fathony, Nam H Nguyen, C. Bayan Bruss, Amrit Singh Bedi, Furong Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：一个“有缺陷的老师”

想象一下，你正在教一个学生（AI）如何解决复杂的数学问题。你不仅检查最终答案，还使用“过程奖励模型”（Process Reward Model, PRM）来为学生每一步走的过程进行评分。这本应是一个非常给力的老师，能提供即时反馈。

然而，作者发现这些老师存在一种隐藏的偏见。他们太“温柔”了。

由于训练数据是不平衡的（数据集中“看起来正确”的步骤远多于“错误”的步骤），这些 AI 老师开始变得懒惰。它们开始给那些看起来流畅、合理但实际上在数学上是错误的步骤打高分。

类比： 想象一个学生正在写论文。他写了一句话，听起来非常有深度且使用了高级词汇，但逻辑完全是断裂的。标准的 AI 老师可能会仅仅因为它听起来很专业就给它一个“A”。
后果： 如果 AI 因为一个错误的步骤得到了高分，它就会认为：“太棒了！我走在正确的轨道上！”并沿着错误的路径继续走下去。这被称为过度信用偏见（Overcredit Bias）。这就像一个 GPS，即使前方是一堵墙，只要路看起来像是通向正确方向，它就会一直告诉你向左转。

为什么这很重要：“坏苹果”效应

论文解释说，这些错误不仅仅是小失误，由于 AI 使用这些反馈的方式，它们是非常危险的。

假阴性（漏掉了一个好的步骤）： 如果老师错过了一个好的步骤，AI 只会尝试更努力或进行更多探索。这虽然很烦人，但并不会致命。
假阳性（奖励了一个坏的步骤）： 这才是真正的危险所在。如果老师奖励了一个错误的步骤，AI 会主动将自己引向那条错误的路径。
类比： 想想“N 选 1”（Best-of-N selection）的选择过程（即 AI 尝试 10 种不同的解决方案并挑选出最好的一个）。如果老师因为某个方案“听起来”很对而给了一个高分，AI 就会选择那个错误的方案而不是正确的方案。这就像一个评委因为一幅画看起来很闪亮就选中了假画，却忽略了真正的杰作。

解决方案：PRISM（一位“严厉的教练”）

为了解决这个问题，作者创建了一种名为 PRISM（用于改进步骤建模的精度排序，Precision Ranking for Improved Step Modeling）的新型训练方法。PRISM 不再只是问：“这一步是对还是错？”（这会导致偏见），而是改变了游戏规则，变为：“这一步是否比那一步更好？”

以下是 PRISM 的工作原理，它使用了三个简单的技巧：

1. “味觉测试”（步骤对比学习）

PRISM 不再孤立地对步骤进行评分，而是强迫模型进行两两对比。

类比： 与其问美食评论家，“这个汉堡好吃吗？”（这样他们可能会为了表现得友好而对一个平庸的汉堡说好），不如问：“这个汉堡和那块石头相比，哪个更好吃？”
结果： 模型学会了区分“看似合理但错误”与“真正正确”之间的区别。它不再给那些仅仅是“看起来不错”的东西打高分。

2. “时空穿越”技巧（时间前瞻）

作者需要更多“困难错误答案”的例子来教导模型。他们没有要求人类标注新标签（这很昂贵），而是使用了一个聪明的技巧：他们从解题过程的后期取出一个步骤，并将其视为当前时刻的“错误”步骤。

类比： 想象一个学生正在解一道数学题。他在做代数运算之前就直接跳到了最后一步，写下了最终答案。
- 最终答案错了吗？ 没有，它是正确的！
- 它是现在的正确步骤吗？ 不！它的顺序不对！
- PRISM 的做法： 它把那个未来的答案当作当前步骤的“硬负例（Hard Negative）”。它教会了 AI，即使是一个正确的答案，如果出现得过早，也是一种错误。

3. “循序渐进”阶梯（课程学习）

训练这种复杂的对比是非常困难的。如果你立刻把最难的问题扔给 AI，它会感到困惑。

类比： 你不会让一名初学者直接去跑马拉松。你会从 5 公里开始，然后是 10 公里，最后才是半程马拉松。
PRISM 的做法： 它从简单的对比开始（其中正确答案明显优于错误答案），然后慢慢过渡到使用“时空穿越”产生的硬负例。这有助于模型建立识别错误的“肌肉记忆”，而不会感到不知所措。

结果：更安全、更聪明的 AI

论文在数学问题和编程任务上测试了这种新方法。

更少的错误： 新模型（PRISM）产生的“假阳性”错误（即给错误步骤打高分）显著减少。它将这些错误减少了约 22%。
更好的表现： 当用于引导 AI 的思考（如“N 选 1”选择或引导式解码）时，AI 解决问题的正确率更高。
- 在某些测试中，引导式解码的准确率提升了 22%，而在“N 选 1”选择中的准确率提升了 33%。
底线结论： 论文总结道，为了让 AI 值得信赖，我们不应该仅仅奖励那些“看起来正确”的步骤。我们需要奖励那些“因为正确的理由而做出的正确推理”。PRISM 通过教导 AI 成为一个更严格、更精准的评判者，完美实现了这一点。

技术总结：过程奖励模型的隐藏偏差：通过 PRISM 实现更精准的推理奖励

1. 问题定义与动机

过程奖励模型（Process Reward Models, PRMs）已成为现代推理系统中不可或缺的一部分，通过提供步骤级的反馈，来改善长程任务（如数学、程序合成和规划）中的信用分配问题。然而，本文识别出了当前 PRM 中一个关键且隐藏的失效模式：过度授信偏差（Overcredit Bias）。

核心问题：过度授信偏差

尽管 PRM 非常有用，但标准的 PRM 经常会对看似合理但实际上错误的推理步骤赋予高分。这种现象是由步骤级训练数据（例如 PRM800K）中严重的类别不平衡驱动的。虽然完整的推理轨迹通常是错误的，但在出现第一个决定性错误之前，它们往往包含许多局部正确的步骤。因此，步骤级数据集在正向标签上严重倾斜（例如，正确步骤占比 73.1%，而正确轨迹仅占 14.2%）。

当 PRM 使用此类不平衡数据通过标准的逐点目标函数（如交叉熵）进行训练时，它们会继承这种偏差，将优先级放在流畅度和局部合理性而非实际正确性上。这导致了较高的假阳性（False Positive, FP）率。

不对称的下游影响

本文认为，PRM 误差在下游策略学习和推理时搜索中的影响具有高度的不对称性：

假阴性（False Negatives, FN）： 主要通过丢弃正确的步骤来减慢探索速度，增加样本复杂度，但不会从根本上改变策略的方向。
假阳性（False Positives, FP）： 会主动将策略引导至错误的路径。在 Best-of-N 选择、引导解码或强化学习中，一个被过度授信的步骤可能会抬高整个错误轨迹的分数。

理论分析（定理 2.1）表明，在 Best-of-N 选择中，非零的假阳性率（FPR）会导致性能出现硬性的渐近天花板，而假阴性仅影响收敛速率。因此，降低 FPR 对于提升对齐上限至关重要。

2. 方法论：PRISM

为了应对这些挑战，作者提出了 PRISM（用于改进步骤建模的精度排序），这是一个面向策略、具备标签效率的训练框架。PRISM 将训练目标从逐点标签拟合转向可靠的相对比较，且无需新的人工标注。

PRISM 的核心组件

A. 步骤对比（Step-Contrastive, SC）损失

PRISM 不再通过交叉熵优化绝对二元标签，而是采用成对偏好损失。其目标是在给定相同前缀 $(x, y_{<t})$ 的情况下，最大化正确步骤 ( $y^+_t$ ) 与错误步骤 ( $y^-_t$ ) 之间的奖励差值：
$\mathcal{L}_{SC}(\theta) = -\mathbb{E}_{(x, y^+_t, y^-_t) \in \mathcal{D}} [\log(\sigma(r_\theta(x, y_{<t}, y^+_t) - r_\theta(x, y_{<t}, y^-_t)))]$
这种方法直接优化了下游策略优化所需的相对排序，确保在同一上下文中，正确步骤比错误步骤更受青睐。

B. 时间前瞻硬负采样（Temporal Lookahead Hard-Negative Augmentation）

为了有效地训练对比损失，模型需要“硬负样本”——即对于当前前缀而言无效但看起来合理的后续步骤。PRISM 通过时间前瞻策略生成这些样本：

它将同一轨迹中的未来步骤视为早期前缀的负样本候选。
例如，在数学解题中，最终的根答案在数学上是有效的，但如果它出现在中间简化步骤之前，那么它作为一个“下一步”则是无效的。
该策略利用现有数据（PRM800K）生成了约 22 万个训练对，无需额外的人工标注，创造了能够暴露过度授信错误的挑战性比较。

C. 难度感知课程学习（Difficulty-Aware Curriculum）

在硬负样本上进行训练可能会产生噪声。PRISM 引入了一种课程学习策略，其中样本对的难度由当前模型的预测边际（ $D_{Hard}$ ）定义：

预测边际为负的样本对（即模型已经倾向于选择错误步骤的情况）会被剔除，因为它们对于可靠学习来说过于困难。
剩余的样本对按难度进行分箱，使模型能够随着训练的推进，逐步学习到更强的边际区分能力。

3. 实验结果

作者在 PRMBench 和 ProcessBench 上评估了 PRISM，并在 MATH-500、AIME 2024 和 LiveCodeBench 上测试了其下游性能。

PRM 评估指标

假阳性率降低： PRISM 将 PRMBench 上的 FPR 从 69.34%（基线） 降低至 47.13%，降幅达 22%。
精确度（Precision）： 精确度从 89.40% 提升至 91.93%。
权衡： 虽然假阴性率（FNR）略有增加，但论文指出这是可以接受的，因为 FNR 不会像 FPR 那样引发渐近性能天花板。
鲁棒性： 与基线相比，PRISM 在阈值选择方面表现出更强的鲁棒性，保持了良好的 FPR-FNR 权衡。

下游策略性能

应用于推理时搜索和策略优化时：

引导解码（Guided Decoding）： 观察到高达 22% 的准确率提升。
Best-of-N 选择： 观察到高达 33% 的准确率提升。
策略优化： 该方法提高了强化学习（GRPO）环境下的鲁棒性和准确性，缩小了离线奖励指标与实际策略行为之间的差距。

4. 贡献与意义

本文做出了三个主要贡献：

精度优先的分析： 它形式化了步骤级过度授信如何在轨迹中累积，并证明了在 Best-of-N 选择中误差的剧烈不对称性，从而确立了 FPR 决定渐近对齐天花板的结论。
标签高效的训练方案： PRISM 提供了一种与架构无关的方法，能够将现有的步骤标签转化为匹配的比较，利用时间前瞻获取硬负样本，并采用难度感知课程学习，且全程无需新的人工标签。
下游对齐的增益： 实验结果表明，减少过度授信可以产生更可靠的 PRM 和更强的策略对齐，验证了这样一个假设：值得信赖的过程监督需要能够区分真正的正确推理与仅仅是看起来合理的轨迹。

意义

作者总结道，PRM 训练的目标不应仅仅是最大化平均步骤级准确率，而是要学习能够可靠地将正确延续（continuations）排在看似合理但错误的延续之上的评分。通过从逐点拟合转向校准的偏好边际，PRISM 解决了破坏下游对齐的系统性失效模式，为构建更可靠的推理系统提供了路径。