💬 NLP

Process Rewards with Learned Reliability

本文介绍了 BetaPRM，一种分布式过程奖励模型，它同时预测步骤级成功概率及其可靠性以支持自适应计算分配，从而通过基于预测置信度动态调整计算量，显著提升了 Best-of-N 推理中的准确率与 token 消耗之间的权衡。

原作者： Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位老师，正在批改学生的一篇长篇、多步骤的数学论文。你希望对每一个步骤都给予反馈，而不仅仅是最终答案。这就是**过程奖励模型（PRMs）**为人工智能所做的工作：它们充当逐步指导的教练，告诉人工智能“第一步做得很好”，或者“第二步看起来有问题”。

然而，论文指出了这些教练目前工作方式的一个缺陷。它们只给出一个数字（例如 8/10 的分数），并表现得好像这个数字是 100% 确定的。但事实上，教练可能只是在猜测。如果人工智能走了一条看似可行但可能通向死胡同的奇怪路径，旧的教练仍然会给它高分，而人工智能则会盲目地信任它。

作者提出了一种名为BETAPRM的新教练，它不仅给出分数，还会给出置信度。

以下是使用简单类比进行的分解说明：

1. 问题：会“猜测”的教练

想象你试图预测抛硬币的结果是否为正面。

旧方法（标准 PRM）： 你抛了 8 次硬币，其中 5 次是正面。旧教练说：“概率正好是 62.5%。”它将这个微小的样本视为一个完美且不可改变的事实。
问题所在： 如果你再抛 8 次硬币，你可能会得到 4 次正面或 6 次正面。旧教练并不知道这一点。它将"62.5%"视为铁一般的事实，尽管这是基于一个微小且充满噪声的样本得出的。这使得人工智能在不确定情况下表现得过于自信。

2. 解决方案：“诚实”的教练（BETAPRM）

BETAPRM改变了游戏规则。它不再给出一个单一的数字，而是给出一个可能性范围，并告诉你它对这一范围的把握有多大。

类比： 想象教练手里拿着一根橡皮筋。
- 橡皮筋的中心： 这是预测的分数（例如，“这一步看起来有 70% 的可能性是正确的”）。
- 橡皮筋的紧绷程度： 这代表了可靠性。
  - 紧绷的橡皮筋（高置信度）： 教练非常确定。橡皮筋紧紧地绷在 70% 的刻度周围。如果你再抛一次硬币，结果很可能仍会保持在 70% 附近。
  - 松弛的橡皮筋（低置信度）： 教练不确定。橡皮筋被拉得很宽，覆盖了从 40% 到 90% 的所有范围。教练的意思是：“我认为它是 70%，但我可能完全搞错了。”

通过学习这种“紧绷度”（论文中称为集中度），模型学会了说：“我对这一步很有信心”，或者“我仅仅是在猜测，所以不要太信任我”。

3. 它是如何学习的：“蒙特卡洛”训练

教练如何学会变得诚实？

论文使用了一种称为**蒙特卡洛延续（Monte Carlo continuations）**的方法。想象人工智能尝试解决一个问题，在第 3 步停下来，然后从那个确切的点出发，尝试 16 次不同的方式来完成这个问题。
这 16 次尝试中，有些成功了，有些失败了。
旧教练： 查看这 16 次尝试，计算成功的次数（比如 10 次），并将"10/16 = 0.625"作为绝对真理记忆下来。
BETAPRM： 查看这 16 次尝试并思考：“好吧，我看到了 10 次成功。这是一个好迹象，但因为我只有 16 次尝试，所以存在很多随机性。我应该保持橡皮筋松弛，以容纳这种噪声。”

它使用一种称为**Beta-Binomial（贝塔 - 二项式）**分布的数学工具，来学习分数与不确定性之间的这种平衡。

4. 超能力：自适应计算（ACA）

论文介绍了一种利用这种“诚实教练”的新方法，称为自适应计算分配（Adaptive Computation Allocation, ACA）。

把这想象成一次公路旅行的预算。你有一定量的汽油（或金钱）来寻找最佳路线。

旧方法（固定预算）： 无论情况如何，你都会派出 16 辆不同的车去寻找最佳路线。即使第 1 辆车在第一英里后明显是获胜者，你仍然会派出其余的 15 辆车以求保险。这浪费了汽油。
新方法（ACA）：
1. 你先派出一小组车（比如 4 辆）。
2. 你检查“诚实教练”（BETAPRM）。
3. 情景 A（高置信度）： 教练说：“第 1 辆车是获胜者，而且我非常有信心（橡皮筋紧绷）没有其他车能超越它。”
  - 行动： 立即停止！节省汽油。你不需要派出其余的 12 辆车。
4. 情景 B（低置信度）： 教练说：“第 1 辆车看起来不错，但我的橡皮筋很松弛。我不确定第 2 辆或第 3 辆车是否实际上更好。”
  - 行动： 不要停止。派出更多的车去探索那些不确定的路径。

结果

论文在四种不同的人工智能模型和四个数学基准测试上对此进行了测试。

更好的选择： 通过更信任那些“紧绷橡皮筋”的分数，人工智能选择正确答案的频率比旧方法更高。
节省汽油： 新方法（ACA）节省了高达**33.57%**的解决问题所需的计算能力（token）。它停止在答案已经显而易见的问题上浪费时间，而只在真正不确定时才投入额外的时间。

总结

BETAPRM是一位更聪明的教练，它不仅给出等级，还会告诉你该在多大程度上信任这个等级。通过知道何时是在猜测，人工智能可以停止在简单问题上浪费精力，而将脑力集中在那些困难且不确定的问题上。

技术摘要：基于学习可靠性的过程奖励（BETAPRM）

1. 问题陈述

过程奖励模型（PRMs）为推理任务提供步骤级反馈，指导候选选择与策略优化。然而，现有的 PRMs 通常对每个推理步骤仅输出单个点估计（例如，标量概率）。这种接口存在两个关键局限性：

缺乏不确定性量化：单个标量分数无法区分高置信度预测与低置信度预测。下游方法被迫将不完美的步骤级预测视为可靠的决策信号，即使模型的置信度很低。
有噪声的有限样本监督：标准 PRM 训练通常依赖蒙特卡洛（Monte Carlo）续接来生成监督信号。如果从某个前缀采样 $N$ 个续接，其中 $K$ 个成功，则经验比率 $\hat{q} = K/N$ 被视为回归的点目标。然而， $\hat{q}$ 仅仅是真实前缀成功概率的一个有噪声估计。由于随机性，从同一前缀重复采样可能会得到不同的 $K$ 值，但标准训练迫使模型拟合这个特定的有噪声比率，而非潜在的可能结果分布。

因此，下游应用无法区分那些可靠正确的高奖励步骤与那些高奖励但不确定的步骤，导致测试时扩展和计算分配次优。

2. 方法论：BETAPRM

作者提出了 BETAPRM，这是一种分布式过程奖励模型，能够同时预测步骤级成功概率及其预测的可靠性。

2.1 Beta-二项计数模型

BETAPRM 不再回归到点目标 $\hat{q} = K/N$ ，而是将前缀成功概率 $q_t$ 建模为遵循 Beta 分布 的潜在变量：
$q_t \sim \text{Beta}(\alpha_t, \beta_t)$
观测到的 $N$ 次试验中成功续接的数量 $K_t$ 被建模为以 $q_t$ 为条件的二项分布抽样：
$K_t | q_t \sim \text{Binomial}(N, q_t)$
通过对潜在变量 $q_t$ 进行边缘化，模型学习观测计数上的 Beta-二项分布。这使得模型能够对观测到的计数 $K_t$ 分配似然度，而不是强制拟合比率 $K_t/N$ 。

2.2 参数化

Beta 分布通过其均值 $\mu_t$ 和浓度 $\kappa_t$ 进行重参数化：

均值（ $\mu_t$ ）：表示期望的成功概率，作为标准标量 PRM 分数。
浓度（ $\kappa_t$ ）：控制信念的尖锐程度。高 $\kappa_t$ 表示集中（可靠）的信念，而低 $\kappa_t$ 表示平坦（不确定）的信念，能够解释更广泛的蒙特卡洛观测结果。

模型架构使用标准语言模型骨干网络。均值 $\mu_t$ 源自"Yes"奖励 token 的 softmax 概率。浓度 $\kappa_t$ 则由应用于过程标记处隐藏状态的独立轻量级线性头预测，确保奖励通道与可靠性通道相互独立。

2.3 训练目标

训练损失由两部分组成：

Beta-二项似然（ $L_{\text{Beta-Binomial}}$ ）：最大化给定预测 Beta 参数下观测计数 $K_t$ 的似然度。这鼓励模型解释观测到的蒙特卡洛数据分布。
辅助正则化（ $L_{\text{reg}}$ ）：为防止浓度参数变得未校准，当预测均值 $\mu_t$ 与观测比率 $K_t/N$ 不一致时，辅助损失会对高浓度（ $\kappa_t$ ）施加惩罚。关键在于，在此项中对 $\mu_t$ 应用了停止梯度（stop-gradient）操作，以确保正则化器校准 $\kappa_t$ ，而不会将奖励均值拉向有噪声的比率。

$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$

3. 应用：自适应计算分配（ACA）

利用学习到的可靠性信号，作者为 PRM 引导的 Best-of-N 推理引入了 自适应计算分配（ACA）。与无论难度如何都采样固定数量候选者的固定预算 Best-of-N 不同，ACA 动态分配计算资源：

风险调整评分：候选者使用风险调整指标 $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$ 进行评分，其中 $\sigma_t$ 是从 Beta 分布导出的标准差。这会对高不确定性的候选者施加惩罚。
早期停止：ACA 以渐进批次采样候选者。如果当前最佳候选者的下置信界（LCB）超过所有竞争对手的上置信界（UCB），则提前停止，表明获胜者已可靠领先。
不确定性引导修复：如果未满足停止准则，ACA 将下一批计算资源分配给修复最有希望的“不确定前缀”（即具有最高 UCB 的非获胜者），而不是从头生成全新的候选者。

4. 实验结果

作者在四个骨干模型（InternVL2.5-8B、InternVL3-8B、InternVL3-14B、Qwen2.5-VL-7B）和四个推理基准（MathVision、OlympiadBench、MathVerse、MathVista）上评估了 BETAPRM。

Best-of-N 选择：在所有骨干模型上，BETAPRM 均提高了最终答案的准确率，优于标准 PRM。例如，在 InternVL2.5-8B 上，BETAPRM 相比标准 PRM 实现了平均 +3.37 分 的提升。
错误检测：BETAPRM 保留了标准的步骤级错误检测能力，在 VisualProcessBench 上实现了与标准 PRM 相当或略高的微 F1 分数。
准确率 - 令牌权衡：在 ACA 设置（固定最大预算 $N=16$ $N = 16$ ）下，BETAPRM 显著提高了推理效率。
- 它将令牌使用量减少了高达 33.57%（在 InternVL2.5-8B 的 MathVerse 上），同时相比固定预算 Best-of-16 提高了最终答案准确率。
- 消融研究证实，BETAPRM 学习到的不确定性信号优于使用带有代理不确定性的标准 PRM 或仅基于奖励的分配，因为后者未能识别出那些尽管分数高但仍需要额外计算的前缀。

5. 意义与主张

论文主张，BETAPRM 解决了当前 PRM 接口中的一个根本性不匹配：无法区分可靠预测与不确定预测。通过将前缀成功概率建模为分布而非点估计，BETAPRM 能够：

实现可信决策：下游算法现在可以区分高置信度奖励与不确定奖励，防止不可靠的分数主导决策。
提高测试时效率：学习到的可靠性信号允许自适应计算分配，在降低推理成本（令牌）的同时，不牺牲甚至提高准确率。
更好地利用监督：Beta-二项目标有效地利用了蒙特卡洛监督的有限样本特性，将计数 $K$ 视为随机观测值而非确定性标签。

作者总结道，将标量过程奖励转化为具有可靠性感知能力的信号，是扩展测试时计算并提高推理系统鲁棒性的关键一步。