💬 NLP

From Correctness to Utility: Gain-Based Prefix Evaluation for LLM Reasoning

本文介绍了前缀效用模型（Prefix Utility Model, PUM），这是一种通过评估推理前缀提升任务成功完成概率的能力（即前缀增益），而非基于局部步骤的正确性，来评估推理前缀的新颖方法，从而在各种搜索和训练场景中为大语言模型推理提供更有效的监督信号。

原作者： Yuhang Zhou, Yixin Cao, Guangnan Ye

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuhang Zhou, Yixin Cao, Guangnan Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：不仅仅是每一步都“正确”

想象你正在尝试破解一个复杂的迷宫。在过去，当我们教导人工智能（大语言模型）如何破解这些迷宫时，我们使用了一种叫做**过程奖励模型（Process Reward Models, PRMs）**的方法。

把 PRMs 想象成一个严厉的老师，走在 AI 身边检查它的每一步。

第 1 步： “你向左转对了吗？”（是/否）
第 2 步： “你把数字 5 写对了吗？”（是/否）

如果 AI 的某一步符合规则，老师就会给一个赞。问题在于：有时 AI 采取了一个符合规则的步骤，却导致它走进了一个死胡同。或者，它可能采取了一个奇怪的、非标准的捷径，虽然看起来很乱，但实际上能更快地解决迷宫。旧的“步步检查”式老师无法看到全局；它只关心当前的动作在技术上是否有效。

这篇论文引入了一种新方法，称为 PUM（前缀效用模型）。 它不再问：“这一步正确吗？”，而是问：“这一步是否真的有助于完成任务？”

核心概念：“增益”（Gain）

作者定义了一个新的指标，叫做增益（Gain）。

想象你正在尝试解决一道数学题。

场景 A（没有帮助）： 你从零开始尝试解决。你有 20% 的概率做对。
场景 B（有提示）： 有人给了你一个特定的句子（一个“前缀”）作为开头。现在，你做对的概率变成了 60%。

这个增益就是两者的差值：60% - 20% = 40%。

PUM 衡量的就是这种“增益”。它不在乎一个句子在语法上是否完美，或者是否遵循标准格式。它只关心：阅读这个句子是否显著提高了解决问题的可能性？

他们是如何构建系统的：“学生”测试

如何在不知道答案的情况下衡量这种“增益”呢？作者使用了一个巧妙的技巧，涉及轻量级学生模型（Lightweight Student Models）。

把主 AI 想象成一位试图烹饪复杂菜肴的主厨（Master Chef）。

研究人员提取了主厨写下的特定指令（一个“前缀”）。
他们将这条指令交给一群初级厨师（Junior Chefs，即轻量级学生模型）。
他们询问初级厨师：“如果你们以这条指令作为开头，你们能完成这道菜吗？”
然后他们会将此结果与以下情况进行对比：“如果你们从零开始，能否完成这道菜？”

如果初级厨师在拥有该指令时成功率大幅提升，那么这条指令就具有高实用性（High Utility）。如果他们失败的频率几乎没有变化（甚至更多），那么即使这条指令听起来很“正确”，它也具有低实用性（Low Utility）。

通过测试成千上万个这样的“初级厨师”，系统就能学习哪些前缀是真正有用的，哪些只是废话。

实验结果：为什么这很重要

论文通过三种不同的方式测试了这一新系统，并将其与旧的“步骤正确性”老师进行了对比。

1. “N 选 1” 选择法（挑选赢家）
想象 AI 生成了 100 种解决问题的不同尝试，你需要选出最好的一个。

旧方法： 老师挑选那个拥有最多“看起来正确”步骤的版本。
PUM 方法： 老师挑选那个真正能导向正确答案的版本。
结果： 当选项很多（规模很大）时，PUM 能更好地找到真正的赢家。它会忽略那些看起来很好但最终无济于事的“虚假”正确步骤。

2. 束搜索（Beam Search，在迷宫中导航）
想象 AI 正在探索迷宫，并且必须在每个分叉路口选择路径。

旧方法： 它选择在分叉口看起来语法完美的路径。
PUM 方法： 它选择那条最有希望通往出口的路径，即使这条路径看起来有点乱。
结果： PUM 能更好地引导 AI，尤其是在搜索过程变得深奥且复杂时。它能阻止 AI 误入那些看似充满希望实则死路一条的陷阱。

3. 强化学习（在实践中学习）
这就像训练 AI 玩游戏。

旧方法： AI 只要做出一个“正确”的动作就能得分。有时，AI 会学会“钻空子”，通过做出大量重复的、看起来正确的动作来骗取分数，而实际上并没有解决问题。
PUM 方法： 只有当一个动作真正让它接近解决方案时，AI 才会获得积分。
结果： AI 学习得更快，且不会陷入“虚假进展”的循环中。它能更高效地解决难题。

总结

该论文声称，通过将关注点从**“这一步是否正确？”转向“这一步是否增加了我们获胜的机会？”**，我们可以构建出更好的 AI 推理系统。

他们创建了一个数据集（PUM-Math）和一个能够学习这种“效用”的模型，而无需人类手动为每一个步骤评分。与以往的方法相比，这节省了大量的时间和成本（计算能力），并且在处理非常困难的问题或 AI 需要在众多选项中进行选择时，表现得更加出色。

简而言之：不要只检查 AI 是否遵守了规则；要检查这些规则是否真的在帮助它到达终点。

技术摘要：从正确性到效用：基于增益的前缀评估用于 LLM 推理

1. 问题陈述

大语言模型（LLMs）通过顺序推理来解决问题，其中中间前缀显著地塑造了未来的轨迹。现有的过程奖励模型（PRMs）通常根据局部步骤正确性来评估这些前缀——即判断一个中间步骤是否有效或是否可能遵循正确的路径。然而，作者认为局部正确性是一种间接且往往不足的代理指标，无法充分反映最终目标：即确定一个前缀是否增加了成功完成任务的概率。

一个局部正确的步骤可能会使剩余的轨迹变得脆弱，而一个不完整或非标准的前缀可能揭示出一个能提高下游可解性的关键想法。此外，目前的基于 Rollout 的方法通常估计与特定策略相关的绝对状态值，未能显式地衡量前缀本身相对于问题和求解器群体所带来的边际改进。核心挑战在于如何制定一种能够捕捉效用（即前缀在多大程度上提高了成功率）而非仅仅是正确性的前缀评估指标。

2. 方法论

2.1 核心概念：前缀增益（Prefix Gain）

论文将前缀增益定义为前缀 $p$ 对问题 $x$ 诱导的下游求解概率的边际改进。形式上，对于具有策略 $\pi_s$ 的学生模型 $s$ ，增益为：
$g_s(x, p) = q_s(x, p) - q_s(x, \emptyset)$
其中 $q_s(x, p)$ 是在观察到前缀 $p$ 后解决问题的概率， $q_s(x, \emptyset)$ 是从零开始解决问题的概率。正增益表示前缀有助于成功；负增益表示前缀阻碍了成功。

2.2 通过轻量级学生模型进行估计

为了可扩展地估计增益，作者采用了一组具有不同能力水平的轻量级学生模型（ $S = \{s_1, \dots, s_M\}$ ）。

采样： 从推理轨迹中采样多样化的前缀。
Rollout： 每个学生模型在有或没有该前缀的情况下解决问题，以生成经验求解率。
增益分布图（Gain Profile）： 这产生了跨学生群体的增益分布。
标量化： 作者将增益分布图分解为：
- 内在效用（Intrinsic Utility）： 跨求解器共享的可迁移组件（反映通用有用性）。
- 策略依赖效用（Policy-Dependent Utility）： 基于能力和风格的求解器特定变体。
  对于主模型，他们采用了简单的标量化方法：对每个学生的增益进行归一化，并取平均值以估计内在效用 $G_{intr}(x, p)$ 。

2.3 前缀效用模型 (PUM)

作者使用以下流水线训练了一个基于 LLM 的标量评估器——前缀效用模型 (PUM)：

数据构建 (PUM-Math)： 从 2 万条数学推理轨迹中构建而成。该方法不依赖人工步骤标注，而是生成了 28 万个基于结果的成对效用偏好。
- 垂直对（Vertical Pairs）： 比较同一条轨迹在不同截断点的前缀。
  函数
- 水平对（Horizontal Pairs）： 比较来自同一问题但长度相似的不同轨迹的前缀。
- 标注： 成对数据根据内在效用估计值的差异进行标注。通过自适应边际（adaptive margin）过滤掉噪声或冲突的偏好。
训练目标： PUM 使用 Bradley-Terry 成对排序损失进行训练。它接收问题 $x$ 和前缀 $p$ 作为输入，并输出标量效用分数 $U_\theta(x, p)$ 。模型被优化以偏好具有更高估计增益的前缀。

3. 主要贡献

将前缀评估公式化为增益估计： 论文将范式从局部正确性转向反事实增益估计，测量一个前缀相对于基准线在多大程度上提高了下游求解概率。
PUM-Math 数据集： 构建了一个大规模、基于增益的前缀监督数据集，该数据集源自 2 万条轨迹和 28 万个成对偏好，无需人工步骤级标注。
前缀效用模型 (PUM)： 一个训练好的评估器，提供基于结果的（outcome-grounded）前缀效用信号。
实证验证： 证明了基于增益的监督在三种不同的推理范式中均能提升性能：
- Best-of-N 选择： 从候选池中选择最佳轨迹。
- 束搜索（Beam Search）： 通过剪枝无望的部分前缀来引导搜索。
- 强化学习 (RL)： 为策略优化提供密集的信用分配（credit assignment）信号。

4. 实验结果

4.1 Best-of-N 选择

在 MATH500、GAOKAO2023 和 AIME2025 基准测试中，PUM 实现了最佳或接近最佳的选择准确率，特别是在候选池较大（ $N \ge 32$ ）时。与经常过度评分局部合理但实际错误的推理的 PRM 基线不同，PUM 的基于结果的效用提供了更强的轨迹级验证。它还展示了卓越的排序鲁棒性，能一致地为正确响应赋予高秩，为错误响应赋予低秩。

4.2 束搜索 (Beam Search)

在 MATH500 和 GAOKAO2023 的束搜索实验中，PUM 一致优于 PRM、PQM 和 CRM 基线。随着搜索预算的增加（例如 $N=100$ ），性能差距进一步扩大，其中 PUM 分别达到了 78.00% (Qwen) 和 73.60% (Llama) 的准确率。这表明 PUM 在保留在进一步扩展后仍有用的部分推理前缀方面比其他方法更有效，而其他方法往往会因为与最终正确性的不匹配而导致性能下降。

4.3 强化学习

结果锚定设置（Outcome-Anchored Setting）： 当与基于规则的 GRPO 结合时，PUM 将加权平均准确率从 55.21%（原生 GRPO）提升至 58.09%。
仅过程设置（Process-Only Setting）： 在没有最终答案奖励的情况下，PRM 和 PQM 训练初期虽有提升，但随后因“奖励作弊”（Reward Hacking，即生成更长、局部正确但最终错误的响应）而崩溃。PUM 则保持稳定，实现了 57.21% 的平均准确率。
困难数据学习： 在基础模型在 16 次 Rollout 中无法产生正确解的问题上（规则奖励稀疏），仅使用 PUM 训练的提升速度明显快于 vanilla GRPO，展示了极高的学习效率。

4.4 进一步分析

弱到强泛化（Weak-to-Strong Generalization）： PUM 有效地泛化到了其训练中未使用的更强策略模型（Qwen2.5-32B），表明它捕捉的是内在效用而非仅仅是拟合生成模式。
可扩展性： 性能随更大的骨干模型和更多的训练数据而提升，表明监督信号并未饱和。
成本效率： 与依赖 7B 模型进行步骤级监督的 Math-Shepherd 数据集相比，PUM-Math 所需的标注计算量减少了约 18.5 倍，同时完全避免了人工标注。

5. 重要性与主张

论文声称，基于结果的增益比局部正确性提供了一个更有效且更高效的监督目标。通过将关注点从“这一步是否正确？”转向“这一步是否提高了解决问题的概率？”，PUM 为以下方面提供了鲁棒的信号：

验证： 在大型候选池中区分正确轨迹与看似合理但实际错误的轨迹。
搜索： 通过识别有希望的部分状态来引导束搜索中的探索。
信用分配： 为强化学习提供密集、可靠的奖励，尤其是在最终答案稀疏的场景下。

作者强调，这种方法将前缀的有用性与问题难度及求解器先验能力分离，从而实现了更具可扩展性和数据效率的过程监督数据集构建。

6. 局限性

作者承认存在若干局限性：

领域范围： 目前实验局限于数学推理领域，在该领域中可以进行可靠的最终答案验证。扩展到结果模糊或延迟的领域将需要学习到的验证器。
计算量： 虽然比人工标注便宜，但增益估计仍然需要大量的学生模型 Rollout 计算。
标量化： 目前的方法使用学生增益的简单标量平均。它并未充分利用前缀效用的分布结构（例如，策略依赖的变体），这留作未来的研究工作。