💬 NLP

Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning

本文提出了块级引导生成（Chunk-Level Guided Generation），这是一个无需训练的框架，它利用现成的大型语言模型作为过程评分器，从较小的模型中选择固定长度的推理块，从而有效地防止错误传播，并在数学基准测试上优于多数投票法和经过训练的过程奖励模型。

原作者： Atoosa Chegini, Soheil Feizi

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Atoosa Chegini, Soheil Feizi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个非常困难的数学问题。你有两个助手：一位初级助手（一个体积小、速度快，但有时会犯糊涂的 AI）和一位资深专家（一个体积庞大、速度慢，但才华横溢的 AI）。

你的目标是在不为了每一次步骤都动用资深专家的情况下，尽可能节省成本或时间，从而获得正确答案。

旧的方法（以及它们为什么失败了）

1. “掷骰子”法（事后选择）：
过去，人们会让初级助手从头到尾写出五到十个完整的解题过程。然后，他们会让资深专家查看所有完成后的答案，并从中选出最好的一个。

问题在于： 当资深专家查看答案时，初级助手已经在解题过程中犯了错误。如果初级助手在中间阶段走错了路，资深专家无法修复它；他们只能从中挑选出一个“错得最少”的完整故事。这就像是要求厨师在蛋糕已经烤焦之后再去修复它。

2. “步进式教练”法（过程奖励模型 - PRM）：
一种更新的方法是让资深专家在初级助手写作的过程中进行检查。初级助手写一句话，资深专家进行检查，如果写得好，就让他们继续；如果不好，就让他们重试。

问题在于： 这种方法效果很好，但它需要资深专家经过专门训练（就像一位研究过多年数学错误的教练）。训练这样的教练既昂贵又困难。

新的想法：“块级引导生成”

论文作者提出了一种聪明的、免费的替代方案，不需要训练新的教练。他们称之为**“块级引导生成”（Chunk-Level Guided Generation）**。

它是这样运作的，这里使用一个简单的类比：

“固定长度拼图”类比
想象初级助手正在搭建一个积木塔。

规则： 他们不允许初级助手一次性搭建整个句子或整个段落，而是每次只能搭建恰好 20 块积木（即一个“块”）。
选项： 在每一步，初级助手会快速搭建出 32 个不同版本的这 20 块积木。
评分： 资深专家查看这些短小的积木堆。他们不会写任何新内容，只是根据这些积木属于正确数学解题过程的可能性给出一个“分数”。
选择： 初级助手挑选得分最高的积木堆，将其锁定，然后开始搭建下一个 20 块积木。

为什么“固定长度”很重要（“长度偏差”陷阱）
研究人员发现大型 AI 模型思维中存在一个有趣的怪癖。如果你要求一个大模型去评判一个短的数学步骤与一个长的数学步骤，大模型通常会认为较长的那一个更好，即使它其实是一堆废话。这就像一位老师认为写了 10 页论文的学生一定比写了 1 页摘要的学生更有学问，即便那 1 页摘要才是正确的。

通过强制初级助手编写长度完全相同的“块”，资深专家就可以进行公平的比较。这消除了“长度偏差”，让 AI 能够评判数学的质量，而不是仅仅评判文本的长度。

两种评分策略

论文测试了资深专家对这些“块”进行评分的两种方式：

似然引导选择 (LGS)： 资深专家只需挑选出看起来最符合“数学逻辑”的那个块。
对比引导选择 (CGS)： 这是更聪明的一种。资深专家会问：“这个块对我来说是否比对初级助手来说看起来更好？”
- 如果初级助手觉得一个块还可以，但资深专家觉得它极其出色，那么这就是一次巨大的胜利。
- 这种方法能找到那些资深专家的“专家直觉”能发挥最大价值的步骤，从而纠正初级助手的盲点。

结果：他们发现了什么？

研究人员在困难的数学测试（如高中和大学竞赛）上测试了这些方法。

击败了“掷骰子”法： 新方法明显优于等待初级助手完成任务后再进行挑选的方法。它在错误发生之前就将其修复了。
击败了“训练好的教练”： 在许多情况下，这种“免费”的方法（使用现成的资深专家）表现得与昂贵的、经过专门训练的“过程奖励模型”教练一样好，甚至更好。
更短、更聪明的答案： 令人惊讶的是，新方法生成的答案比训练好的教练方法更短。训练好的教练往往会让初级助手写出冗长、啰嗦的解释以求稳妥。而新方法则能引导初级助手走向直接、简洁且正确的路径。
规模化能力： 即使使用了更聪明的初级助手（一个 70 亿参数的模型），该方法依然表现出色，非常接近于大规模 720 亿参数模型的性能。

核心结论

这篇论文表明，你不需要训练一个专门的“数学教练”AI 就能获得极佳的效果。你只需要在一个较小的 AI 正在工作时，利用一个大而聪明的 AI 对其产生的每一个固定大小的片段进行快速评分即可。这是一种无需训练、具有成本效益的方法，能让小型 AI 模型解决难题的能力几乎媲美那些最庞大、最昂贵的模型。

技术摘要：将现成的 LLM 作为过程评分器

问题陈述

当前提高大语言模型（LLM）数学推理能力的策略面临着成本与有效性之间的权衡。在每一次推理查询时都使用大规模模型在计算上是非常昂贵的。一种常见的替代方案是从较小、较便宜的模型中采样多个解，并在生成完成后（事后）使用多数投票（Majority Voting）或 Best-of-N 等方法进行选择。然而，本文认为事后选择存在根本性的局限：如果小模型在生成过程中过早地偏离到了错误的推理路径上，一旦错误发生传播，任何评分器都无法纠正该轨迹。

相反，过程奖励模型（PRM）引导的搜索通过在生成过程中对候选推理步骤进行评分，解决了这一时间点问题。虽然这种方法很有效，但 PRM 需要在步骤级标签（例如 Qwen2.5-Math-PRM-72B）上训练奖励模型，这涉及显著的训练开销和资源成本。

本文旨在解决的核心问题是：我们能否在不训练专用奖励模型的情况下，实现生成时引导（在错误传播前进行转向）带来的收益？

方法论：块级引导生成（Chunk-Level Guided Generation）

作者提出了块级引导生成，这是一个无需训练的框架，它仅将现成的（off-the-shelf）大语言模型（LLM）用作评分器，而非生成器。

框架流程

生成： 一个小模型 ( $\pi_s$ ) 生成解。在每一步，小模型不是生成单个 token 或变长推理步骤，而是采样 $k$ 个固定长度 $L$ 的候选后续内容（称为“块”，chunks）。
评分： 一个较大的预训练 LLM ( $\pi_l$ ) 对这些 $k$ 个候选块进行评分。至关重要的一点是，大模型并不生成文本；它仅计算所提供的候选块的似然度（log-probabilities）。
选择： 将得分最高的块追加到上下文（context）中，并重复此过程，直到达到序列结束（end-of-sequence）标记。

评分规则

本文根据大模型的似然度引入了两种选择规则：

似然度引导选择 (LGS)： 选择在大模型下具有最高长度归一化对数概率的块：
$S_{LGS}(c_i) = \ell_{\pi_l}(c_i | h)$
对比引导选择 (CGS)： 选择大模型的偏好与小模型的偏好差异最大的块。它通过减去小模型的对数概率来计算：
$S_{CGS}(c_i) = \ell_{\pi_l}(c_i | h) - \ell_{\pi_s}(c_i | h)$
该规则倾向于选择那些大模型认为合理但小模型认为不合理的后续内容，从而有效地利用了大模型的“额外”知识。

关键设计选择：固定长度块

该方法论的一个关键贡献是使用了固定长度的块，而非自然分隔的推理步骤。作者指出，大模型的对数概率存在系统性的长度偏差（length bias）：即使经过长度归一化处理，大模型往往也会给较长的推理步骤分配更高的概率。通过在每个决策点固定长度 $L$ ，所有候选块的得分变得具有直接可比性，从而消除了这一干扰因素。

核心贡献

无需训练的过程评分： 本文证明了将现成的 LLM 仅作为似然评分器使用，可以有效地替代训练好的 PRM 来引导生成时搜索。
解决长度偏差： 作者识别并解决了大模型似然度中的系统性长度偏差，表明固定长度的块对于可靠评分是必要的，而变长的步骤评分则不可靠。
对比选择： 引入了 CGS，它利用了大模型与小模型之间的偏好差异，相比简单的似然最大化提供了持续的增益。
效率： 该方法产生的推理轨迹明显短于 PRM 引导的搜索，同时达到了相当或更优的准确率。

实验结果

该框架在五个数学推理基准测试上进行了评估：GSM8K, MATH, Minerva Math, AMC23, 和 AIME24。实验使用了三组模型对：

Qwen2.5-1.5B 由 Qwen2.5-32B 引导
Llama-3.2-1B 由 Llama-3.1-70B 引导
Qwen2.5-7B 由 Qwen2.5-72B 引导

性能对比基线

对比事后选择： 块级引导生成（特别是 CGS）显著优于多数投票、自我确定性（Self-Certainty）和 Best-of-N 等事后方法。例如，在 GSM8K 上使用 Llama 模型对（ $k=32$ ）时，CGS 达到了 83.9% 的准确率，而多数投票仅为 56.0%（提升了 27.9 个百分点）。
对比 PRM 引导搜索： 在匹配的引导预算（比较干预次数）下，CGS 在大多数基准测试中都能达到或超越使用 Qwen2.5-Math-PRM-72B 的 PRM 引导搜索，且无需任何奖励模型训练。
- 在 Minerva Math（Qwen 模型对， $k=32$ ）上，CGS 达到了 39.0%，而 PRM 为 32.4%。
- 在 GSM8K（Llama 模型对， $k=32$ ）上，CGS 达到了 83.9%，而 PRM 为 77.3%。
扩展性： 当生成器扩展到 Qwen2.5-7B（由 72B 引导）时，CGS 在 MATH 上达到了 81.8%，在 Minerva Math 上达到了 63.6%，超过了多数投票 4–6 个百分点，并接近了 PRM-72B 引导搜索平均水平的 1.5 个百分点。

推理轨迹长度

与“更好的性能需要更长推理”的假设相反，本文发现 CGS 产生的推理轨迹比 PRM 引导的搜索明显更短。在 GSM8K 上，PRM 的响应包含的 token 数最多比 CGS 多出 80%。这表明大模型的似然度引导能使小模型转向更简洁、直接的推理路径。

重要性与主张

本文声称块级引导生成提供了一种实用的、无需训练的 PRM 引导搜索替代方案。其意义在于：

易得性： 它消除了训练步骤级奖励模型的障碍，允许从业者利用现有的、现成的的大型模型来提升小型模型的表现。
时效性： 它成功地在生成过程中进行干预以防止错误传播，而此前这种能力被认为需要专门的训练。
效率： 它以较短的推理轨迹实现了高准确率，降低了与 PRM 方法相比的推理成本。

作者对泛化性保持了审慎态度，指出目前的实验主要局限于数学推理以及同系列模型对（例如 Qwen-to-Qwen, Llama-to-Llama）。他们并未声称该方法在未经进一步研究的情况下能泛化到编程或常识推理领域。