💬 NLP

Improving Value-based Process Verifier via Structural Prior Injection

本文提出通过注入结构先验将蒙特卡洛采样误差建模为分布失配，从而改进用于大语言模型推理的基于价值的过程验证器，以此在极低的计算成本下，在 Best-of-N 和束搜索（Beam search）任务上实现 1–2 个百分点的性能提升。

原作者： Zetian Sun, Dongfang Li, Baotian Hu, Jun Yu, Min Zhang

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Zetian Sun, Dongfang Li, Baotian Hu, Jun Yu, Min Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名非常聪明但缺乏经验的学生（即 AI）如何解决复杂的数学问题。这个学生不仅仅是给出最终答案，还会向你展示他每一步的推导过程。你的任务是充当一名教练（“过程验证器”），观察他的每一步并说：“做得好，你在正确的轨道上，”或者“哎呀，你走入了一个死胡同。”

这篇论文所解决的问题是：这位教练目前使用的是一把经常不准确的粗糙卷尺。

问题所在：“嘈杂”的硬币投掷

目前，为了判断一个步骤是否正确，教练会模拟问题的剩余部分多次（比如投掷 10 次硬币来观察正面向上的次数）。

问题在于： 如果你只投掷几次，结果是“嘈杂”的。也许你得到了 6 个正面，但实际概率其实是 50%。教练看到了“60%”，便认为学生做得非常好，而实际上学生可能只是运气好。
旧的修复方法： 人们曾尝试通过将分数视为一个简单的数字（标量）来平滑这个问题，但这忽略了数据来自于一个混乱、随机的过程这一事实。

解决方案：注入“结构化先验”

作者提出了一种让教练思考的新方式。教练不再仅仅是猜测一个数字，而是要求教练去想象一个预定义的可能性图谱（“结构化先验”）。

可以这样理解：

旧方法： 教练猜测：“我认为有 60% 的概率这一步是正确的。”
新方法： 教练思考：“我知道这一步就像掷骰子。根据游戏的规则，结果应该看起来像某种特定的正态分布或特定的骰子点数模式。我的任务不仅仅是猜测一个数字；我的任务是猜测哪种概率分布的形状最符合我所看到的情况。”

通过迫使教练从形状和模式（分布）的角度进行思考，而不是仅仅从单一数字的角度出发，教练可以更好地理解由有限次练习运行所产生的“噪声”。

核心技巧：“基于统计的距离”

你如何教会教练选择正确的形状？作者发明了一把新的尺子，叫做基于统计的距离。

想象你有一个代表完美步骤的“金标准”图谱（地面真值）。你也有一个教练的“最佳猜测”图谱。

旧的尺子（如 KL 散度）在测量这两个图谱之间的距离时表现很差，因为它们不理解某些结果彼此之间比其他结果更“接近”（例如，50% 的概率离 51% 比离 90% 更近）。
这个新的基于统计的距离尺子理解这一点。它衡量两个图谱之间的距离，同时考虑到某些误差是“微小的”，而另一些误差是“巨大的”。这有助于教练学习得更快、更准确。

结果：小投入，大回报

研究人员在数学问题（MATH 数据集）上测试了这项技术。他们将旧的“单一数字”教练与新的“感知分布”教练进行了对比。

结果： 新型教练能够稳定地多解决约 1% 到 2% 的问题。
代价： 这种提升是以“几乎没有成本”实现的。它不需要更大的 AI 模型或更多的计算能力；它只需要一种更聪明的观察数据的方式。
教训： 他们发现，你选择的图谱（先验）类型非常重要。如果你选择的图谱不符合现实情况，教练的表现就会很差。但如果你选择一个“合理的”图谱（比如模仿硬币投掷随机性的高斯分布），教练就会表现出色。

总结

本文认为，当 AI 试图评判其自身的推理步骤时，它不应该仅仅猜测一个单一的分数。相反，它应该基于预定义的结构去猜测一个概率模式。通过使用一种更聪明的测量方式来衡量其猜测与真相之间的接近程度，AI 会成为一名更好的教练，能以同样的努力解决更多的难题。

技术摘要：通过结构先验注入改进基于价值的过程验证器

问题陈述

在大型语言模型（LLM）推理场景中，过程验证器对于评估中间推理步骤的质量至关重要。虽然结果验证器仅关注最终正确性，但基于价值的过程验证器旨在估计每个步骤的“状态价值”（即达到正确结果的概率）。

目前，状态价值通常使用蒙特卡洛（MC）采样进行标注。然而，由于生成完整展开（rollout）的成本极高，该方法面临两个显著局限性：

离散表示粒度问题： 有限的采样（例如 $k$ 次展开）将估计值限制在离散的 $k+1$ 个可能结果集合中（ $0, 1/k, \dots, 1$ ）。这导致了与连续概率形式的真实值之间的不匹配。
采样方差： 虽然 MC 估计是无偏的，但在样本量有限时并不准确，尤其是在真实成功概率 $p$ 接近中间值（0.5）时，其方差最大。

现有的解决方案通常使用均方误差（MSE）将离散值映射到连续空间，或使用时序差分（TD）方法来降低方差。然而，TD 方法需要大量的采样量，这在 LLM 推理中计算成本过高；而标准的 MSE 将价值视为标量，而没有显式地对底层采样误差的分布进行建模。

方法论

作者提出了结构先验注入（Structural Prior Injection），该方法将标量状态价值转化为预定义分类分布的期望。这种方法将 MC 采样误差重新定义为一个分布失配问题。

1. 从标量到分类分布

验证器不再预测单个标量值，而是预测一个在 $m$ 个分箱（bins）上的分类分布 $Z$ 。状态价值 $V^\pi(s)$ 被定义为该分布的期望：
$V^\pi(s) = E_p[\delta_i] = \sum_{i=1}^m p_i(s)\delta_i$
其中 $\delta_i$ 代表位置 $i$ 处的狄拉克 $\delta$ 函数。

2. 结构先验定义

该方法将 $k$ 次蒙特卡洛采样的结果视为从真实的二项分布 $Bin(k, p) $中抽取的单个样本，其中$ p$ 是真实的价值。

期望回归（MSE）： 模型优化分类分布的期望以匹配 MC 估计，从而有效地注入了“价值是分布之均值”这一结构先验。
期望分类（直方图损失）： 模型试图恢复二项分布本身的真实情况。其目标是找到一个后验分布，使该分布与给定的有限采样数据下的真实二项分布之间的距离最小。

3. 基于统计的距离度量

为了指导后验分布的选择（例如，在 One-hot、高斯分布或其他形状之间进行选择），作者引入了一种基于统计的距离度量。

定义为 $D_T(p, q) = E_{x \sim q}[d(p(\cdot|x), q)]$ ，其中 $d$ 是类似于 Wasserstein 距离的距离度量。
该度量在统计层面衡量了估计的后验分布与真实目标分布之间的失配程度。
作者使用 Wasserstein 距离而非 KL 散度，因为分布中的类别具有序列特征（权重），使得 Wasserstein 距离在衡量概率质量之间的“距离”时更为适用。

4. 优化

验证器使用以下方式进行优化：

MSE 损失： 最小化预测期望与 MC 估计之间的平方差。
直方图损失（交叉熵）： 最小化预测分类分布与目标分布（例如近似二项分布的截断高斯分布）之间的交叉熵。

核心贡献

结构先验注入： 本文提出将标量 MC 采样误差转化为分布失配问题。通过将价值表示为分类分布的期望，该方法显式地模拟了从有限数据中恢复真实分布的难度。
基于统计的距离： 提出了一种新度量，用于量化后验分布与真实目标分布之间的距离。该度量作为选择合理的结构先验（如分布形状和方差）以最小化失配的指南。
实证验证： 作者证明，在不同的目标函数（MSE 和直方图损失）和任务（Best-of-N 和 Beam Search）上，合理的结构先验注入可以提高验证器的性能，且几乎不增加额外的计算成本。

实验结果

该方法在 MATH 数据集上，使用基于 Qwen2.5-Math-7B 和 Deepseek-Math-7B 等基础模型的 Best-of-N (BoN) 和 束搜索（Beam Search） 任务进行了评估。

性能提升： 与标量回归基线相比，基于期望的模型（包括 MSE 和直方图损失变体）在成功率上实现了约 1–2 个百分点的稳定提升。
任务敏感性：
- 在 Best-of-N 中，结果监督验证器表现良好，但过程监督验证器（经本方法增强后）展现出了更强的鲁棒性。
- 在 束搜索 中，过程监督验证器明显优于仅结果监督的验证器，凸显了准确的中间状态价值对于多步搜索的重要性。
先验选择的影响： 消融研究表明，结构先验的选择对性能有显著影响。
- 分布形状： 使用动态高斯分布（其方差由采样值导出）比静态高斯或 One-hot 分布效果更好，这与实验中观察到的较低的“基于统计的距离”相一致。
- 类别数量： 将类别数量设置为与采样规模相匹配（例如，对于 8 次展开设置 9 个类别）被证明是有益的。

意义与主张

论文声称，基于价值的过程验证器的改进源于合理的结构先验注入。通过将视角从标量回归转向分布估计，该方法解决了 LLM 推理中蒙特卡洛估计固有的噪声和粒度问题。

作者强调：

MC 估计中的误差本质上是由于从有限样本中恢复真实分布的困难所导致的。
基于统计的距离提供了一个理论和实践工具，用于评估并选择能使这种失配最小化的先验。
这种方法提供了一个“充满前景且有意义的方向”，表明结构先验可以在不需要增加昂贵采样量的情况下，显著增强基于价值的验证优化过程。

该工作在范围上保持了适度，指出了局限性，例如 Wasserstein 距离的不可微性（需要先验的、非微分的分布建模），以及难以将 MSE 和交叉熵目标进行线性结合的问题。