💬 NLP

Process Supervision via Verbal Critique Improves Reasoning in Large Language Models

该论文提出了无需梯度更新的“语言过程监督”（VPS）框架，通过利用更强模型的结构化自然语言批评指导生成 - 批评 - 优化循环，在 GPQA、AIME 和 LiveCodeBench 等基准测试中显著提升了大模型的推理能力，确立了“批评粒度”作为推理时扩展的新维度。

原作者： Hao-Yuan Chen

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hao-Yuan Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让大型人工智能（LLM）变得更聪明的新方法，叫做**“语言过程监督”（Verbal Process Supervision, 简称 VPS）**。

为了让你轻松理解，我们可以把 AI 解题的过程想象成**“学生做题，老师辅导”**的故事。

1. 以前的方法：只有“分数”或“只改最后一步”

在 VPS 出现之前，让 AI 变强主要有三种老办法：

多思考一会儿（链式深度）： 让 AI 在脑子里多转几圈，写更多的步骤。
多试几次（样本广度）： 让 AI 同时做 5 道题，然后选大家意见最统一的那个答案。
给步骤打分（过程奖励模型）： 训练一个专门的“裁判”，给 AI 的每一步打个分（比如 0 到 1 分）。但这需要大量人工标注，成本很高。

还有一种叫“反思（Reflexion）”的方法，就像老师只批改最终试卷。如果学生做错了，老师会说：“你这道题全错了，重做。”但老师没说哪一步错了。学生可能因为第一步算错，导致后面全错，但老师只给个“不及格”的结论，学生很难知道具体该改哪里。

2. 新方法 VPS：像“手把手”的实时辅导

这篇论文提出的 VPS，就像是请了一位超级学霸（更强的 AI 模型）做你的私人教练。

核心玩法：
1. 做题： 普通 AI（学生）先试着写解题步骤。
2. 点评： 超级学霸（教练）不是只给个分数，而是逐行阅读，用自然语言指出：“你第三步的公式用错了，而且第五步的逻辑有点跳跃。”
3. 修改： 普通 AI 听到具体的批评后，立刻修改自己的答案。
4. 循环： 这个过程可以重复几次，直到答案完美或者达到次数上限。

关键点在于“颗粒度”（Granularity）：
以前的方法是“事后诸葛亮”（做完才给反馈），或者只给个模糊的分数。VPS 是**“过程指导”，它像教练一样，在你每一步走错的时候，立刻用具体的语言**告诉你错在哪，怎么改。

3. 实验结果：效果惊人

研究人员在三个高难度的“考场”（科学推理、数学竞赛、编程比赛）上测试了这种方法：

科学推理（GPQA）： 即使是同一个家族的大模型，只要让“高配版”当教练指导“低配版”，准确率从 92.8% 提升到了 94.9%，打破了世界纪录。
数学竞赛（AIME）： 这是最惊人的。原本只能做对 11.7% 题的“差生”，在“学霸教练”的逐句指导下，竟然能提升到 90.0%！这就像是一个只会做加减法的小学生，经过辅导后能解出奥数题。
编程比赛（LiveCodeBench）： 同样大幅提升了代码生成的准确率。

4. 为什么它这么厉害？（核心发现）

论文发现，“怎么批评”比“有没有批评”更重要。

对比实验： 如果让教练只给最终结果打分（像 Reflexion 方法），效果提升很小，甚至有时候还会把好学生带偏。但如果是逐句点评（VPS），效果就吊打前者。
不是靠算力堆出来的： 研究人员计算了消耗的资源，发现 VPS 并没有比让 AI 多试几次（Self-Consistency）消耗更多的算力，但效果却更好。这说明**“指导的质量”**才是关键。
教练和学生的差距很重要： 如果教练自己也不懂，或者学生已经很强了（教练只比学生强一点点），这种辅导就没用，甚至可能起反作用。只有当教练明显强于学生时，效果才最好（相关系数高达 0.90）。

5. 局限性：语言也有边界

这个方法有个小缺点：它最适合那些“错误能用语言描述”的领域。

数学/科学： 错就是公式错了、逻辑错了，教练可以说出来。
编程： 有时候代码错了，是因为运行时报错，或者逻辑很隐蔽。这时候光靠“语言批评”可能不够，最好能结合**“运行测试”**（比如让代码跑一下看报错）。未来的方向可能是“语言 + 运行”混合模式。

总结

这篇论文告诉我们：让 AI 变强，不一定非要让它“死记硬背”更多数据，或者“多算几次”。

只要给它配一个更强的老师，并且让老师耐心地、一步步地用语言指出错误，普通的 AI 就能瞬间进化成解题高手。这就像我们人类学习一样，高质量的反馈比盲目刷题更重要。

1. 研究背景与问题定义 (Problem)

在大语言模型（LLM）的推理能力扩展中，现有的研究主要集中在三个维度：

链深度 (Chain Depth)：通过思维链（CoT）增加单次推理的 token 数量。
样本广度 (Sample Breadth)：通过并行采样和多数投票（如 Self-Consistency）增加推理路径。
学习到的评分器 (Learned Step-scorers)：训练过程奖励模型（PRMs）来评估每一步的正确性。

本文指出的问题：
上述方法忽略了第四个关键维度——外部语言监督的粒度 (Granularity of External Verbal Supervision)。

现有的语言反馈方法（如 Reflexion）通常仅在推理轨迹结束时提供整体反馈（Outcome-level critique）。这种粗粒度的反馈无法区分推理过程中哪一步出错，导致“信用分配”模糊（即一个中间步骤的错误可能导致整个轨迹被否定）。
缺乏一种无需训练、无需梯度更新，且能在推理时提供**细粒度（步骤级）**语言反馈的框架。

2. 方法论：语言过程监督 (VPS)

作者提出了 Verbal Process Supervision (VPS)，这是一种在推理时（Inference-time）运行的框架，旨在通过细粒度的语言批判来引导模型自我修正。

核心机制

VPS 包含两个组件：

Actor (执行者)：生成推理轨迹 $\tau$ 的基础模型。
Supervisor (监督者)：通常是一个能力更强的模型，负责生成结构化的自然语言批判 $c$ 。

工作流程 (Generate-Critique-Refine Loop)

生成 (Generate)：Actor 基于输入 $x$ 生成初始推理轨迹 $\tau_0$ 。
批判 (Critique)：Supervisor 对当前轨迹 $\tau_r$ 进行评估，生成步骤级 (Step-indexed) 的语言批判 $c_r$ 。与传统的标量奖励不同，这里的奖励是语义丰富的自然语言，明确指出哪一步错了、为什么错以及如何修正。
修正 (Refine)：Actor 根据批判 $c_r$ 重新生成轨迹 $\tau_{r+1}$ 。
迭代：上述过程循环进行，直到达到最大轮数 $R$ 或满足停止条件。

关键特性

无训练 (Training-free)：不需要梯度更新，不需要人类标注数据，也不需要额外的训练数据。
语言空间 Actor-Critic：将传统的标量价值函数替换为语言空间的批判，实现了更密集、可解释的反馈。
黑盒适用性：仅通过 API 调用即可工作，适用于闭源模型。

3. 主要贡献 (Key Contributions)

提出新维度：确立了“外部语言监督的粒度”作为 LLM 推理扩展的第四个独立维度（区别于深度、广度和学习评分器）。
形式化 VPS：将 VPS 定义为该维度的“步骤级”实例，并形式化了语言空间中的策略更新算子。
实证优势：在匹配推理计算量的情况下，证明了步骤级批判（VPS）显著优于结果级批判（Reflexion）和样本聚合（Self-Consistency）。
发现规律：
- 揭示了“弱执行者救援”机制（Weak-actor rescue regime）。
- 量化了监督者与执行者之间的能力差距（Headroom）与性能提升的相关性（Pearson $r = +0.90$ ）。
- 指出了语言监督的领域边界（在代码合成等依赖运行时行为的任务中效果受限）。

4. 实验结果 (Results)

实验在三个基准测试上进行：GPQA Diamond（科学推理）、AIME 2025（数学竞赛）、LiveCodeBench V6（编程竞赛）。

4.1 性能提升

GPQA Diamond：
- 配置：GPT-5.4 (High) 监督 GPT-5.4 (Low)。
- 结果：在 $R=4$ 轮时达到 94.9% 的准确率，超越了当前 SOTA (94.1%) 和基线模型 (92.8%)。
- 意义：仅通过同一家族模型的自我语言精炼，无需梯度更新即刷新纪录。
AIME 2025 (弱执行者救援)：
- 配置：GPT-5.4 Nano (High) | (Low)。
- 结果：独立得分仅为 26.7% 的模型，在 VPS 下提升至 90.0%，绝对增益高达 +63.3 分。
- 其他弱模型（如 Gemma 4 | GPT-OSS）也从 11.7% 提升至 70.0%。
LiveCodeBench V6：
- 结果：VPS 达到 50.0%，显著优于基线。

4.2 对比实验 (匹配计算量)

为了证明增益来自“粒度”而非单纯的“更多计算”，作者进行了严格对比：

VS Reflexion (结果级反馈)：
- VPS 在所有三个基准上均优于 Reflexion，提升幅度为 +8.5 到 +12.1 个百分点。
- 这证明了批判的粒度是核心变量，而非仅仅是语言反馈的存在。
VS Self-Consistency @ 5 (样本聚合)：
- 在匹配 token 消耗量的情况下，VPS 在 GPQA (+5.0 pp) 和 LiveCodeBench (+8.3 pp) 上均优于 SC@5。
- 这表明 VPS 的增益不仅仅是因为用了更多的计算资源。

4.3 关键发现

非单调性：最佳轮数 $R$ 取决于模型对。有时 $R=3$ 或 $R=4$ 效果最好，有时 $R=2$ 后性能反而下降（过度修正）。
能力差距预测：监督者与执行者的能力差距（Headroom）是预测 VPS 是否有效的强指标 ( $r=+0.90$ )。如果执行者本身很强（接近或超过监督者），VPS 可能导致性能下降（分布偏移）。
领域边界：在代码合成任务中，纯语言监督的效果受限，因为代码错误往往依赖运行时行为而非纯语言逻辑。这暗示了未来需要“语言 + 可执行”的混合监督。

5. 意义与结论 (Significance)

重新定义推理扩展：论文证明了通过细粒度的语言过程监督，可以在不增加模型参数量、不进行训练的情况下，显著提升 LLM 的推理能力。
高效且通用：VPS 是一种即插即用的推理时策略，特别适用于闭源模型或资源受限场景，因为它不需要重新训练。
弱模型增强：为“弱模型”提供了被“强模型”通过语言指导进行“救援”的有效路径，极大地提升了弱模型的实用价值。
未来方向：指出了纯语言监督在代码等需要执行验证的任务中的局限性，提出了结合运行时反馈（Hybrid verbal-executable supervision）作为下一步的研究方向。

总结：这篇论文通过引入“步骤级语言批判”这一新维度，证明了在推理时通过强模型对弱模型进行细粒度的语言指导，能够以极低的成本（无训练、无梯度）实现推理能力的显著跃升，并确立了“批判粒度”作为推理扩展的关键变量。