🤖 machine learning

The Hidden Signal of Verifier Strictness: Controlling and Improving Step-Wise Verification via Selective Latent Steering

本文介绍了 VerifySteer，一种通过在段落边界检测并选择性地引导隐藏状态信号来控制和改进逐步验证器严格性的方法，从而以显著降低的计算成本超越了现有基线。

原作者： Yefan Zhou, Yilun Zhou, Austin Xu, Soroush Vosoughi, Shafiq Joty, Jiang Gui

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yefan Zhou, Yilun Zhou, Austin Xu, Soroush Vosoughi, Shafiq Joty, Jiang Gui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但略显古怪的数学辅导老师（一个 AI），它正在尝试批改学生的作业。这位老师擅长解题，但在检查作业时，却有一个奇怪的性格缺陷：有时它太客气，有时又太苛刻。

太客气（批评不足）： 学生犯了数学错误，但老师却说“看起来不错！”并给了 A。
太苛刻（批评过度）： 学生答对了，但老师却说“字迹太潦草”或“你的解题步骤展示得不完美”，并给了 F。

这篇论文将这种性格缺陷称为“验证者严格度”。研究人员找到了一种方法，无需从头重新训练这位老师就能解决这一问题。

发现：大脑中的“秘密开关”

研究人员发现，这位老师决定是客气还是苛刻，并非在其思考过程的最后阶段做出，而是在其大脑（隐藏状态）中编码的一个特定“秘密开关”里，就在它开始撰写批改报告的新段落之前。

将 AI 的大脑想象成一条拥有许多房间（层）的长廊。研究人员发现，就在 AI 开始撰写批评新段落的房间门口，存在一个特定的信号。

如果信号指向一个方向，AI 即将变得太客气。
如果信号指向另一个方向，AI 即将变得太苛刻。

解决方案："VerifySteer"（遥控器）

研究人员没有重新训练整个 AI（这相当于让老师回校再读一年书），而是构建了一个名为VerifySteer的“遥控器”。

它是如何工作的：

导向向量： 他们创建了一个微小的“推动”向量。想象一阵微风。
- 一阵风将 AI 推向更严格（以便它捕捉真正的错误）。
- 另一阵风将 AI 推向更宽容（以免它因愚蠢的理由惩罚正确答案）。
简单推动的问题： 如果你只是对每一个问题都吹“更严格”的风，AI 会变得过于严格，开始判错正确答案。如果你吹“更宽容”的风，它就会漏掉真正的错误。这是一种权衡。
聪明的修复（VerifySteer）： 研究人员让这个遥控器变得智能。
- 样本级路由： 在批改之前，AI 会快速瞥一眼学生的答案，并问：“这个答案看起来是对还是错？”
  - 如果答案看起来错了，遥控器就吹更严格的风，确保 AI 捕捉到错误。
  - 如果答案看起来对了，遥控器就吹更宽容的风，确保 AI 不会吹毛求疵而拒绝一个好的答案。
- 选择性干预： 遥控器只在 AI 即将做出判断的特定“门口”（段落分隔处）施加这股风。它不会干扰 AI 思考的其他部分。

结果：更好的批改，更少的工作

研究人员在困难的数学基准测试（如 ProcessBench 和 Hard2Verify）上测试了这种方法。以下是他们的发现：

优于“再问一次”： 让 AI 变得更聪明的一种常见技巧是，将同一个问题问它 4 次或 8 次，然后取多数票（就像询问一个委员会）。这很有效，但需要 4 到 7 倍的计算能力。VerifySteer 仅使用一次传递就达到了相同或更好的结果，节省了巨大的计算资源。
优于“提示工程”： 尝试编写更好的指令给 AI（例如“请非常批判性地思考！”）的效果，不如直接物理推动 AI 的大脑。
与微调兼容： 即使你确实花费时间和金钱重新训练 AI 使其成为更好的批改者，在此基础上叠加这个“遥控器”也能让它变得更好。

一句话总结

这篇论文表明，AI 验证者拥有一个隐藏的“严格程度”性格设置。作者没有重新训练 AI，而是找到了一种方法，可以实时地轻轻推动这个设置。通过明智地决定何时严格、何时宽容，他们创造了一个系统，既能捕捉更多错误，又能接受更多正确答案，同时使用的计算资源远少于以往的方法。

技术摘要：验证器严格性的隐藏信号

问题陈述

生成式验证器将逐步验证视为下一个词元预测问题，已成为检测大语言模型（LLM）推理错误的一种有前景的范式。然而，这些验证器往往校准不佳，表现为倾向于过于宽松（错误地接受错误步骤）或过于严苛（错误地拒绝正确步骤）。这种现象被称为验证器严格性，表现为一种正向偏差，即验证器因表面风格问题而错误地验证有缺陷的解决方案，或拒绝有效的解决方案。

虽然微调专门的流程奖励模型（PRMs）可以缓解这一问题，但其资源消耗巨大，且随着前沿模型的演进而迅速过时。此外，在旧代模型上训练的评估器往往难以泛化到新的指令微调模型。因此，需要一种无需训练的方法，能够在通用指令微调模型中自适应地控制验证器行为，而无需 extensive 微调或自一致性采样的计算开销。

方法论

作者提出了VerifySteer，这是一种通过隐藏状态引导来控制验证器严格性的无需训练的方法。该方法基于两个主要发现及相应的自适应框架：

1. 验证特异性潜在信号的发现

通过实证分析，作者发现验证器接受或拒绝某个解决方案步骤的倾向，编码在紧邻对应验证段落之前的段落边界分隔符词元（\n\n）的隐藏状态中。

信号定位：决策信号并非均匀分布，而是定位于特定的 Transformer 层（例如，Qwen3-8B 中的第 22 层）。
引导向量构建：利用验证集，作者通过计算真拒绝（TR）段与假接受（FA）段隐藏状态的平均差值来构建对比引导向量（用于增加严格性， $d_{strict}$ ），以及真接受（TA）段与假拒绝（FR）段（用于降低严格性， $d_{lenient}$ ）。
干预：在推理时，将这些向量添加到分隔符词元的隐藏状态中，以调节验证器的输出。

2. VerifySteer 框架

作者观察到，统一引导（对所有样本应用单一向量）会产生权衡：增加严格性可提高错误检测率（真负率，TNR），但会损害正确性认证（真正率，TPR），反之亦然。为解决这一问题，VerifySteer 引入了样本级和分隔符级的自适应机制：

样本级路由：一个轻量级的正确性探针（ $f_\phi$ $f_{ϕ}$ ）基于提示的隐藏状态预测候选解决方案完全正确的可能性。
- 如果预测解决方案很可能不正确（ $q \le \tau_l$ ），系统应用增加严格性的向量（ $d_{strict}$ ）。
- 如果预测解决方案很可能正确（ $q \ge \tau_h$ ），系统应用增加宽容度的向量（ $d_{lenient}$ ）。
- 否则，不施加引导。
分隔符级门控：仅当局部隐藏状态与所选方向（由余弦相似度阈值 $\rho$ 确定）不一致时，才在分隔符词元上应用引导。这避免了对已符合预期行为的词元进行不必要的干预。

主要贡献

潜在信号的识别：论文证明验证器严格性编码在段落边界词元的隐藏状态中，且可通过针对性干预进行调节，而无需微调。
VerifySteer 算法：提出了一种条件引导方法，动态路由样本并在分隔符边界选择性干预，以平衡错误检测与正确性认证。
实证验证：在 ProcessBench 和 Hard2Verify 基准测试上进行了广泛实验，涵盖多种模型规模（17 亿至 700 亿参数）和架构（稠密模型和混合专家模型 MoE）。

实验结果

实验在 ProcessBench（GSM8K, MATH, OlympiadBench, Omni-MATH）和 Hard2Verify 上进行，使用了 Qwen3-1.7B、Qwen3-8B 和 FARE-20B 等模型。

性能与基线对比：在 F1 分数方面，VerifySteer 优于提示优化、激活引导基线（CAA）以及自一致性（Cons@4/Cons@8）。
- 在 Qwen3-1.7B 的 ProcessBench 上，VerifySteer 比自一致性高出 3.7 个 F1 点。
- 在 Qwen3-8B-thinking 的 Hard2Verify 上，VerifySteer 比自一致性高出 2.2 个 F1 点。
效率：VerifySteer 以显著更低的计算成本实现了这些提升。与依赖多次采样轨迹的自一致性方法相比，其推理计算量（FLOPs）减少了 4–7 倍。
兼容性：该方法与验证器微调正交。当应用于微调后的 FARE-20B 验证器之上时，VerifySteer 提供了额外增益（将 F1 从 41.5 提升至 51.1），表明引导与微调是互补的。
消融研究：移除样本级自适应会导致 TPR 下降，而移除分隔符级自适应会降低 TNR，证实了这两个组件对于平衡严格性权衡的必要性。

意义与主张

论文主张，LLM 验证器反映了可控制的潜在行为，可在无需高昂重训成本的情况下进行操纵。通过揭示验证严格性的特定隐藏状态信号，作者为通用指令微调模型中验证器行为的轻量级和自适应控制提供了一条路径。

其意义在于提供了一种实用的替代方案，以应对昂贵的微调和计算密集的自一致性方法。VerifySteer 使当前代模型能够匹配或超越基于旧代构建的专用微调评估器的性能，同时保持语义连贯性并提供可解释的逐步说明。这项工作表明，表示工程是提升生成式验证器在数学推理任务中可靠性的一种可行且高效的策略。