When Does Verification Pay Off? A Closer Look at LLMs as Solution Verifiers

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）在复杂推理任务中的应用，“求解 - 验证”（Solver-Verifier） 架构已成为提升模型性能的关键策略。该架构通常包含两个角色：

• 求解器 (Solver)：生成问题的候选答案。
• 验证器 (Verifier)：从候选答案中筛选出高质量的答案（通常通过拒绝采样，Rejection Sampling）。

尽管这种策略被广泛应用，但现有的研究存在以下局限性：

1. 过度关注自验证 (Self-Verification)：大多数研究仅探讨模型如何验证自己的输出，忽略了不同模型之间的交互。
2. 缺乏系统性对比：尚未系统性地研究求解器与验证器之间的模型家族关系（同族 vs. 跨族）以及推理后训练 (Reasoning Post-training) 对验证效果的影响。
3. 核心问题：在什么条件下，引入验证器才能真正带来性能提升？模型家族、模型大小、后训练策略以及任务类型如何影响验证的有效性？

2. 方法论 (Methodology)

2.1 实验设置

• 模型范围：评估了 37 个模型，涵盖 7 个模型家族（Qwen3, Qwen2.5, Llama3, DeepSeek 等），包括基础模型（Base）和经过推理后训练的模型（Post-trained/Instruct）。模型参数量从 0.5B 到 72B 不等。
• 数据集：在 9 个基准测试 上进行评估，涵盖：
  • 逻辑推理与结构化谜题：3SAT, Sudoku, 矩阵乘法。
  • 数学推理：AIME, GSM8K。
  • 常识与事实知识：CSQA, GPQA, MMLU (STEM & Social Sciences)。
• 验证设置：定义了三种验证场景：
  1. 自验证 (Self-Verification)：求解器与验证器是同一个模型。
  2. 同族验证 (Intra-Family Verification)：验证器验证同一家族内其他模型生成的答案。
  3. 跨族验证 (Cross-Family Verification)：验证器验证不同家族模型生成的答案。

2.2 核心指标：验证器增益 (Verifier Gain)

为了更准确地衡量验证器的实际价值，作者提出了一个新的指标 Verifier Gain，用于预测测试时拒绝采样带来的性能提升：
$$\text{Gain}(S, V; D) = \text{Precision}(S, V; D) - \text{SolverAcc}(S; D)$$
其中：

• $\text{Precision}$ 是验证器接受的答案中正确答案的比例（在无限次重采样的极限下，接受答案的准确率趋近于验证器的精确度）。
• $\text{SolverAcc}$ 是求解器原始的准确率。
• 意义：该指标量化了引入验证器后，系统整体准确率的预期提升幅度。

2.3 验证流程

• 求解器生成思维链（CoT）和答案。
• 验证器评估“问题 - 答案”对，输出“正确”或“错误”的判断。
• 通过拒绝采样（Rejection Sampling）模拟：不断采样直到验证器接受一个答案，计算最终准确率。

3. 关键发现与结果 (Key Results)

3.1 验证器增益是可靠的预测指标

• 结论：理论计算的 Verifier Gain 与实际的拒绝采样增益（Empirical Gain）高度相关（相关系数 $r \approx 0.89$）。
• 意义：无需进行昂贵的多次重采样实验，仅通过单次验证即可预测验证器在测试时的实际提升效果。

3.2 跨族验证优于自验证与同族验证

• 现象：跨族验证 (Cross-Family) 通常比同族验证或自验证带来更大的性能提升。
• 原因：模型倾向于接受与其自身推理模式相似的答案（偏差）。当求解器和验证器过于相似（如同一个模型或同一家族）时，验证器容易“盲目”接受错误的、但符合其自身偏好的答案（假阳性高）。
• 数据支持：随着求解器和验证器分布相似度的增加，验证器增益显著下降。

3.3 推理后训练 (Reasoning Post-training) 的双刃剑效应

• 对求解能力：后训练显著提升了模型的解题准确率（Qwen3 提升了 35.4%）。
• 对自验证能力：后训练削弱了模型的自验证能力。
  • 强模型（如 Qwen3, DeepSeek）在解题过程中已经自发地进行了自我验证（约 73%-96% 的输出包含自我检查关键词），因此额外的强制验证轮次带来的边际收益极低。
  • 后训练加剧了模型对自身推理模式的偏好，导致在自验证或同族验证中假阳性率（FPR）上升。
• 对跨族验证：后训练显著增强了模型作为跨族验证器的能力。

3.4 任务类型的可验证性差异

• 逻辑与数学任务：如 Sudoku, 3SAT, AIME, GSM8K 等任务，验证比求解更容易（多项式时间验证 vs 指数级求解），因此验证器增益最高。
• 知识回忆任务：如 GPQA, MMLU (STEM)，验证答案往往需要与求解相同的领域知识，因此验证难度大，增益较低。
• 结论：并非所有任务都适合通过验证来提升性能，逻辑和数学推理任务受益最大。

4. 主要贡献 (Key Contributions)

1. 提出新指标 Verifier Gain：
   解决了仅靠验证准确率（Accuracy）无法全面评估验证器在测试时实际收益的问题。该指标能准确预测拒绝采样的性能提升，且计算成本低。

2. 系统性揭示验证的边界条件：

   • 首次系统性地比较了自验证、同族验证和跨族验证。
   • 发现**“差异产生价值”**：求解器与验证器的分布差异越大，验证效果越好。
   • 揭示了强推理模型（Post-trained）在自验证中收益递减的现象，归因于其解题过程中的自发自我检查。

3. 任务可验证性分析：
   明确了任务类型对验证效果的影响，指出逻辑/数学任务具有内在的高可验证性，而事实回忆任务则不然。

4. 实证指导清单：
   为构建高效的 Solver-Verifier 系统提供了可操作的建议：

   • 使用 Verifier Gain 而非准确率来评估配对。
   • 优先选择**“思考方式不同”**的模型作为验证器（跨族）。
   • 避免让强推理模型验证自己的答案（收益极低）。
   • 在逻辑和数学任务中优先部署验证机制。

5. 意义与影响 (Significance)

• 理论层面：深入理解了 LLM 在验证任务中的偏差机制（Bias），特别是模型对自身生成内容的过度信任（Self-enhancement bias），以及后训练如何改变这种分布。
• 实践层面：为工业界部署 LLM 推理系统提供了明确的优化路径。在资源受限或需要高可靠性的场景下，盲目使用自验证可能无效甚至有害，而采用异构模型组合（Cross-Family） 针对特定任务类型（逻辑/数学） 进行验证，是提升系统鲁棒性和准确性的最优解。
• 未来方向：指出了多轮交互（Multi-turn）验证和探究偏差来源（预训练 vs 后训练）是未来的重要研究方向。

---

总结：这篇论文通过大规模实证研究，打破了“模型越强，自验证越好”的直觉，指出跨模型家族的验证以及针对特定任务类型的验证才是提升 LLM 推理性能的关键。它强调了在构建 AI 代理系统时，验证器的选择策略（多样性）比验证器本身的绝对能力更为重要。