💬 NLP

SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute

该论文引入了自我验证细化（Self-Verifying Refinement, SVR），这是一种无需外部真值（oracle-free）的强化学习框架，它使语言模型能够通过学习利用内部自我验证信号（正确性判定和置信度分数）来决定何时停止细化答案，从而动态地分配测试时计算量，与现有基准相比，在实现更高准确率的同时减少了推理轮数。

原作者： Hongyu Chen, Liang Lin, Guangrun Wang

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Hongyu Chen, Liang Lin, Guangrun Wang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个非常棘手的谜题，比如一个复杂的数学问题或一个谜语。你有一个超级聪明的伙伴（我们称之为人工智能），他们擅长解决问题，但有时也会卡住或犯一些愚蠢的错误。在过去，如果你想让你的朋友多思考一会儿，你只需告诉他们：“继续！再试一次！”并设定一个固定的次数，比如十次。但问题在于，有些谜题很简单，他们尝试一次就能解决；而有些则非常难，需要尝试十次。如果你强迫他们在简单的题目上反复尝试，就是在浪费时间和精力。如果你在难题还没解开时就过早停止，他们可能会在找到正确答案之前就放弃了。

这就是人工智能“推理时计算”（test-time computation）的世界。这个概念是指通过给予人工智能在回答问题时更多的思考时间和脑力，可以使其变得更聪明。但有一个大问题：AI 如何知道什么时候该停止思考？通常，我们需要人类或一个单独的“检查器”程序来告诉 AI：“嘿，你答对了，停下！”或者“不对，再试一次。”但如果我们在没有检查器的情况下该怎么办呢？如果 AI 必须成为自己的老板，根据自己的直觉来决定何时结束呢？

这正是这篇论文的研究人员试图解决的问题。他们创造了一种名为 SVR（自我验证优化，Self-Verifying Refinement）的新方法。你可以把它想象成教 AI 成为一名严格的老师。它不再等待人类来批改它的作业，而是学会了在每一次尝试后停下来，并问自己两个问题：“我的答案正确吗？”以及“我有多少把握？”如果它说“是的，它是正确的”并且“我非常有把握”，它就会停止并提交答案。如果它不确定或认为自己错了，它就会继续思考并尝试修正它。酷的地方在于，AI 是通过练习自学这项技能的，在实际测试过程中，不需要人类来告诉它正确答案。

研究人员在七个不同的数学挑战上测试了这一方法，范围从简单的算术到高难度的竞赛级题目。他们发现 SVR 改变了游戏规则。平均而言，AI 正确解决问题的概率为 56.3%，这比其他要么只猜一次、要么盲目尝试十次的方法都要好。更棒的是，它并没有浪费时间。虽然其他方法会强制要求 AI 对每个问题进行十轮（或步骤）尝试，但 SVR 发现大多数问题平均只需要大约 3 轮。它节省了大量的“思考 Token”（即 AI 消耗的数字燃料），因为它能在准备就绪时准确停止，而不是遵循僵化的计划。

然而，论文也提醒我们，这并非魔法。AI 并不完美。有时它会过于自信，在错误的答案上过早停止，或者在应该停止时却继续纠缠。研究人员表明，如果你只是简单地告诉 AI 在固定次数（比如 10 次）后停止，效果反而会变差，因为这可能会通过试图“修复”它而毁掉一个正确的答案。SVR 能够倾听其内部“信心计”的能力，正是其之所以如此高效的原因。这就像是教学生在学习后要信任自己的判断，而不是死记硬背一条“学习整整 30 分钟”的规则。研究结果表明，当 AI 学会验证自己的工作时，它不仅变得更聪明，而且更加高效，在获得更好结果的同时节省了能量。

技术摘要：自我验证细化 (Self-Verifying Refinement, SVR)

问题陈述

扩展测试时计算（test-time computation）是提升语言模型推理能力的核心策略，然而当前的方法面临两个主要局限：

资源分配效率低下： 固定预算的方法（例如统一的多轮细化或固定 $k$ 次采样）会在已经解决的简单输入上浪费计算资源，并可能无法为困难的输入分配足够的资源。
依赖外部信号： 现有的自适应或自我修正方法通常依赖于外部验证器、执行环境或真值反馈（正确性真相）来决定何时停止细化。这些信号在部署时往往成本高昂、无法获取，或者会在训练与推理的信息边界之间引入脱节。

核心挑战在于如何使模型学习一种内部控制信号，以决定是保留当前答案还是分配进一步的细化轮次，且在推理过程中仅使用由策略自身生成的信号，而不访问正确性真值。

方法论：自我验证细化 (SVR)

作者提出了 自我验证细化 (SVR)，这是一个无 Oracle（无需外部真值）的多轮强化学习框架，旨在学习将自我验证作为一种计算控制策略。

1. 自适应细化公式化

SVR 将测试时计算视为一个序列分配问题。在每一轮 $t$ ，策略 $\pi_\theta$ 生成一个结构化输出 $o_t = (r_t, a_t, v_t, c_t)$ ，包含：

$r_t$ ：推理轨迹（Reasoning trace）。
$a_t$ ：任务答案。
$v_t$ ：离散判定（$Correct $正确、$ Incorrect $错误或$ Unsure$ 不确定）。
$c_t$ ：置信度得分（对 $a_t$ 正确性的概率估计）。

推理机制：
推理时的控制器在一个无 Oracle 的信息边界下运行。当且仅当满足以下条件时，它会停止并返回当前答案 $a_t$ ：

生成未被截断（ $q_t = 0$ ）。
判定为正确（ $v_t = C$ ）。
置信度超过部署阈值 $\gamma$ （ $c_t \ge \gamma$ ）。

如果这些条件未满足且预算仍然充足，模型将利用原始问题、保留的草稿以及策略自身的自我验证状态来构建下一轮提示词，而绝不访问正确性标签。

2. 训练：联合判定-置信度强化学习

SVR 使用 组相对策略优化 (GRPO) 在固定时界轨迹（ $T_{tr}$ ）上进行训练。真值正确性仅用于构建训练奖励，在细化过程中从未暴露给策略。

轨迹级回报 $R_{SVR}$ 平均了三个每轮信号：

解题奖励 ( $r_{solve}$ )： 奖励绝对正确性和跨轮次的进展（例如，纠正错误或保留正确答案），同时惩罚退化和截断。
自我验证奖励 ( $r_{verify}$ )： 一个旨在将“判定-置信度”对与经验正确性对齐的复合目标：
- 校准 (Calibration)： 一个 Brier 风格的目标，使置信度 $c_t$ 与正确性 $y_t$ 对齐。
- 过度自信惩罚 (Overconfidence Penalty)： 惩罚在错误答案上给出高置信度 $Correct$ 判定的行为。
- 错误检测 (Error Detection)： 奖励在错误答案上给出明确的 $Incorrect$ 判定。
- 停止就绪度 (Stop-Readiness)： 鼓励在正确答案上表现出高置信度，以促进早期停止。
格式奖励 ( $r_{fmt}$ )： 确保有效的任务答案格式以及可解析的自我检查结构。

关键训练设计：

固定时界收集： 在训练期间，所有轨迹无论中间判定如何，都会运行完整的 $T_{tr}$ 轮次。这防止了错误的早期停止切断策略对必要细化状态的接触。
优化范围： 策略梯度损失仅应用于轨迹的最终完成 Token。中间轮次对轨迹回报有贡献（用于监督自我验证信号），但不被视为独立的优化样本。

3. 推理

在推理时，训练好的策略通过自适应调度器进行部署。模型按顺序生成轮次，并在每一轮结束后评估停止条件。训练时界 $T_{tr}$ 与部署预算 $T_{max}$ 是相互独立的； $T_{tr}$ 确保了足够的监督覆盖，而 $T_{max}$ 则限制了最坏情况下的成本。

核心贡献

无 Oracle 闭环框架： SVR 引入了一种方法，使单个策略既能学习细化答案，又能生成用于推理时控制的结构化自我验证信号（判定 + 置信度），从而消除了对外部验证器或 Oracle 反馈的需求。
联合判定-置信度 RL 目标： 作者开发了一个多轮目标，将解题质量、校准感知型自我验证以及停止就绪度聚合到一个单一的轨迹回报中。这训练了策略产生可操作的停止信号，而无需在训练期间直接优化实际的推理成本。
实证验证： 该框架证明了学习到的自我验证可以作为一种有效的内部控制信号进行自适应计算分配，在准确率-计算量权衡方面优于固定预算和 Oracle 引导的基线方法。

实验结果

该方法使用 Qwen3.5-2B 在七个数学推理基准测试（Countdown, GSM8K, MATH500, AIME26, AMC23, OlympiadBench, MinervaMath）上进行了评估。

性能： SVR 在所有 7 个基准测试上的宏平均准确率达到了 0.563。
效率： 每个示例平均仅需 2.99 个推理轮次。
对比：
- 在准确率上超过了最强的非 Oracle 多轮基线 (Murphy) 7.5 个百分点。
- 在使用显著更少 Token 的情况下，超越了固定预算的 Oracle 引导参考模型（该模型使用外部正确性反馈）4.4 个百分点。
- 达到了 10 样本 GRPO 多数投票 (majority voting) 的准确率，但消耗的 Token 成本仅约为其一半。
消融研究：
- 移除自我验证奖励模块 ( $R_{verify}$ ) 会导致准确率下降约 3.5 个百分点，证实了控制信号的必要性。
- 移除“停止就绪度”组件会导致平均轮次增加到 3.83 轮，并使准确率下降 6.9 个百分点，凸显了训练模型识别何时准备好停止的重要性。
- 单轮 SVR（无迭代细化）导致准确率大幅下降，证明了迭代细化是必不可少的。
- 仅使用判定或仅使用置信度会导致性能低于联合信号的表现。

意义与主张

论文声称，SVR 证明了学习到的自我验证可以有效地取代外部 Oracle 信号来控制测试时计算。通过将结构化自我验证不仅视为不确定性的事后描述，而是将其视为策略层面的信号，SVR 使模型能够：

保留正确的中间答案，避免这些答案在进一步细化过程中被覆盖。
根据实例难度进行自适应计算分配，避免固定预算方法的浪费。
在推理过程中以“无 Oracle”的方式运行，使该方法能够在无法获得外部验证器的场景中部署。

作者指出，尽管 SVR 显著改善了准确率-计算量前沿，但在处理困难问题时的 过早停止错误 (Premature Stop Errors, PSE) 仍是一个开放性挑战，因为模型偶尔仍会在对错误答案持有高置信度时终止细化。这项工作表明，将自我验证集成到推理策略本身之中，是实现高效、自适应推理且无需外部监督的一条可行路径。