💻 computer science

REVES: REvision and VErification--Augmented Training for Test-Time Scaling

该论文提出了 REVES，这是一个两阶段迭代框架，通过将成功恢复轨迹中的中间“近失”步骤转换为解耦的修正与验证提示来增强训练，从而实现高效的离策学习，其在编程、数学和约束满足任务上的表现显著优于标准的多轮强化学习和进化搜索方法。

原作者： Yuanxin Liu, Ruida Zhou, Xinyan Zhao, Amr Sharaf, Hongzhou Lin, Arijit Biswas, Mohammad Ghavamzadeh, Zhaoran Wang, Mingyi Hong

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuanxin Liu, Ruida Zhou, Xinyan Zhao, Amr Sharaf, Hongzhou Lin, Arijit Biswas, Mohammad Ghavamzadeh, Zhaoran Wang, Mingyi Hong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文 REVES: REvision and VErification–Augmented Training for Test-Time Scaling 的解释，使用了简单的语言和富有创意的类比。

大局观：为什么“初试”是不够的

想象你正在参加一场很难的考试。大多数人并不能在第一次尝试时就答对。相反，他们会想：“等等，这看起来不对劲，”然后检查自己的工作，发现错误，然后重试。

目前的 AI 模型（大语言模型）擅长回答问题，但它们通常被训练成“一击即中”的思考者。它们被教导要立即给出最好的答案并停止。问题在于，当这些模型在现实世界中部署时，它们往往需要根据反馈（例如编程中的编译器错误或数学中的逻辑检查）来修正自己的答案。

本文作者认为，将模型训练成“一击即中的天才”并不能让它成为一个优秀的“修正者”。你不能只通过给一个人进行一次性必须完美完成作文的测试，就教会他成为一名优秀的编辑。

问题所在：“盲目”的教练

论文指出，我们目前训练 AI 修正其工作的做法存在缺陷。

类比：马拉松跑者
想象正在为马拉松训练一名跑者。

标准训练： 你让跑者跑完整个 26 英里。如果他们完成了，你就给他们一个奖杯。如果他们在第 10 英里时绊倒了，但继续跑完了全程，你仍然会给他们一个奖杯。
缺陷： 跑者会认为：“太棒了！在第 10 英里绊倒是获胜策略的一部分！”他们没有意识到绊倒是一个错误。他们只知道最终结果是好的。

在 AI 术语中，这被称为轨迹级信用分配（trajectory-level credit）。如果一个模型做了三次错误的猜测，然后在第四次尝试时得到了正确答案，标准训练会将“信用”赋予所有三次错误的猜测，因为它们是通往成功的路径的一部分。这会让模型感到困惑。

解决方案：REVES（“教官式”方法）

作者提出了一种名为 REVES 的新方法。REVES 不再关注整场比赛，而是将其分解为每一个具体的步骤。

类比：体育训练课
REVES 将训练从“跑完整个马拉松”转变为“练习特定的专项训练”。

捕捉错误： AI 尝试解决一个问题。它陷入困境或犯了一个“差一点就对”的错误（几乎对了，但还是错了）。
停止并隔离： REVES 不会让 AI 继续运行以观察它是否最终能靠运气成功，而是直接在那个时刻停止过程。
两部分训练课：
- 修正训练（Revision Drill）： AI 被展示这个错误，并被问到：“你如何修复这个特定的错误？”
- 验证训练（Verification Drill）： AI 被展示这个错误，并被问到：“这个答案是正确还是错误？为什么？”

通过这样做，AI 学会了两种截然不同的技能：

如何修复一个特定的错误（修正）。
如何发现一个错误（验证）。

它是如何运作的（两阶段循环）

论文描述了一个不断重复的循环：

第一阶段：模拟（数据增强）
AI 尝试解决许多问题。当它经过几次尝试后成功时，系统会保存那些“差一点就对”的时刻。它将这些时刻转化为新的练习题：“这是一个错误的答案；请修复它，”以及“这是一个错误的答案；请告诉我它是错的。”
第二阶段：训练（单轮强化学习）
AI 使用这些新的练习题通过标准的、简单的训练方法进行训练。它学会了修复错误和识别错误。
重复： AI 变得越来越好，因此“差一点就对”的错误也会变得越来越难。系统会生成新的、更难的训练课，循环往复。

结果：他们发现了什么？

作者在三个主要挑战类型上进行了测试：

编程： AI 需要编写计算机程序。REVES 帮助它修复 Bug 的能力远优于以往的方法，在标准编程基准测试中得分显著提高。
数学： AI 解决了复杂的数学问题。它学会了有效地纠正自己的逻辑错误。
谜题与“圆填充”（Circle Packing）： 他们测试了一个非常难的几何问题，叫做“圆填充”（将圆放入正方形中）。
- 惊喜之处： 一个相对较小的 AI 模型（40 亿参数）通过 REVES 训练后，表现得与使用庞大进化搜索方法（尝试数千个随机变体）的超大规模复杂系统一样出色。
- 泛化能力： 尽管该 AI 仅在数学和编程上接受了训练，但它在解决从未见过的逻辑谜题（如数独和 N 皇后问题）方面也变得更强了。这表明，“修复错误”的能力是一种通用的超能力，而不仅仅局限于数学。

核心结论

论文声称，提高模型修复单个步骤的能力，会自动提高其使用任何涉及检查和修正工作的复杂策略（如树搜索或进化算法）的能力。

简而言之： 不要只教 AI 如何得到正确答案。要教它如何发现自己错了，以及如何修复它。通过将“差一点就对”的失败转化为特定的练习课，AI 变成了一个更聪明、更具自我纠错能力的思考者。

技术摘要：REVES —— 用于测试时扩展的修订与验证增强训练

1. 问题陈述

部署在复杂推理任务中的大语言模型（LLMs）在第一次尝试时很少能产生正确答案。现实世界的流程通常依赖于**测试时扩展（Test-Time Scaling, TTS）**算法，例如顺序修订、树搜索或进化细化，这些算法通过基于先前尝试和反馈迭代生成响应来进行工作。

作者识别出的核心问题是标准后训练目标与这些多步推理动态之间的根本性失配：

标准目标： 如 RLHF、RLVR 和 GRPO 等方法优化的是单次尝试的期望奖励（ $J_{OneShot}$ ）。它们将模型视为从问题到答案的静态映射。
失配之处： TTS 算法通过多步轨迹运行。标准的标准多轮强化学习（RL）试图通过对完整轨迹进行优化来解决这个问题。然而，这种方法受困于路径依赖的信用分配（path-dependent credit assignment）。在类似于“错误 $\to$ 错误 $\to$ 正确”的轨迹中，标准 RL 仅仅因为最终结果成功，就会将正向信用分配给中间的“错误”步骤。这产生了一个有偏的学习信号，无法教会模型如何具体地识别并纠正中间错误。

作者提出了疑问：我们能否设计一种后训练算法，能够显式地优化模型的顺序修订能力，而不仅仅是优化特定展开过程的最终结果？

2. 方法论：REVES 框架

作者提出了 REVES（REvision and VErification–Augmented Training，修订与验证增强训练），这是一个旨在直接优化**顺序修订（Sequential Revision, SR）**目标（ $J_{\phi_{SR}}$ ）的两阶段迭代框架。

理论基础

论文证明了 SR 目标可以被精确分解为每状态单步恢复概率的加权和（引理 4.1）。
$J_{\phi_{SR}}(\theta) = \sum_{z} \rho_{\theta}(z) \mathbb{E}_{y' \sim \pi_\theta(\cdot|z)} [r^*(x, y')]$
其中：

$z$ 代表一个修订状态（问题 + 先前的尝试 + 反馈）。
$\rho_{\theta}(z)$ 是状态 $z$ 的预期访问计数。
$V_\pi(z)$ 是从状态 $z$ 在单步内恢复到正确答案的概率。

这种分解表明，优化 $J_{\phi_{SR}}$ 不需要长程轨迹的信用分配。相反，它需要最大化在每一个中间状态下的恢复概率。

两阶段算法

REVES 在数据增强和策略优化之间交替进行：

第一阶段：在线数据/提示词增强

当前策略 $\pi_\theta$ 在一组问题上执行顺序修订展开（Sequential Revision rollouts）。
过滤： 仅保留在预算 $K$ 内成功恢复的轨迹。
解耦： 对于每个成功的轨迹，将中间的“近失”（错误）答案转换为两类训练提示词：
- 修订提示词（Revision Prompts）： “给定问题 $x$ 和之前的尝试 $y_{prev}$ （它是错误的），请生成一个修正后的解法。”
- 验证提示词（Verification Prompts）： “给定问题 $x$ 和提议的答案 $y$ ，判断其是否正确。”
这创建了一个增强数据集，使模型学习如何从特定的错误状态中恢复并进行自我验证。

第二阶段：单轮策略优化

使用标准单轮 RL（如 GRPO 或 PPO）在增强数据集上训练策略。
由于数据被解耦为单轮（状态 $\to$ 恢复）对，训练避免了多轮轨迹信用分配的高方差和偏差。
更新后的策略随后用于生成新的增强数据以供下一轮使用，确保训练分布与模型当前的失败模式保持一致。

效率与停止规则

离策效率（Off-Policy Efficiency）： 数据生成（第一阶段）可以与训练异步并行运行，从而避免了同步多轮展开带来的计算瓶颈。
测试时停止： 由于测试时通常无法获得地面真值验证器，REVES 采用了代理停止规则：
- 数学： 使用“尾部置信度（Tail Confidence）”指标来检测模型置信度何时趋于稳定或下降。
- 编程： 使用公共测试用例的执行结果作为代理奖励。

3. 核心贡献

概念层面： 论文将测试时扩展定义为一个元强化学习（meta-RL）问题。作者证明（定理 3.1），提高在顺序修订输入上的单步恢复概率，理论上可以保证对于任何利用修订的 TTS 算法（包括 MCTS 和进化搜索）带来性能提升，前提是训练分布覆盖了部署输入。
方法论层面： 作者提出了 REVES，它将中间错误重新构建为解耦的训练状态。通过将“近失”答案转换为修订和验证提示词，该方法将学习信号隔离到局部恢复，而非全局轨迹成功。
实证层面： 该方法在多种领域（编程、数学、谜题）中表现出持续的改进，并且在无需特定训练的情况下，能够泛化到分布外（OOD）任务。

4. 实验结果

作者在多个基准测试上评估了 REVES，使用的模型参数量从 3B 到 7B 不等（Qwen2.5, Qwen3, DeepSeek-R1-Distill）。

编程 (LiveCodeBench)： REVES 比单次尝试 RL 基线高出 +6.5 分，比标准多轮训练高出 +4.0 分。它在不同的测试时预算下均表现出鲁棒性。
数学 (AIME24/25, MATH500)： 在“Oracle”停止（在找到正确答案时立即停止）模式下，REVES 展示了显著的顺序修订能力提升。这些增益在“自我置信度”停止规则下依然存在，表明其学习能力已转化为实际部署能力。
圆填充问题 (Circle Packing)： 一个经过 REVES 训练的 Qwen3-4B 模型达到了此前由基于 Gemini-2.0 Pro/Flash 和 Qwen3-8B 的大型进化搜索系统所达到的 SOTA 结果（半径之和为 2.635983）。这是通过更小的基础模型和显著更少的展开次数实现的。
分布外泛化： 仅在数学和编程数据上训练的模型，在约束满足类谜题（n_queens, mini_sudoku，其正确性完全由问题约束定义）上也表现出了显著的性能提升，证明了强大的跨任务泛化能力。
向其他 TTS 算法的迁移： 正如定理 3.1 所预测，经 REVES 训练的模型提升了其他基于修订的 TTS 算法（包括 MCTS、AB-MCTS 变体和 Mind Evolution）的性能。

5. 意义与主张

论文声称 REVES 解决了 LLM 训练中的一个关键差距：即单次尝试训练目标与多步测试时推理之间的失配。

效率： 通过专注于每状态恢复而非全轨迹优化，REVES 降低了长程采样的计算开销，同时提供了更尖锐、偏差更小的学习信号。
可扩展性： 该方法随增强预算有效扩展，并允许较小的模型（4B）在复杂优化问题上匹配更大规模系统的性能。
泛化性： 该方法不局限于特定领域；它提升了模型“再次思考”并自我纠正的基础能力，从而使任何依赖修订的推理策略都受益。

作者总结道，使训练与测试时扩展的具体机制（特别是顺序修订）相一致，是释放 LLM 全面推理潜力的必要步骤，尤其是在编程、数学和科学发现等可验证领域。