技术摘要：用于代理推理的可验证过程奖励

问题陈述

基于可验证奖励的强化学习（RLVR）通过将主观的人类偏好替换为客观的正确性信号（例如精确的数学答案或单元测试结果），成功增强了大语言模型（LLM）的推理能力。然而，现有的 RLVR 方法主要依赖稀疏的结果级反馈，即仅在完成整个轨迹后才提供奖励。

这种稀疏性在长程代理推理中造成了根本性的信用分配问题。在涉及工具使用、规划或信念更新的多步骤任务中，即使包含许多正确的中间决策，轨迹仍可能失败；反之，即使包含有缺陷的决策，轨迹仍可能成功。稀疏的终端反馈无法可靠地识别哪些具体的中间动作应该被强化或惩罚。虽然过程奖励模型（PRMs）试图通过提供步骤级反馈来解决这一问题，但它们通常依赖学习到的奖励模型、LLM 作为裁判的评估或蒙特卡洛 rollout。这些方法引入了噪声、偏差、对奖励黑客攻击的脆弱性或高计算方差。

本文指出了一个差距：需要一种密集、回合级的监督，这种监督应客观且基于任务结构，而不是依赖学习到的近似值或昂贵的采样。

方法论：可验证过程奖励（VPR）

作者提出了可验证过程奖励（VPR），这是一个将符号或算法预言机转化为用于强化学习的密集、回合级奖励信号的框架。VPR 基于可密集验证的代理推理问题的假设，即中间动作可以通过特定任务的验证器 $V: S \times A \to \{0, 1\}$ 进行客观检查。

核心机制

VPR 不等待轨迹级信号或通过 rollout 估算值，而是针对每个中间动作检查验证器。如果动作在验证器逻辑下是有效的、有用的或最优的，它将获得一个密集且无噪声的奖励（$r_t^{VPR} = V(s_t, a_t)$）。

该框架在三个代表性场景中被实例化：

1. 基于搜索的验证（动态演绎）： 在井字棋中实现。验证器使用蒙特卡洛树搜索（MCTS）来评估策略最优性。如果动作与 MCTS 最优移动（$Q_{MCTS}$）匹配，则该动作获得奖励，从而鼓励代理避免局部有吸引力但在策略上会导致失败的动作。
2. 基于约束的验证（逻辑推理）： 在数独中实现。验证器检查填入的数字是否与唯一的全球解决方案网格（$G^*$）一致。如果动作与单元格的正确数字匹配（$G^*[i, j] = d$），则该动作获得奖励，从而为约束满足提供密集监督。
3. 基于后验的验证（概率推断）： 在扫雷中实现。验证器根据已揭示的观察结果计算地雷的后验概率。如果动作揭示了后验地雷概率最小的单元格（风险最小化）或标记了概率为 1 的单元格，则该动作获得奖励。这鼓励代理更新其信念状态并根据不确定性采取行动。

优化

策略使用**组相对策略优化（GRPO）**的回合级变体进行优化。对于每个回合 $t$，奖励在一组轨迹中进行归一化，以计算回合级优势（$A_{i,t}$）。与结果级 RL 不同，这允许即使轨迹最终失败，正确的中间步骤也能得到强化；即使轨迹偶然成功，无效步骤也会受到惩罚。

理论分析

本文提供了三个关键的理论见解：

1. 类模仿更新： VPR 充当一种在线策略过滤的模仿更新，其中每一步都贡献其自身基于预言机的信用信号。
2. 偏差缩放： 由近似验证器引入的梯度偏差与验证器的分歧率（$\bar{\epsilon}$）呈线性缩放。这与基于学习或 rollout 的奖励形成对比，后者的噪声传播可能更加不可预测。
3. 信号累积： 在长程任务中，VPR 信号随视野（$T$）线性累积，而结果级奖励（OR）信号则指数级稀释（$p^T$），因为成功要求每一步都正确。这解释了为什么 VPR 为长轨迹提供了更优越的信用分配。

主要贡献

1. 框架： 提出了 VPR，一种在可密集验证的代理推理问题中从符号或算法验证器推导过程奖励的方法。
2. 实例化： 在三个不同的推理领域展示了 VPR：基于搜索（井字棋）、基于约束（数独）和基于后验（扫雷）。
3. 理论： 理论分析表明，密集的可验证反馈通过局部化策略梯度更新并提供优于结果级奖励的有利视野缩放，改善了长程信用分配。
4. 实证验证： 全面评估显示，VPR 在受控环境中优于结果级 RL 和基于 rollout 的过程奖励基线，并成功迁移到通用和代理推理基准测试中。

实验结果

作者使用Qwen3-4B模型在三个训练环境中评估了 VPR，并测试了向通用推理和代理任务的迁移能力。

域内性能

• 井字棋： VPR 接近最优回报（0），是唯一在作为先手和后手时均表现强劲的方法。结果级（OR）和蒙特卡洛过程奖励（MC-PR）基线表现滞后，特别是在作为后手时，密集信用分配至关重要。
• 数独： 虽然基础模型具有中等的完成率，但它几乎无法解决任何谜题。VPR 显著提高了成功率（SR）和完成率（CR）。值得注意的是，MC-PR 的表现不如 OR，表明在有严格约束满足的任务中，有噪声的步骤级估计可能是有害的。
• 扫雷： VPR 在完成率方面显示出最大的提升，表明与基线相比，代理在不确定状态下进行了更多有效的局部推断并存活了更长时间。

域外泛化

使用 VPR 训练的模型表现出卓越的迁移能力：

• 通用推理： VPR 训练模型在 7 个基准测试（GSM8K, MATH-500, AIME24/25, GPQA-D, BBH, MMLU-P）中取得了最高的平均分数。在较难的基准测试（AIME, GPQA）上改进最为显著，表明 VPR 增强了多步推理能力，而不是均匀地提升所有任务。
• 代理任务： VPR 模型在ALFWorld（具身文本规划）和WebShop（目标导向的网页交互）上优于基线，这些领域在结构上与合成训练游戏相距甚远。这表明 VPR 培养了适用于训练环境之外的通用推理技能。

预言机质量消融

关于预言机质量的一个关键发现：

• 高质量验证器（N=10,000 次 MCTS 模拟）： 在域内和域外设置中均产生了最佳性能。
• 弱验证器（N=100）： 主动损害了训练。使用弱验证器训练的模型在训练环境和通用推理基准测试中的表现均不如基础模型。
• 结论： 只有当验证器可靠时，密集监督才有益。来自不匹配预言机的噪声过程监督可能比稀疏的结果监督更严重地损害通用推理能力。

意义与主张

本文主张，可密集验证的代理推理提供了一条有用的路径，用于研究密集、客观的过程反馈如何提升 LLM 代理的通用推理能力。

• 实用方案： 作者提出了一种实用方法：识别中间正确性可以被客观验证的环境，监督推理过程而不仅仅是最终答案，并将这些技能迁移到更广泛的代理设置中。
• 局限性与挑战： 本文谦逊地承认，VPR 依赖于中间验证器的可用性和质量。将 VPR 扩展到结构较少、开放式的、符号或算法预言机不易获取的环境仍然是一个未解决的挑战。
• 影响： 这项工作强调，虽然可验证的过程监督可以培养通用推理技能，但“预言机”的质量至关重要；如果没有可靠的验证，密集反馈可能会适得其反。