💬 NLP

Self-Guided Process Reward Optimization with Redefined Step-wise Advantage for Process Reinforcement Learning

本文介绍了 SPRO，这是一个用于过程强化学习（Process Reinforcement Learning）的自引导框架，它通过推导内在过程奖励并重新定义逐步优势估计，消除了对外部奖励模型的需求，从而在不增加与标准结果监督方法相比的额外计算开销的情况下，实现了卓越的训练效率、准确性和稳定性。

原作者： Wu Fei, Shuxian Liang, Yibo Yang, Yang Lin, Jing Tang, Lei Chen, Xiansheng Hua, Hao Kong

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wu Fei, Shuxian Liang, Yibo Yang, Yang Lin, Jing Tang, Lei Chen, Xiansheng Hua, Hao Kong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人解决一个棘手的数学谜题。在过去，你会让机器人尝试一个解法，然后在最后才告诉它：“做得好！”或者“再试一次。”这就像给学生考试，直到他们全部完成后才发回成绩。这有点慢，因为机器人必须去猜测哪些具体的步骤是有帮助的，哪些是错误。最近，科学家们发现了一个更好的方法：他们开始在机器人的每一步之后都给予反馈。这被称为“过程强化学习”（Process Reinforcement Learning）。这就像一位老师走在学生身边，在他们解题的过程中低声说：“这一步走得好！”或者“等等，这一步看起来不太稳。”这有助于机器人学得更快，思考得更清晰。然而，这里有一个难点。为了进行这种步进式的反馈，你通常需要第二个超级聪明的机器人（一个“奖励模型”）专门来观察并给步骤打分。这个第二机器人非常沉重、运行成本高昂，并且占用大量的计算资源，这使得它很难在大规模范围内使用。

这篇论文介绍了一个聪明的新技巧，叫做自我引导的过程奖励优化（Self-Guided Process Reward Optimization，简称 SPRO）。作者提出，你实际上根本不需要那个第二个、昂贵的机器人。相反，主机器人可以成为自己的老师！他们发现，只要问法正确，机器人其实已经具备了判断自己步骤的能力。通过重新定义每一步的“优劣”衡量标准，他们创建了一个系统，让机器人能够在不需要单独的评分机器人的情况下实现自我奖励。结果是，这种方法不仅和那些沉重、昂贵的版本一样聪明，而且运行速度更快，消耗的计算资源也更少。在测试中，这种新方法不仅节省了资金，而且在解决数学和编程问题时，比之前的最佳方法表现得更好、更快，同时还能保持机器人的好奇心和创造力，而不是陷入机械重复。

问题所在：沉重的背包

训练一个像人类一样进行推理的智能 AI，就像教一个孩子在迷宫中穿行。如果你只在最后告诉孩子，“你到达出口了！”他们可能不知道哪些转弯是正确的。他们可能在开头走错了路，然后绕路转了一小时，最后只是运气好才走到了终点。这就是大多数 AI 训练在之前的工作方式：它只看最终答案（结果奖励/Outcome Reward）。

为了解决这个问题，研究人员开始使用过程奖励模型（Process Reward Models，简称 PRMs）。想象一下，第二位老师就站在孩子身边，指着迷宫中的每一步说：“转弯不错！”或“转弯不对！”这能帮助孩子学得更快。但问题在于，那个第二位老师是一个“沉重的背包”。你必须在电脑里加载一整个额外的 AI 模型来观察这些步骤。这占用了大量的内存（就像试图背着一台钢琴跑马拉松），并且减慢了所有事情的速度。它非常昂于昂贵，以至于许多实验室无法承担将其用于大型重要任务的费用。

解决方案：会自我教学的机器人

这篇论文的作者提出了一个简单的问题：机器人真的需要第二位老师吗，还是它可以学会自我批改作业？

他们发现，机器人实际上已经具备了评判自己步骤的能力。这就像意识到参加考试的学生其实已经足够了解知识，以至于在老师评分之前，他们自己就能知道某一步是否做对了。他们提出了一种名为 SPRO 的新方法。

与其加载一个单独的“教师机器人”来观察步骤，SPRO 让主“学生机器人”扮演自己的老师。它通过观察自己的内部思维，并将其与自己“过去”的思维进行对比来实现这一点。如果机器人做出了一次比以前更聪明的举动，它就会给自己一个“击掌”（奖励）；如果它做出了一个退步的举动，它就会给自己一个温柔的“再试一次”。

它是如何工作的： “累积式”记分卡

为了让这种自我评分变得公平，作者发明了两个新概念：

累积过程奖励（Cumulative Process Reward，简称 CPR）： 想象你在玩电子游戏。通常，你只有在打败最终 Boss 时才会获得分数。但在这种新系统中，机器人会为它到达终点所走的“整个路径”获得分数。它会回顾从句子开头到当前时刻所采取的每一步，并思考：“回顾整个故事到目前为止的情况，这一步走得好吗？”这有助于机器人理解，一个好的步骤不仅仅关乎紧接着的下一个词，还关乎它如何融入整个故事。
掩码步进优势（Masked Step Advantage，简称 MSA）： 这是裁判的哨声。当机器人尝试解决问题时，它会同时生成多个不同的答案（就像尝试迷宫中的四条不同路径）。MSA 会在完全相同的步骤处观察并比较这四条路径。如果路径 A 在第 3 步采取了捷径，而路径 B 采取了绕路，机器人就能获得一个清晰的信号，表明路径 A 在那一刻的表现更好。这防止了机器人被那些仅仅是变长或变短的答案所迷惑；它专注于哪一步才是更聪明的。

结果：更快、更聪明、更轻量

团队在一些非常困难的数学和编程谜题上测试了这种新方法。以下是他们的发现：

它是速度达人： 因为 SPRO 不需要加载那个沉重的“教师机器人”，所以它的效率极高。论文显示，SPO 在训练速度上比标准方法（GRPO）快 3.4 倍，并且仅使用标准方法（PRIME）达到相同结果所需计算时间（GPU 小时）的 29%。
它解决问题更出色： 使用 SPRO 训练的机器人在测试中的得分比标准方法高出 12.9%，比之前使用单独教师的最佳方法高出 7.2%。
它不会变懒： 有时候，当机器人学习得太快时，它们会停止尝试新事物，而只是重复同一个安全的答案（这被称为“熵崩溃/entropy collapse”）。SPRO 保持了机器人的好奇心。它维持了较高的“探索度”，这意味着机器人会不断尝试不同的创意解决方案，而不是仅仅猜测最稳妥的一个。
它很简洁： 使用 SPRO 训练的机器人学会了给出更简短、更直接的答案。它不会啰嗦，而是直奔主题，这是真正理解能力的体现。

为什么这很重要

这篇论文表明，我们不需要构建庞大、昂贵的计算机系统来教 AI 如何进行逐步推理。通过让 AI 利用自身的内部知识进行自我教学，我们可以让推理型 AI 变得更便宜、更快且更有效。这是一种从“我们需要一个更大的老师”到“学生比我们想象的更聪明”的转变。这意味着在未来，我们将看到更聪明、更强大的 AI 助手运行在更易获得的计算机上，帮助我们在数学、科学和编程等复杂问题上提供帮助，而无需依靠超级计算机来进行训练。

技术摘要：自我引导过程奖励优化 (SPRO)

1. 问题陈述

过程强化学习 (PRL) 通过提供中间反馈，在增强大语言模型 (LLM) 的推理能力方面展现出了潜力。然而，当前的方法面临着重大障碍：

计算开销： 训练辅助过程奖励模型 (PRM) 需要额外的 GPU 显存和计算资源，与 GRPO 等基于结果监督的方法相比，降低了训练吞吐量和可扩展性。
理论空白： 目前缺乏统一的过程级优势估计理论框架。现有方法要么对整个轨迹进行奖励聚合，要么依赖于会引入偏差并偏离标准基于优势的策略梯度方法的蒙特卡洛估计器。
训练限制： 基于 PRM 的方法往往面临训练困难（由于依赖人工标注或不可靠的自动监督），并且由于需要顺序生成（sequential rollouts），在在线 RL 设置中的利用率较低，难以规模化。

2. 方法论

作者提出了 自我引导过程奖励优化 (SPRO)，这是一个无需 PRM 的框架，通过从策略模型本身内在推导奖励，实现过程感知的强化学习。该方法论基于三个核心组件：

A. 自我引导过程奖励

该框架利用了如下理论洞察：任何 LLM 策略 $\pi_\theta$ 在 token 级的马尔可夫决策过程 (MDP) 中，都可以作为某个奖励函数的软 Q 函数。

命题： 策略模型本身可以作为其自身的奖励模型。具体而言，过程奖励 $r(s_t, a_t)$ 可以通过当前策略与参考策略之间的对数比例来推导：
$r(s_t, a_t) + V(s_{t+1}) - V(s_t) = \beta \log \frac{\pi_\theta(a_t|s_t)}{\pi_{ref}(a_t|s_t)}$
机制： 与需要独立 PRM ( $\pi_\phi$ ) 的方法不同，SPRO 使用策略模型 $\pi_\theta$ 来生成 token 级的信用分配。由于策略模型和参考模型都是从同一个 SFT 模型初始化，初始过程奖励为零，并随着训练过程中策略偏离参考模型而演变。

B. 重新定义的逐步优势

为了实现严谨的逐步优势估计，SPRO 引入了两个新概念：

累积过程奖励 (CPR)：
- 意识到 LLM 在第 $t$ 步的隐藏状态编码了整个前缀序列（由于掩码注意力机制），SPRO 将第 $t$ 步的奖励定义为截至该点的过程奖励的累加和。
- 正式地， $R_t$ 定义为奖励之和加上未来价值，这简化为对数比例的级数求和：
  $R_t = V(s_0) + \sum_{j=0}^{t} \beta \log \frac{\pi_\theta(a_j|s_j)}{\pi_{ref}(a_j|s_j)}$
- 这符合 LLM 表示的累积特性，并作为无需外部模型的过程奖励代理。
掩码逐步优势 (MSA)：
- 为了确保公平比较，SPRO 在“共享提示词采样组”内计算优势。
- 对于特定时间步 $t$ 下的多个采样响应，优势是通过将 CPR 相对于该特定时间步下所有有效步骤的组均值进行归一化来计算的。
- 公式： $MSA_{i,t} = \tilde{R}_{i,t} - \text{mask\_mean}(\{\tilde{R}_{i,t}\})$ ，其中 $\tilde{R}$ 排除了常数 $V(s_0)$ 。
- 关键特征： 该机制强制执行严格的逐步比较，避免了长度偏差（例如，较长的响应不会仅仅因为更长而获得人为的优势），并与类似于 GRPO 的标准组相对优势方法保持一致，但将其应用于步骤层面。

C. 优化目标

SPRO 将 MSA 集成到组相对策略优化 (GRPO) 框架中。总优势 $A_{i,t}$ 结合了结果奖励（归一化后）和掩码逐步优势：
$A_{i,t} = \text{OutcomeAdvantage} + MSA_{i,t}$
随后通过使用该组合优势信号来最大化标准的裁剪目标来优化策略。

3. 核心贡献

无需 PRM 的框架： SPRO 消除了训练昂贵的辅助过程奖励模型的需要，在保留基于结果监督 RL（双模型框架）的简洁性和可扩展性的同时，实现了过程级优化。
理论重定义： 本文通过引入 CPR 和 MSA 重新定义了逐步优势，为共享提示词组内的逐步动作优势估计提供了一个严谨的理论框架。
双重改进： 该方法同时解决了 token 效率（更短的推理轨迹）和策略熵崩溃（维持探索）的问题，解决了 LLM RL 中的两个关键挑战。

4. 实验结果

实验在数学和编程基准测试（如 AIME, MATH, LeetCode, LiveCodeBench）上进行，使用了 Eurus-2-7B 和 Qwen2.5-14B 等模型。

准确率： SPRO 在测试准确率上分别超过 vanilla GRPO 12.9% 和 PRIME 7.2%。它还展示了跨模型家族（如 Llama-3.1-8B）的泛化能力。
训练效率： SPRO 实现同等性能仅需 GRPO 29% 的 GPU 时数以及 PRIME 15% 的 GPU 时数。这归功于消除了辅助 PRM 以及缩短了轨迹长度。
Token 效率： SPRO 生成的响应比 vanilla GRPO 短近 三分之一，同时实现了更高的准确率，表明其推理更加高效。
熵稳定性： 与遭受熵崩溃问题的 PRIME 不同，SPRO 在整个训练过程中保持了稳定且较高的策略熵，防止了奖励黑客行为（reward hacking）并促进了有效的探索。
案例研究： 定性分析显示，与基准方法的冗长、重复输出相比，SPRO 生成的推理路径更加简洁直接。

5. 意义与主张

本文声称 SPRO 代表了迈向工业级过程强化学习的重要一步。通过消除训练独立 PRM 的计算瓶颈，它使得过程级优化在大型工业部署中变得可行。作者认为，他们的方法不仅提高了推理准确性，而且通过鼓励简洁、多样且有效的解决方案，从根本上提升了推理过程的质量，且没有损害探索能力。该框架被呈现为一种实用且可扩展的替代方案，能够弥合理论上的过程级优势与高效的现实世界实现之间的差距。