🤖 AI

rePIRL: Learn PRM with Inverse RL for LLM Reasoning

本文介绍了 rePIRL，这是一个受逆强化学习启发的框架，它通过采用双重学习过程来训练有效的过程奖励模型，用于在对专家策略几乎不做假设的情况下进行大语言模型推理，并证明了其在数学和编程任务上相比现有方法具有更优越的性能和泛化能力。

原作者： Xian Wu, Kaijie Zhu, Ying Zhang, Lun Wang, Wenbo Guo

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Xian Wu, Kaijie Zhu, Ying Zhang, Lun Wang, Wenbo Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生（一个人工智能）如何解决一个非常困难的数学问题或编写一段复杂的计算机代码。

旧的方法：“最终成绩”问题
传统上，在训练这些 AI 学生时，我们只在最后给出反馈。我们查看最终答案并说：“正确！”或“错误！”

问题在于： 如果学生答错了，他们不知道哪里出了错。是第一步错了？第十步错了？还是仅仅最后的计算出了一点偏差？这就像老师在发回试卷时，只在上面画了一个大大的红叉，却没有任何针对具体题目的评语。学生必须去猜测哪里错了，这使得学习过程缓慢且低效。

现有的“分步式”解决方案
一些研究人员尝试通过对每一个步骤都给出反馈来解决这个问题。然而，他们的方法存在两个巨大的缺陷：

“人类导师”陷阱： 他们需要一位人类专家（或是一个超级聪明的 AI）去阅读并为学生的每一步工作进行评分。这极其昂贵且耗时。
“神奇猜测”陷阱： 其他方法试图根据 AI 的自信程度来猜测一步工作的质量，但这往往会导致 AI 变得过度自信，并反复犯同样的错误（论文中称之为“熵崩溃”问题）。

新的解决方案：rePIRL（“逆向工程”法）
论文介绍了一种名为 rePIRL 的新方法来教导 AI。它不是要求人类去给每一步打分，而是利用了一种受**逆向强化学习（Inverse Reinforcement Learning）**启发的高明技巧。

以下是类比：
想象你想教一个机器人如何完美地走路。你并没有一份说明书告诉你“左脚抬高 2 英寸，然后右脚抬高 2 英寸”。相反，你有一段专业运动员完美行走的视频。

rePIRL 的工作原理：
1. 观察专家： AI 观察“专家”（专业运动员）完美完成任务的过程。它不需要知道专家为什么要那样做；它只需要看到成功的路径。
2. 逆向工程规则： AI 尝试推导出专家所遵循的“隐藏规则手册”。它会问：“什么样的规则集能让这条特定的路径看起来像是最佳路径？”
3. 双重舞步： AI 随后练习这项任务。
  - 如果它的表现与专家相似，“规则手册”（过程奖励模型）会说：“做得好！”
  - 如果它偏离了轨道，“规则手册”会说：“再试一次。”
  - AI 在任务上变得越来越好，而规则手册在判断步骤上也变得越来越精准。它们在一个循环中相互促进、共同进步。

为什么这很特别？

无需人类评分员： 它仅通过观察专家的最终成功路径就能学习“规则”。它不需要人类写下“第三步是对的，第四步是错的”。
没有“神奇猜测”： 它不依赖于 AI 的自信度，因此避免了“过度自信”的陷阱。
适用范围广泛： 论文在困难的数学问题（如 AIME 竞赛）和编程挑战（如 LeetCode）上测试了该方法。在这些测试中，使用 rePIRL 训练的 AI 比使用旧有的“仅限最终成绩”方法或昂贵的“人类评分员”方法的 AI，解决了更多的题目，且犯错更少。

论文中提到的现实世界用途
作者展示了一旦 AI 学会了这些“分步规则”，它可以用于三种特定的方式：

即时训练： 你可以使用学到的规则，在不需要任何最终答案的情况下（只需专家的路径），在新的问题集上训练一个新的 AI 模型。
挑选最佳答案： 当 AI 生成一个问题的 10 个不同解法时，“规则手册”可以观察这些解法的步骤，并在检查最终答案是否正确之前，就选出那个遵循了最佳路径的解法。
应对难题： 对于 AI 通常会立即失败的极难问题，分步反馈能帮助它比等待最终的“错误”信号学得更快。

总结
rePIRL 就像一位教练，仅仅通过观察冠军运动员获胜的过程，就学会了其中的“秘诀”。它不再是在比赛结束时才说“你输了”，而是利用这个秘诀为团队提供实时的每一步反馈，从而帮助他们在学习过程中更快、更便宜、更好地进步——而无需人类去为每一次动作打分。

技术摘要：rePIRL：通过逆强化学习学习用于 LLM 推理的过程奖励模型 (PRM)

问题陈述

在大型语言模型 (LLM) 推理中，过程奖励模型 (PRM) 被用于提供 token 级的中间奖励，旨在提高训练效率、减少方差并防止奖励作弊（reward hacking）。然而，现有的学习有效 PRM 的方法面临显著局限性：

离线方法： 有监督方法（如 Uesato et al., 2022; Lightman et al., 2023）和 DPO 类工作需要从专家轨迹中获取 token 级的标注或偏好标签，而这些标注的获取成本极高。基于蒙特卡洛树搜索 (MCTS) 的方法（如 Wang et al., 2024）则需要运行专家策略来生成轨迹，如果专家策略不可用，这在计算上是昂贵且不可行的。
在线方法： 诸如 PRIME (Cui et al., 2025a) 之类的算法依赖于对奖励函数和训练中策略模型的强假设。内在奖励方法（如 Zhao et al., 2025b）使用模型熵或置信度作为奖励，但存在“熵崩溃”问题，即由于过度追求模式寻求行为（mode-seeking behavior），性能在训练后期会发生退化。

核心挑战在于如何以最小的假设学习一个有效的 PRM：具体而言，不需要 token 级的奖励标注、不需要偏好标签、不需要访问专家策略，也不需要对奖励函数的形式进行强假设。

方法论：rePIRL 框架

作者提出了 rePIRL，这是一个受逆强化学习 (IRL) 启发、仅通过专家轨迹即可学习 PRM 的框架。该方法将多步 LLM 推理建模为 token 级的马尔可夫决策过程 (MDP)，并采用一种交替更新策略和 PRM 的双重学习过程。

1. 理论基础

目标构建： 遵循经典的 IRL 框架，作者定义了一个隐藏变量 $o_t \in \{0, 1\}$ ，指示一个动作是否是从专家策略中采样的。他们使用能量函数对动作被专家采样的概率进行建模： $p(o_t=1|s_t, a_t) \propto \exp(r_\phi(s_t, a_t))$ 。
似然最大化： 通过最大化专家轨迹的似然度来学习奖励函数 $r_\phi$ 。这导致了一个涉及配分函数 $z(\phi)$ 的目标函数，由于 LLM 庞大的状态和动作空间，该函数是难以计算的（intractable）。
通过采样实现可计算性： 为了解决配分函数难以计算的问题，作者应用了梯度技巧和重要性采样。他们没有从未知的最优策略中采样，而是从当前的策略 $\pi_\theta$ 中采样轨迹 $\bar{\tau}$ 。梯度通过重要性权重 $w = \exp(r_\phi(\bar{\tau})) / \pi_\theta(\bar{\tau})$ 进行近似。
策略优化： 为了防止模型崩溃（确定性策略），使用最大熵强化学习（Maximum Entropy RL）目标（Haarnoja et al., 2018）来更新策略，该目标平衡了奖励最大化与熵正则化。这可以通过 RLOO、PPO 或 GRPO 等算法来解决。

2. 学习算法

训练循环在更新 PRM 和更新策略之间交替进行：

展开 (Rollout)： 生成策略展开轨迹并获取专家演示。
奖励计算： 计算结果奖励（outcome rewards）和平均过程奖励（average process rewards）。
PRM 更新： 使用一个将专家轨迹与策略展开进行对比的损失函数来更新奖励模型，并辅以重要性采样权重。至关重要的是，作者使用平均过程奖励而非累积奖励，以减轻奖励作弊问题。
策略更新： 使用学习到的过程奖励结合结果奖励（如果可用），利用最大熵目标来更新策略模型。

3. 现有方法的统一

一个关键的理论贡献是证明了 rePIRL 可以通过引入特定的附加假设，将各种现有的 PRM 学习方法（DPO, DQO, Math-Shepherd, PRIME）统一在一个框架下。这使得 rePIRL 成为最通用的方法，所需的假设最少。

核心贡献

新颖框架： 引入了 rePirL，这是一个受 IRL 启发的框架，用于从专家轨迹中学习 PRM，无需 token 级标注、偏好标签或访问专家策略。
统一理论： 通过理论分析表明，rePIRL 将现有的离线和在线 PRM 方法（包括 DPO、DQO、PRIME 和基于 MCTS 的方法）统一到了一个单一的学习框架下，并阐明了它们的底层假设。
可扩展算法： 开发了一种专为 LLM 定制的具有可扩展性的学习算法，利用重要性采样处理难以计算的配分函数，并利用最大熵 RL 确保训练稳定性。
实验验证： 在数学和编程基准测试上进行了全面的评估，证明了其优于基准方法的性能。

实验结果

作者使用 Qwen2.5-3B-Instruct 和 Qwen3-4B-Base 在七个标准基准测试（AIME-2024, AMC, Math-500, MinervaMath, OlympiadBench, Leetcode, LiveCodeBench）上评估了 rePIRL。

性能： rePIRL 在 3B 和 4B 规模的模型中达到了最先进的结果。例如，在 Qwen3-4B-Base 上，它在数学基准测试中达到了 41.6% 的平均准确率，在编程基准测试中达到了 39.8%，超过了强力的基准模型如 PRIME、MCTS 和 vanilla RLOO。
对比： 与使用 Qwen3-4B-Base 的 vanilla RLOO 相比，它实现了 3.2% (数学) 和 4.3% (编程) 的绝对提升。
应用场景：
- 测试时训练 (Test-time Training)： 当仅在没有结果奖励的情况下仅靠 PRM 信号进行训练时，rePIRL 的表现与使用可验证结果奖励训练的模型相当。
- 测试时扩展 (Test-time Scaling)： 使用 PRM 作为验证器来选择更好的展开轨迹，可以获得单调的性能提升，优于多数投票法（majority voting）。
- 难题处理： 对于结果奖励稀疏的困难问题，PRM 提供了有价值的早期信号，与仅靠结果奖励的训练相比，收敛速度更快。
效率： rePirL 仅引入了约 1.4 倍于基于结果的 RL（如 RLOO）的训练时间开销，同时避免了需要单独价值网络的需求。

重要性与主张

论文声称是第一项将逆强化学习推广到 LLM 推理领域的工作，也是第一个将现有 PRM 学习方法统一到单一框架中的工作。

最小假设： 作者强调 rePIRL 在最小必要假设下运行，使其比需要 token 级标注或特定专家策略访问的方法更具通用性。
稳定性： 该框架通过利用最大熵 RL 解决了内在奖励方法中常见的熵崩溃问题，确保了训练动力学的稳定性。
实用性： 训练好的 PRM 被呈现为一个可重用的独立模块，能够造福于下游应用，如测试时训练和扩展，特别是在无法获得或结果奖励稀疏的场景下。

作者总结道，虽然 rePIRL 提供了统一的理论视角和实际效用，但未来的工作可以探索将其与内在奖励方法结合，进行在线 RL 启发式算法的系统比较，以及扩展到智能体任务和更大的模型。