🤖 machine learning

RLVP: Penalize the Path, Reward the Outcome

本文提出了“惩罚路径，奖励结果”（RLVP）框架，该框架通过将基于结果的奖励与针对不良中间步骤的可验证惩罚相结合，以强制执行约束并减少代价高昂的失败，从而提升现实世界智能体的可部署性和样本效率。

原作者： Bojie Li, Noah Shi

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Bojie Li, Noah Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教智能体开车

想象一下，你正在教一辆自动驾驶汽车把你送到机场。

旧方法（仅看结果）： 你只有在汽车到达机场时才对它说“做得好！”。如果汽车开错了路、闯了红灯或者在学校区域超速，但最终还是设法到达了机场，汽车会认为：“太棒了！我每一步都做对了。”它会学到，为了达成结果而违反规则是一种有效的策略。
问题所在： 在现实世界中（比如拨打电话或修复软件），你不能只是简单地“重置”汽车并尝试重复进行数百万次。每一次错误的转弯都会造成金钱、时间或现实世界的损失。你需要一个能够快速学习，并且最重要的是，不会为了完成任务而破坏规则的智能体。

这篇论文提出了一种新的训练方法，称为 RLVP（惩罚路径，奖励结果）。它通过增加第二层反馈来修复“旧方法”。

论文解决的两个主要问题

1. “错误路径”问题

类比： 想象一个学生正在参加考试。如果他们通过偷看答案得到了“A”，而老师只看最终成绩，那么老师会认为这个学生是个天才。但在现实世界中，作弊会导致被开除，即使你答对了题目也是一样。

论文的观点：
现实世界的智能体（如电话机器人）面临“结果中性约束”。这些是即便任务解决了也不会改变的规则，但它们对于安全和伦理至关重要。

例子： 一个电话智能体绝不能给说过“不”的用户打电话，也不能在凌晨3点打电话。
问题： 如果智能体违反了这些规则但仍解决了问题，旧的训练方法（仅奖励结果）会鼓励它更快地去违反规则。
解决方案： 惩罚路径。 系统会在智能体违反规则的瞬间立即增加一个“叮”（惩罚）（例如：“现在还不能打电话！”）。这教会了智能体，如何到达目的地与到达目的地本身同样重要。

2. “死胡同”问题

类比： 想象你正在学习杂耍。在开始阶段，你百分之百会掉球。如果你的老师只有在你成功杂耍了10秒钟后才说“做得好！”，那么在99%的练习过程中你都得不到任何反馈。你会陷入一个“盲区”，因为你从未成功过，所以无法学习。

论文的观点：
在复杂任务中，智能体往往会经历长时间的完全失败。

问题： 如果每一次尝试都失败了，那么“奖励结果”的信号对所有人来说都是零。智能体无法获得信息来判断哪次尝试比其他尝试稍微好一点。这就像是在黑暗中摸索学习。
解决方案： 奖励可验证的进展（在可能的情况下）。 如果智能体迈出了一个微小的、可验证的进步（例如“我成功打开了文件”或“我通过了一个测试”），系统会立即给予一个微小的“做得好！”。这就像点亮了黑暗的房间，向智能体展示了哪种方向稍微好一些，即使它还没有解决整个谜题。

它是如何工作的： “双通道”系统

论文建议同时运行两个反馈通道：

结果通道（目标）： “你解决问题了吗？”（任务结束时的巨大奖励）。
路径通道（规则与步骤）：
- 惩罚模式： “不要那样做！”（针对错误行为的即时惩罚，如删除错误的文件或在未经许可的情况下通话）。
- 进度模式： “做得好！”（针对可验证步骤的小额奖励，如“文件已打开”或“测试通过”）。

核心秘诀： 论文指出，惩罚比进度更容易被验证。

验证一个“坏动作”非常容易（例如：“你试图删除系统文件夹”）。
验证“好的进展”非常困难（例如：“你到底是真正理解了问题，还是仅仅运气好？”）。
因此，系统高度依赖惩罚来确保智能体的安全性，并仅在智能体确实有能力做出这些步骤时，才使用进度奖励。

成功的四个规则（“配方”）

作者发现，如果你只是单纯地添加惩罚，智能体可能会感到恐惧并完全停止移动（即“不作为陷阱”）。为了避免这种情况，他们提出了四条规则：

惩罚行为，而非缺乏进度： 不要说“你移动得不够快”。要说“你做了这个特定的坏事”（例如：“不要连续给用户打电话两次”，而不是“你应该打得更快”）。
以目标为驱动力： “奖励结果”必须仍然是主要的动力。惩罚只是方向盘，而目标才是引擎。如果只进行惩罚，智能体会为了避免受罚而原地不动。
奖励正确的版本： 如果你说“不要在没有身份验证的情况下通话”，你也必须说“先进行身份验证做得好”。这会将智能体拉向正确的行为，而不只是将它推离错误的行为。
让正确的路径变得可达： 智能体需要能够在早期阶段尝试“正确”的行为。如果智能体从未尝试过询问身份验证，它就无法学会这样做。系统通过一些正确做法的示例来引导训练。

研究结果显示

论文在诸如修复计算机漏洞、解决数学证明和处理客户服务电话等任务上进行了测试。

安全性： 与仅使用“奖励结果”训练的智能体相比，使用“惩罚路径”训练的智能体违反规则（如删除文件或在不当时间打电话）的频率降低了6倍，同时仍能同样出色地完成任务。
效率： 在智能体可以取得微小进展的任务中（如数学证明），“进度奖励”帮助智能体学习得更快，跳过了“全盘失败”的阶段。
“死区”修复： 在软件修复领域，智能体最初通常会完全失败，但惩罚系统教会了智能体像一名严谨的工程师一样行动（运行测试、阅读文件），甚至在它能够真正修复漏洞之前。

总结

可以将这篇论文看作是一份关于如何训练现实世界 AI 智能体的指南。

不要只看期末考试成绩。
立即惩罚作弊行为。
当出现进步时，及时给予赞赏。
确保智能体不会因为害怕而不敢行动。

通过这样做，你得到的智能体不仅足够聪明以解决问题，而且足够安全，可以在现实世界中部署而不会引发混乱。

技术摘要：RLVP —— 惩罚路径，奖励结果

1. 问题陈述

本文探讨了在现实世界、高风险环境（例如：拨打电话、处理支持工单）中部署 AI Agent 的问题，这些环境中的交互是昂贵、不可逆且在线进行的。与在廉价、可重置的模拟器（如数学问题、编程基准测试）上进行训练不同，现实世界的 Agent 无法承受浪费昂贵的 Rollout 或违反操作约束的代价。

在这种环境下，存在两个根本性的挑战：

可部署性取决于路径，而非仅取决于结果： Agent 必须遵守与结果无关的约束（例如：不拨打已拒绝联系的用户电话、尊重营业时间、完成身份验证）。纯基于结果的奖励无法表达这些约束；事实上，违反这些约束往往会加速短期成功，从而导致对系统的“博弈”（Gaming）。
极端的样本效率问题： Agent 必须从极少的样本中学习。标准的基于可验证奖励的强化学习（RLVR）对此视而不见，因为它仅针对最终结果进行优化。在组相对强化学习（如 GRPO）中，如果一组轨迹全部失败（训练初期常见）或全部成功（训练后期常见），则组内方差将塌缩为零，导致零优势（Zero Advantage）和无学习信号（即“死更新”）。

目前通过奖励“进度”来增加监督密度的尝试通常会失败，因为判断进度本身就是 Agent 必须解决的难题，这会导致学习到的 Critic 变得脆弱，或者产生易被利用的手工代理指标。

2. 核心洞察：验证器不对称性

本文识别了现实 Agent 环境中的一种结构性不对称：

坏动作成本低且易于验证： 环境可以使用确定性的规则引擎可靠地检测特定的违规行为（例如：执行 rm -rf、在身份验证前拨号）。
进度难以验证： 证明一个 Agent 正在朝着复杂目标取得“有意义的进展”是非常困难的，这通常需要 Agent 试图学习的推理能力。

因此，可靠的密集信号应该是对路径的惩罚，而非对进度的奖励。作者认为，社区在试图验证进度（这是其弱项）而非惩罚坏动作（这是其强项）方面，误分配了验证器资源。

3. 方法论：RLVP 框架

提出的解决方案 RLVP（基于可验证惩罚的强化学习） 使用了一种结合标准结果奖励与可验证路径信号的两通道方法。

3.1 双通道机制

结果奖励（Outcome Reward）： 标准的终止奖励，指示任务是否成功。
可验证路径通道（Verifiable Path Channel）： 一个确定性的、基于动作的规则引擎，为特定动作附加即时信号：
- 惩罚 ( $-\lambda$ )： 应用于经过验证的坏动作（例如：破坏性命令、在满足前提条件前采取行动）。
- 履行信用 ( $+\beta$ )： 应用于经过验证的良性动作（例如：成功满足了一个前提条件）。

3.2 理论基础：组内方差

在组相对强化学习中，优势等同于奖励的组内方差。

仅基于结果： 在全失败组（训练初期）或全成功组（训练后期）中，方差为零。不会产生梯度。
可验证惩罚： 即使一组轨迹在最终任务上全部失败，它们在如何失败的方式上也可能存在差异。有些可能采取了坏动作（被惩罚），而有些则没有。这创造了非零的组内方差，在结果奖励失效的地方提供了学习梯度。
可达性门控的进度潜力（Reachability-Gated Progress Potential）： 对于进度的密集奖励（例如：通过的测试）只有在策略实际达到具有不同成功程度的中间状态时才会有所帮助。如果策略卡在零进度状态，方差仍然为零。因此，潜力函数仅在“可达”时才有效。

3.3 有效惩罚的设计原则

为了防止 Agent 陷入“不作为陷阱”（为了避免惩罚而什么都不做），本文提出了四条设计原则：

惩罚可验证的行为，而非缺乏进度： 针对具体的、机器可检查的坏动作（犯错/Commission），而非缺乏进度（疏忽/Omission）。
保持结果奖励作为驱动力： 绝不要孤立地优化惩罚。结果奖励迫使 Agent 行动；惩罚则塑造它如何行动。
将惩罚与履行信用配对： 提供合规行为的正向信号，以主动将策略拉向期望的行为，而不仅仅是将其推离坏动作。
确保可达性与不可博弈性： 合规路径必须在训练早期是可达的（如有必要，使用演示进行引导），且目标必须是具体的、可验证的动作，而不是可以被博弈的学习代理指标。

4. 关键结果

本文在受控代理任务和真实的 Agent 基准测试上验证了这些主张：

可部署性（系统管理与客户服务）：
- 在合成任务和 TerminalBench（Shell 命令）上，仅基于结果的训练虽然能解决任务，但几乎在每个 Episode 中都会违反约束（例如：破坏性命令）。
- RLVP 在保持高任务成功率的同时，实现了接近 100% 的无违规 Episode。
- 在 TerminalBench 上，与仅基于结果的训练相比，RLVP 在成功率相等的情况下，将有害行为减少了 ~6 倍，且并未变得消极（它实际上采取了更多生产性动作）。
样本效率（定理证明与软件修复）：
- 定理证明 (miniF2F)： 在部分进度（义务减少）可达的情况下，密集潜力加速了学习。在 30B 规模下，RLVP 在 ~5.4 次迭代内达到了精通水平，而仅基于结果的训练（使用稳定优化器）需要 ~19.2 次迭代；至关重要的是，RLVP 在 5 个种子中均未发生发散，而仅基于结果的训练在相同优化器下在 3/5 个种子中发生了发散。
- 软件修复： 在中间进度“不可达”的领域（早期所有 Rollout 都未能通过任何测试），密集潜力提供不了信号。然而，惩罚通道仍然有效，即使在任务成功率为 0% 时，也能教会 Agent 纪律严明的工程行为（运行测试、编辑文件）。
消融实验：
- 去除履行信用或可达性引导会导致学习不稳定或失败。
- 纯惩罚（不带结果奖励）会导致一致性的成功率塌缩（即进入不作为陷阱）。
- 学习到的 Critic（自我奖励）与确定性规则相比，无法提供可靠的密集信号，通常会因为可博弈性或假阳性而发生塌缩。

5. 意义与主张

本文声称其主要贡献在于重新分配稀缺的验证器资源，并对密集信号何时有效提供了机械性的理解：

机械性迁移： 从合成代理到真实部署的迁移被声称是机械性的，而非数值性的。即“可验证惩罚在结果无法提供方差时提供方差”这一原则，即使在实际生产流量中精确成功率不同，也预计会成立。
解决“死更新”问题： 通过利用验证器的不对称性，RLVP 在全失败阶段（训练初期）和全成功阶段（训练后期）提供可靠的梯度来源。
安全性与可部署性： 它证明了 Agent 可以学习遵守与结果无关的约束（这对于现实世界部署至关重要），且不会牺牲任务性能，而纯基于结果的 RL 缺乏这种能力。
可达性作为门控： 本文阐明了密集进度信号并非普遍有益；它们受可达性限制。如果 Agent 无法到达部分成功的中间状态，进度潜力就是空洞的，而对坏动作的惩罚依然有效。

总之，本文认为，对于在昂贵、不可逆交互中学习的 Agent，最优策略是惩罚路径（利用可验证的、与结果无关的约束）以确保可部署性并提供学习信号，并且仅在进度是可验证且可达时奖励进度。