STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models
STEP-VERIFIER 是一种过程奖励模型，它通过自动合成的成对比较来学习验证单个智能体的动作，在训练过程中提供密集的中间反馈，从而在无需在部署时依赖验证器的情况下，显著提高智能体在复杂工具使用任务上的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，出现了一类被称为“智能体”（agents）的新型程序。与仅仅回答问题的标准聊天机器人不同，智能体旨在采取行动。它可以浏览网页、调用外部工具或操作文件来解决复杂问题。为了学习如何做到这一点，这些智能体通常通过一种类似于试错的过程进行训练。它们尝试完成一项任务，如果最终成功了，就会获得奖励；如果失败了，则不会。这对于简单的任务效果很好，但对于涉及数十个步骤的长篇、复杂的任务，这会产生一个显著的盲点。智能体只知道最终结果，却不知道是哪一个具体的步骤导致了失败。一个在过程早期发生的错误动作可能会毁掉整个尝试，然而学习系统会将这种失败与每一个步骤都出错的尝试视为同等对待。这种细节的缺失使得智能体难以高效地从错误中学习。
香港大学和小米的研究人员开发了一种名为 STEP-VERIFIER 的新方法来解决这个问题。该系统不再等待任务结束才判断智能体的表现，而是在学习如何评估每一个单独动作的质量。这项创新的核心在于，它无需人类教师对每一个步骤进行评分即可学会如何进行评估。研究团队意识到，他们可以利用智能体过去的尝试来生成必要的反馈。当一个智能体多次尝试解决同一个问题时，它通常会在转向不同方向之前，在前几步遵循相同的路径。通过比较这些不同分支的最终结果，系统可以推断出哪个早期的选择更好。如果一条路径通向成功，而另一条通向失败，系统就会学到那个分叉的决策点至关重要。
研究人员构建了一个独立的“验证器”（verifier）模型，作为这些单个步骤的裁判。他们使用大量的日志交互记录来训练这个验证器，其中每一次尝试都被标记为成功或失败。系统会寻找两个不同的尝试在某一特定点之前拥有相同历史记录，但随后采取了不同动作的时刻。它通过计算这些尝试最终成功率的差异来进行比较。例如，如果一个动作在 80% 的情况下导致成功，而另一个动作仅在 20% 的情况下导致成功，验证器就会学会给第一个动作更高的分数。这一过程创造了密集的反馈流，在任务完成之前很久，就明确告诉智能体哪些动作是好的，哪些是坏的。
至关重要的是，这个验证器仅在训练阶段使用。研究人员设计了一个调度机制：在开始阶段，当智能体还在进行大量随机猜测且最终结果具有噪声时，验证器的影响力最强。随着智能体变得越来越好，其自身的最终结果也变得更加可靠，验证器的反馈会逐渐减少，直到完全消失。这确保了最终部署的智能体不需要验证器也能运行；它已经内化了这些教训并可以独立操作。在涉及网页浏览、工具使用和多步规划的三种不同基准测试中，这种方法表现出了显著优于仅依赖最终得分的方法。智能体学习得更快，也犯了更少的错误。
该研究还将这种新方法与其他判断中间步骤的方法进行了对比。一些先前的方法对每个步骤使用简单的“是或否”标签，而另一些方法则试图将整个尝试作为一个整体进行评分。STEP-VERIFIER 方法通过使用一种更细致的排名系统来比较成对的动作，证明了自己是最有效的。它的评分与人类对“什么是好的步骤”的判断一致性更高。事实上，当人类审查智能体的动作时，他们与验证器的评估达成一致的比例约为 81.5%，这比其他自动化方法都要高得多。这表明该系统成功捕捉到了导航复杂任务所需的微妙逻辑。
最重要的发现之一是，该系统在无需任何额外人力或新数据收集的情况下即可运作。它完全依赖于标准训练过程中已经产生的现有数据。研究人员发现，系统会自然而然地关注智能体停留时间最长的步骤，因为在这些步骤中，它拥有最多的数据来进行比较。然而，他们也注意到一个局限性：对于智能体极少尝试的非常困难的步骤，没有足够的数据来进行可靠的判断。在那些罕见的情况下，系统的判断力较弱。尽管存在这一界限，该方法仍代表了在教导智能体对自身行为进行批判性思考方面迈出的重要一步。通过将智能体自身的历史转化为老师，研究人员创造了一种让这些系统能够实时从错误中学习的方法，从而开发出更强大、更可靠的人工智能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。