🤖 AI

MASPRM: Multi-Agent System Process Reward Model

该论文介绍了 MASPRM，一种通过在终端结果上进行训练来为中间智能体消息评分的多智能体系统过程奖励模型，与现有模型相比，它通过实现更有效的步级束搜索和蒙特卡洛树搜索，显著提升了在推理基准测试上的推理时搜索性能。

原作者： Milad Yazdani, Mahdi Mostajabdaveh, Zirui Zhou, Ying Xiong

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Milad Yazdani, Mahdi Mostajabdaveh, Zirui Zhou, Ying Xiong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个非常棘手的谜题，比如一个复杂的数学问题或逻辑谜题。在人工智能的世界里，我们有“大语言模型”（LLMs），它们就像是超级聪明但有时有些心不在焉的学生。如果你问它们一个难题，它们可能会尝试一次性给出答案，但它们经常会在中途卡住，或者在早期出错后沿着错误的路径一直走下去。为了解决这个问题，科学家们开始使用“多智能体系统”（Multi-Agent Systems）。你可以把这想象成不是一个学生在孤军奋战，而是一个学习小组。你有一个“读者”负责阅读问题，一个“规划者”负责制定策略，一个“求解者”负责做数学题，还有一个“验证者”负责检查工作。他们按照特定的顺序传递笔记。

然而，这里有一个陷阱。如果让这个学习小组肆意妄为，他们可能会浪费大量的的时间和精力（计算能力）去争论一些已经错误的想法。这就像一群朋友试图解开一个谜团，但没有人停下来说：“等等，这个线索不合逻辑。”为了阻止这种浪费，研究人员使用了像“蒙特卡洛树搜索”（MCTS）这样的“搜索算法”。这就像是一位教练，他会说：“让我们尝试接下来的五个不同路径，看看哪一个看起来最有希望，然后我们就专注于那一个。”但是，大问题在于：教练如何知道哪条路径是有希望的呢？通常情况下，教练只有在看到最终答案正确或错误时，才知道结果。这项研究介绍了一个新工具，可以帮助教练在比赛的中途做出更好的决策。

论文：MASPRM

来自不列颠哥伦比亚大学和华为的研究人员正在解决正是这样一个问题。他们创建了名为 MASPRM（多智能体系统过程奖励模型）的东西。你可以把 MASPRM 想象成一个“超级教练”或“过程评判员”，它不仅仅是等待最终答案出来后才看小组是否成功，而是会在学习小组交谈的过程中实时观察，并为他们传递给彼此的每一条笔记进行评分。

在过去，如果一个 AI 团队在第 3 步犯了错，系统直到最后看到最终答案错误时才会察觉。到那时，AI 已经浪费了大量的能量去探索那条错误的路径。MASPRм 改变了游戏规则。它观察“路由转录本”（routed transcript）——这只是一个术语，指的是智能体之间发送的消息的有序列表。它对这些消息进行评分，例如：“嘿，规划者的这条特定消息是个好主意，让我们继续下去，”或者“求解者的这条消息正带我们走向死胡同，让我们立即切断这个分支。”

他们是如何教导教练的

这篇论文中最酷的部分之一是他们如何训练这个“超级教练”。通常，要教会计算机判断步骤，你需要一个人类坐在那里，将每一个步骤标记为“好”或“坏”，这非常昂贵且缓慢。作者发现了一个聪明的捷径。他们让 AI 智能体使用一种叫做 MCTS 的搜索方法进行数千次模拟运行。在这些模拟中，智能体会探索许多不同的路径。在每条路径的末尾，他们知道答案是正确（+1）还是错误（-1）。

然后，他们使用了一种数学技巧——“反向传播”（backpropagation）。想象一棵树，叶子是最终的结果。如果一个叶子是“胜利”，那么这个胜利的价值就会回传到之前的分支，使早期的步骤看起来更有价值。如果一个叶子是“失败”，那么价值就会作为负值回传。MASPRM 仅仅通过观察对话历史，就能学会预测这些价值，而无需任何人类亲口说出“这一步很好”。它学会了仅仅通过观察哪些对话最终会导致正确答案，就能分辨出哪些是充满希望的对话，哪些是死胡同式的争论。

他们的发现

团队在四个著名的基准测试上测试了这个新教练：用于数学问题的 GSM8K 和 MATH，以及用于通用知识和逻辑的 MMLU 和 LOGIQA。他们将 MASPRM 与另外两种方法进行了比较：

策略似然度（Policy Likelihood）： 这就像 AI 只是在猜测，“我觉得下一个词可能是这个”，而没有真正的目标理解。
ORM（结果奖励模型）： 这是旧式的教练，它只检查最终答案，忽略中间的步骤。

结果非常明确。当研究人员使用 MASPRM 来引导搜索（具体使用的是 MCTS 和一种称为“步级束搜索”的方法）时，AI 解决问题的成功率显著提高。

在 15 亿参数模型（较小、较快的 AI）上，MASPRM 比旧的结果奖励模型（ORM）提高了 2.0 到 3.0 个百分点。
在 70 亿参数模型（较大、更聪明的 AI）上，提升非常巨大，跳升了 4.1 到 14.5 个百分点。
在最难的测试（GSM8K）中，7B 模型与 MASPRM 的结合达到了 82.9% 的 Hit@1，这意味着它在第一次尝试时就能正确回答近 83% 的问题。

论文指出，MASPRM 特别擅长“逐步搜索”（stepwise search）。这是指 AI 必须做出一系列决策，比如选择下一个应该由谁发言，或者下一句话应该是什么。因为 MASPRM 可以判断这些中间步骤，它可以防止 AI 在错误的念头上浪费时间。它还让 AI 的选择变得更加可靠；“最佳”猜测与“第五最佳”猜测之间的差距缩小了，这意味着 AI 对其顶级选择更有信心。

局限性与未来

作者谨慎地指出，这并不是解决一切问题的万能药。他们的系统在智能体拥有固定调度（例如严格的发言顺序）且最终答案可以被清晰检查（例如带有特定数字的数学题）时效果最好。他们承认，对于没有单一正确答案的开放式任务，或者对于智能体角色会动态变化的系统，这种方法仍处于探索阶段。他们还发现，如果教练只能看到一个智能体所见的内容（而不是整个小组的对话），效果就不会那么好，这表明拥有一个“全局视角”对于团队聊天实现最佳表现至关重要。

简而言之，MASPRM 是在教导 AI 团队如何进行实时自我纠错方面的突破。与其等到结束时才意识到自己错了，它们现在拥有了一个能够及早发现错误路径并引导团队重回正轨的教练，从而节省了时间并取得了更好的结果。这表明，对于复杂的推理任务，秘诀不仅在于拥有更大的大脑，还在于拥有一种更好的方式来引导正在发生的思考过程。

技术摘要：MASPRM（多智能体系统过程奖励模型）

问题陈述

多智能体系统（MAS）中的推理时搜索经常浪费计算资源，因为现有方法难以识别哪些特定的智能体中间消息推动了向解决方案的进展。虽然基于答案层级的方法（如多数投票、验证器重排序）可以从已完成的解决方案中进行选择，但它们无法提供步长级的指导。因此，诸如蒙特卡洛树搜索（MCTS）或束搜索（Beam Search）等搜索程序可能会继续扩展那些虽然符合策略概率但在最终正确性上并不匹配的前缀，从而导致无效探索。

将单智能体过程奖励模型（PRM）扩展到多智能体系统并非易事，主要面临四个具体的挑战：

评分粒度： MAS 中的“步”是一个智能体动作（规划、路由、工具使用），而非一个 token，因此需要对路由后的转录前缀进行评分。
调度与图结构： 转录内容的价值取决于智能体动作的具体顺序和消息路由方式。
异构性： 不同智能体具有不同的角色、工具访问权限和提示词，这意味着中间前缀源自不同的分布。
部分可观测性： 每个智能体仅能观察其对全局转录内容的局部视图，但需要一个全局评分器来进行一致的引导。

方法论

作者提出了 MASPRM，这是一种旨在为路由转录前缀和智能体提议的动作进行评分的过程奖励模型，作为步长级束搜索（SBS）和 MCTS 的推理时控制器。

核心架构

状态表示： 一个状态 $s_t$ 被定义为 $(x, H_{t-1}, i_t)$ ，其中 $x$ 是输入， $H_{t-1}$ 是完整的路由转录前缀， $i_t$ 是正在执行动作的智能体。
可观测性： 虽然执行中的智能体根据其局部视图（ $H^{(i)}_{t-1}$ ）生成动作，但 MASPRM 评分器以完整的路由转录前缀（ $H_{t-1}$ ）和执行智能体的身份作为条件。这使得评分器能够通过输入表示隐式地处理异构性和调度问题。
训练数据生成 (MAS-MCTS)： 该模型无需人类步长级标注即可进行训练。相反，作者使用仅带有终端结果奖励（ $R(s_T) \in \{+1, -1\}$ $R (s_{T}) \in {+ 1, - 1}$ ）标签的 MAS-MCTS 展开路径。
- 终端奖励被回传（back up）到边上，以估计动作价值 $\hat{Q}(s, a)$ 。
- 通过比较具有相同父节点的兄弟后继状态（其中一个具有比另一个更高的回传价值）来构建偏好对。
训练目标： MASPRM 使用这些偏好对进行 Bradley-Terry 排序损失训练。选择该方法是因为评分器的主要作用是在搜索过程中对候选后继状态进行排序，而非进行逐点回归。
推理引导：
- MCTS： MASPRM 对新扩展的边进行评分，以初始化虚拟访问次数并引导置信区间上限（UCT）的选择。
- SBS： MASPRM 在每个束深度对所有采样的后继状态进行评分，使算法能够剪枝不具前景的分支并保留最优候选者。

核心贡献

MASPRM 的形式化定义： 一种专门设计用于在协作式多智能体设置中为智能体动作和路由转录前缀评分的过程奖励模型，实现了具备智能体感知能力的信用分配。
MAS-MCTS 监督： 一种训练范式，通过将终端奖励回传至智能体动作价值来训练过程模型，而无需人工步长级标注。
引导搜索算法： 引入了由 MASPRM 引导的 SBS 和 MCTS 智能体展开，这提高了决策质量，并有效地剪枝了预定义 MAS 配置中无意义的分支。

实验结果

作者在四个基准测试上评估了 MASPRM：GSM8K 和 MATH（数学推理），以及 MMLU 和 LOGIQA（知识/阅读理解）。实验使用了 Qwen2.5-1.5B 和 Qwen2.5-7B 作为智能体和评分器的基础模型。

对比结果模型 (ORM) 的表现： 在评分器规模匹配且 MCTS 计算预算相当的情况下，MAS-PRM 在所有基准测试中均一致优于同规模的 ORM。
- 在 1.5B 评分器规模下：MASPRM 在所有基准测试中超过 ORM 2.0 到 3.0 个百分点。
- 在 7B 评分器规模下：MASPRM 超过 ORM 4.1 到 14.5 个百分点。
对比策略似然度 (Policy Likelihood) 的表现： MASPRM 显著提升了 Hit@1 相对于策略似然度的表现，特别是在逐步搜索方法中。
- 使用 7B 评分器和 1.5B 智能体进行 MCTS 时，MASPRM 相比策略似然度平均提升了 13.4 个百分点。
- 在 GSM8K 上，7B MASPRM + MCTS 配置达到了 82.9% 的 Hit@1，较单次通过基线（47.2%）和 1.5B ORM（66.8%）有了实质性的提升。
排序质量： MASPRM 提高了排序解的质量，将 Hit@1 与 Hit@5 之间的差距缩小了高达 10.3 个百分点，表明其能更早地识别出正确的轨迹。
泛化能力：
- 跨数据集： 在一个数据集（如 GSM8K）上训练的 MASPRM 可以零样本迁移到相关数据集（如 MATH），相比策略似然度获得了 +5.4 到 +11.1 个百分点的提升，尽管领域内训练的表现仍然更优。
- 跨智能体： 在 Qwen2.5-1.5B 展开路径上训练的 MASPRM 成功引导了 Llama3.2 3B 智能体而无需重新训练，相比策略似然度将 Hit@1 提升了 +8.7 到 +13.0 个百分点。

意义与主张

论文声称，当由仅通过终端奖励学习的过程价值模型引导时，推理时多智能体搜索会变得更加可靠。

关于该工作意义的关键主张包括：

小规模智能体的效率： 该方法证明，当与学习过程奖励模型和结构化搜索结合时，较小的 LLM（如 1.5B）可以在复杂推理任务上实现高性能，为扩大模型参数提供了一种具有成本效益的替代方案。
步长级引导： 结果表明，过程引导对于那些需要进行重复中间搜索决策的算法（如 MCTS）最为受益，而非仅仅用于最终答案的选择。
可扩展性： 该方法随评分器规模的增大而有效扩展；从 1.5B 转向 7B 评分器带来了显著的额外收益，尤其是在 MCTS 设置中。
局限性： 作者谦虚地指出，虽然 MASPRM 补充了大模型扩展，但它目前还无法取代大模型在最难推理任务（如 LOGIQA，其表现仍低于 GPT-4o-mini 和 Mistral 24B）上的地位。目前的范围限于预定义的、基于角色流水线的 MAS 配置以及可验证终端答案的任务。

研究结论认为，从无需人工步长级标注中提取的学习过程级价值信号，是引导多智能体搜索的一种有用且有效的组件。