🤖 machine learning

Stronger-MAS: Multi-Agent Reinforcement Learning for Collaborative LLMs

该论文提出了 AT-GRPO，一种新颖的多智能体强化学习框架，该框架引入了一种基于智能体和轮次的组优化算法以及一个灵活的训练系统，旨在克服标准在策略强化学习在协作式大语言模型中的局限性，并在规划、编程和数学任务中实现了显著的性能提升。

原作者： Yujie Zhao, Lanxiang Hu, Yang Wang, Minmin Hou, Hao Zhang, Ke Ding, Jishen Zhao

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yujie Zhao, Lanxiang Hu, Yang Wang, Minmin Hou, Hao Zhang, Ke Ding, Jishen Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 STRONGER-MAS 论文的解释，采用了通俗易懂的语言和创意类比。

核心理念：教导一个团队如何协作

想象你有一个非常聪明但有点笨拙的机器人（大语言模型，简称 LLM）。你想让它解决复杂的谜题、编写代码或玩游戏。

通常人们有两种主要方式来让这个机器人变得更好：

“专家”团队（多智能体系统）： 你给机器人分配了一个朋友团队。一位朋友是“程序员”，另一位是“测试员”，第三位是“规划师”。他们通过互相交流来解决问题。这之所以有效，是因为他们都有特定的职责。
“熟能生巧”法（强化学习）： 你让机器人尝试、失败、获得分数，然后再次尝试。随着时间的推移，它会从错误中学习，从而成为该任务的高手。

问题所在： 直到目前，这两种方法很难融合在一起。

如果你试图使用“练习”法来教导整个团队，训练过程会变得混乱。因为“程序员”和“测试员”在互相交流，所以他们的提示词（指令）是在不断变化的。标准的训练方法会感到困惑，因为它们期望每个人都在同一时间回答完全相同的问题。
如果你只是让他们单独练习，他们就无法学会如何有效地协作。

解决方案： 作者创建了 STRONGER-MAS（具体来说是一种名为 AT-GRPO 的算法）。你可以把它想象成一位全新的、超级聪明的教练，它知道如何同时训练一整个专家团队。

它是如何工作的：“树”类比

1. 旧方法（并行采样）

想象一位教练要求 4 名不同的学生解决一道数学题。

学生 A 写出了一个解法。
学生 B 写出了一个解法。
学生 C 写出了一个解法。
学生 D 写出了一个解法。

教练查看所有四个答案并说：“好吧，学生 A 做得最好。”
缺陷： 在团队设置中，下一步不仅仅是“再次解决问题”。下一步应该是：“学生 A，这是学生 B 写的内容；现在请修正你的答案。” 上下文每次都在变化。如果你只是让他们再次解决原始问题，你就没有在训练他们如何协作。

2. 新方法（树状结构采样）

STRONGER-MAS 教练使用了一种树状方法。

第 1 步： 团队从一个问题开始。
第 2 步： “程序员”尝试用 4 种不同的方式编写代码。教练立即对这 4 种方式进行评分。
第 3 步： 教练挑选出这 4 个代码中最好的那一个。
第 4 步： 现在，“测试员”看到了那个特定的最佳代码，并尝试用 4 种不同的方式对其进行测试。教练对这 4 个测试进行评分。
第 5 步： 教练挑选出最好的测试，循环往复。

为什么这很重要： 这确保了当教练比较“程序员”的 4 次尝试时，他们都是在针对完全相同的情况做出反应。这使得学习过程既公平又高效。这就像一位教练在说：“好了，大家看，这是这份特定的草稿。这里有 4 种改进它的方法。让我们看看哪一种效果最好。”

“专业化 vs. 共享”之争

论文还测试了两种不同的团队结构：

“共享大脑”（角色共享）： 团队中的每个人都使用完全相同的“大脑”（同一个 AI 模型）。他们只是通过阅读不同的指令卡（提示词）来假装自己是不同的人。
- 结果： 在简单的游戏和规划任务中表现出色。
“专业化大脑”（角色专业化）： “程序员”拥有专门为编程训练的大脑，“测试员”拥有专门为测试训练的大脑。他们永远不会交换工作。
- 结果： 这在编程和数学方面取得了巨大的成功。“程序员”变得非常擅长写代码，因为它只练习编程；而“测试员”变得非常擅长发现漏洞。

总结： 论文发现，你并不总是需要为每个工作配备一个专门的大脑。对于某些任务（如简单游戏），一个由所有人共享的聪明大脑就足够了。但对于困难的任务（如编写复杂的软件），为每个角色配备专门的专家要好得多。

结果：从“还可以”到“超越人类”

论文在四类任务上测试了这个系统：游戏、规划、编程和数学。

长程规划（重大突破）： 想象一个你需要提前规划 10 步的游戏。
- 之前： 单个机器人独自尝试完成此任务的正确率仅为 14% 到 47%。它很容易迷失方向。
- 之后： 借助 STRONGER-MAS 团队，他们的正确率达到了 96% 到 99.5%。
- 类比： 这就像是从一个拿着皱巴巴地图、迷失方向的游客，变成了一个每个人都清楚该往哪走的导游团。
编程与数学： 团队在编写无 Bug 代码和解决难题方面也取得了显著进步（比之前的最佳方法提高了约 4% 到 18%）。

总结

这篇论文介绍了一种训练 AI 团队的新方法。他们不再将 AI 作为个体或混乱的群体进行训练，而是使用一种树状结构的方法，使团队的对话保持专注且公平。这使得 AI 能够学会如何协作，从而在解决复杂的多步问题（如规划路线、编写软件和解决数学谜题）方面取得了巨大的进步。

技术摘要：STRONGER-MAS

问题陈述

本文探讨了将在策略（on-policy）强化学习（RL）应用于大语言模型（LLM）多智能体系统（MAS）这一尚未得到充分探索的挑战。虽然 MAS 通过基于角色的编排提升了性能，而 RL 通过环境奖励（例如，组相对策略优化，即 GRPO）强化了策略，但将两者结合面临两个关键瓶颈：

算法不匹配： 标准的 GRPO 假设单个智能体针对相同的提示词生成多个响应，以形成比较组。但在 MAS 中，由于演进的交互历史和特定角色的上下文，不同轮次和角色的提示词会有显著差异。应用标准的分组方式会导致无效的优势估计（advantage estimates），因为组内的候选对象并不共享相同的提示词，这违反了信用分配（credit assignment）所需的公平性要求。
系统性限制： 现有的在策略 RL 框架（如 VERL、AReaL）是为单模型、单策略训练设计的。它们缺乏支持多个异构智能体并发展开（rollouts）、管理多样化 MAS 工作流以及同时对多个策略模型进行独立在策略更新的基础设施。

方法论

作者提出了 STRONGER-MAS，该框架包含一种新颖的算法（AT-GRPO）和一个专门的 MAS 训练系统。

1. AT-GRPO 算法

智能体与轮次级组相对策略优化（AT-GRPO） 将组相对优化适配到了多智能体场景中。

树状结构采样： 系统不再是从初始状态采样 $K$ 条完整的轨迹（这会导致第一轮之后无法进行比较），而是在每一轮 $t$ 为每个智能体 $i$ 从当前状态出发，采样 $K$ 个候选动作。
智能体与轮次级分组： 经验根据执行动作的智能体和特定的轮次编号进行分组。每个“智能体-轮次”对都会生成一个唯一的组键（group key）。这确保了同一组内的 $K$ 个候选对象共享完全相同的提示词（观察上下文 + 特定角色的指令 + 交互历史），从而满足公平计算优势的要求。
贪婪执行： 从 $K$ 个采样到的候选动作中，选择奖励最高的动作以进入下一轮，从而将探索集中在对协调至关重要的决策上。
信用分配： 奖励函数通过混合系数 $\alpha$ 结合全局团队奖励 ( $r_{team}$ ) 和智能体特定的局部奖励 ( $r_{loc}$ ): $r_{t,i} = \alpha r_{team} + r_{loc}$ 。这平衡了共同目标与角色特定激励之间的关系。

2. MAS 训练系统

为了支持 AT-GRPO，作者设计了一个全新的训练系统，该系统解耦了不同策略的资源池：

独立资源池： 每个策略（无论是共享策略还是角色特定策略）都被分配一个独立的 GPU 资源池，其中包含一个 RolloutWorker（用于推理）和一个 UpdateWorker（用于优化）。
并发展开： 系统编排多样化的 MAS 工作流，使多个智能体能与基于 CPU 的环境池进行交互。
动态路由： 智能体生成的轨迹数据会被路由到与其分配的策略相对应的特定 UpdateWorker，从而实现对多个模型同时进行的真正的在策略更新。

核心贡献

AT-GRPO 算法： 一种新的 RL 算法，通过基于智能体身份和轮次编号（而非仅仅基于初始提示词）进行经验分组，实现了在多轮、多智能体环境中的有效优势估计。
MAS 训练系统： 一个可扩展的基础设施，能够执行多样化 MAS 工作流的展开，并对多种策略（包括角色共享和角色专业化策略）进行独立的在策略更新。
实证验证： 在四个领域（游戏、规划、编程、数学）进行的广泛实验表明，AT-GRPO 显著优于单智能体 RL 和标准的 MAS 基线。
策略分析： 对角色共享策略（一个模型对应所有智能体）与角色专业化策略（每个角色拥有不同模型）之间的权衡进行了系统性调查，结果显示最优选择取决于任务特征（例如，专业化有利于编程，而共享可能有利于数学）。

结果

该方法在 Qwen3 模型（1.7B 和 8B）上通过各种基准测试进行了评估：

长程规划： AT-GRPO 克服了单智能体 RL 的关键瓶颈。在 Sokoban 和 Plan-Path 等任务上，它将准确率从基线的 14.0–47.0% 提升至 96.0–99.5%。
编程与数学： 该方法取得了持续的增益。
- 编程： 在 LiveCodeBench 和 APPS 等基准测试中平均提升了 3.87–7.62%。
- 数学： 在 AIME 和 OlympiadBench 等基准测试中平均提升了 9.0–17.93%。
角色专业化：
- 在编程任务（Coder vs. Tester）中，角色专业化策略优于共享策略，准确率提升了约 3 个百分点（Qwen3-1.7B）。
- 在数学任务中，共享策略有时优于专业化策略，这表明功能重叠允许单个模型利用来自推理和工具使用角色的数据。
可扩展性： 系统展示了良好的规模扩展性（例如，将智能体数量从 1 增加到 7），在基线方法趋于饱和时仍能实现持续的性能提升。
对比： AT-GRPO 在多轮迭代对齐场景中优于现有的 MARL 框架，如 MAPoRL、MARFT 和 CURE。

重要性与主张

本文声称 STRONGER-MAS 为训练协作式 LLM-MAS 提供了一个通用解决方案。其重要性在于：

弥合差距： 它成功地将 MAS 的优势（协作、角色专业化）与 RL 的性能增益相结合，而这种结合此前一直受到算法和系统限制的阻碍。
涌现协作： 结果表明，MAS 中的在策略 RL 促进了涌现协作，即智能体学会共同进化专业技能并更高效地对齐其行为（减少解决任务所需的轮次）。
任务依赖型架构： 该研究强调，不存在“一劳永逸”的策略架构；选择共享策略还是专业化策略必须根据特定任务的特征（如功能重叠 vs. 角色差异）来决定。
鲁棒性： 该方法即使在使用稀疏的、仅基于结果的奖励时依然有效，这表明 AT-GRPO 的算法改进并不完全依赖于复杂的奖励塑造（reward shaping）。

作者总结道，他们的框架为训练协作式 LLM 智能体提供了一个可扩展且忠实的抽象，克服了限制当前单智能体或朴素多智能体 RL 的协调瓶颈。