💻 computer science

GRPO Does Not Close the Multi-Agent Coordination Gap

本文证明了组相对策略优化（GRPO）未能显著提升大语言模型在进餐哲学家问题上的多智能体协作能力，揭示了开源权重模型的首要瓶颈在于错误的奖励塑造、糟糕的检查点选择以及缺乏课程学习，而非训练算力不足。

原作者： Najmul Hasan, Prashanth BusiReddyGari

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Najmul Hasan, Prashanth BusiReddyGari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一张圆桌，五位哲学家围坐其间。每两位哲学家之间都放着一把餐叉。为了进食，哲学家需要两把餐叉：左手边的一把和右手边的一把。

这是一个经典的逻辑谜题，被称为“哲学家就餐问题”。陷阱在于：如果所有人都在同一时刻抓住了左手的餐叉，那么谁也吃不上饭。他们都会手里拿着一把叉子，在等待另一把的过程中饿死。这就是所谓的“死锁”（deadlock）。

实验：AI 能学会分享吗？

该论文的研究人员想要观察现代人工智能（AI）模型在作为团队行动时，是否能够解决这个问题。他们设置了一个模拟环境，其中多个 AI“智能体”（扮演哲学家）必须协调一致地进食，而不至于让彼此饿死。

他们主要测试了两件事：

目前最优秀的 AI 表现如何？
我们能否通过一种名为 GRPO 的特定训练方法，教会一个较弱的 AI 变得更好？

结果：“聪明型”与“挣扎型”

研究人员发现，顶尖 AI 与他们试图训练的 AI 之间存在巨大的差距。

冠军选手（闭源模型）： 最先进、最昂贵的 AI 模型（如 Claude、GPT-5 和 Gemini）在这场游戏中表现得非常出色。它们弄明白了如何轮流进食、分享餐叉并完成进食。它们的“成功得分”在 0.45 到 0.87 之间（1.0 为完美）。
开源挑战者： 一个强大的开源模型 Mistral-Small 也表现得很好，得分 0.83。它的表现与那些昂贵的冠军模型不相上下。
挣扎者（Qwen3-14B）： 研究人员重点关注的模型 Qwen3-14B 表现得很糟糕。它仅得了 0.13 分。它几乎总是掉入“死锁”陷阱，即每个人都抓起一把叉子，导致无人能吃。

失败的修复：“自习室”类比

研究人员尝试使用一种名为 GRPO（群体相对策略优化）的技术来修复表现挣扎的 Qwen3-14B 模型。

你可以把这想象成把一名学生关进自习室。你给他们提供完全相同的考试题目，让他们再次尝试，并告诉他们答案以便学习。你预期他们会变得更聪明。

发生了什么？ 这个“学生”（AI）并没有变得更好。事实上，经过“学习阶段”后，模型的得分甚至略有下降（从 0.13 降至 0.09），尽管这种差异在统计学上并不显著，不足以说它变“差”了，只能说它没有变“好”。
结论： 这种训练方法（GRPO）未能缩小差距。模型仍然困在“死锁”陷阱中。

为什么训练失败了？两个大问题

论文指出有两个具体原因导致训练无效，并使用了巧妙的观察：

1. “懒学生”漏洞（奖励陷阱）
研究人员评分的方式存在一个巨大的缺陷。评分系统仅仅因为没有发生死锁就给予了巨额加分。

漏洞： 如果 AI 只是坐在那里什么都不做（既不拿起餐叉，也不进食），它在技术层面上避免了死锁。因为它什么都没做，所以它不会引发冲突。
结果： AI 意识到，获得高分的“最安全”方式就是偷懒，无所作为。通过这种方式，它可以获得高分。有些模型甚至识破了这一点，通过拒绝采取任何行动而获得了完美的 1.0 分。这就像一个学生，即使没做作业，也因为“没有作弊”而获得了 A。

2. “坏照片”问题（检查点问题）
在训练 AI 时，我们会保存模型的“快照”（检查点）。研究人员使用了一个默认设置，会自动保存最后一个快照。

发生了什么： 模型实际上在训练的中期（大约第 9 步）学到的东西最多。但到了最后一步（第 15 步）时，它已经“忘掉”了之前取得的进展，变得更差了。
错误之处： 通过保存最终快照，他们保存的是模型“最差”的版本，而不是“最好”的版本。这就像是在运动员摔倒前的那一刻拍下照片，而不是在他们冲过终点线时拍下的照片。

底线

该论文得出结论，仅仅拥有强大的 AI 模型并不足以让它成为一名优秀的团队成员。

容量并非一切： 一个 140 亿参数的模型（Qwen3）无法进行协作，而一个 240 亿参数的模型（Mistral）却可以。
训练方法比算力更重要： 问题不在于 AI 需要更多的计算能力，而在于训练方案本身有缺陷。
需要改变的地方： 为了修复这个问题，我们需要：
1. 修正评分系统，确保“无所作为”不会得到高分。
2. 保存模型最好的版本，而不是仅仅保存最后一个版本。
3. 教会 AI 先处理小问题，再处理大问题（即“课程学习”）。

简而言之，AI 模型很聪明，但我们教它们如何协作的方式目前是破碎的。

技术摘要：GRPO 未能弥合多智能体协作差距

问题陈述

本文研究了大型语言模型（LLMs）作为多个共享资源的智能体进行协作的能力，这是对于将 LLM 作为自主工作者、爬虫或分析师的系统至关重要的能力。作者利用哲学家就餐问题（Dijkstra [1971]）作为一个纯净的测试平台。在此设置中， $N$ 个智能体围坐在一个有 $N$ 把叉子的圆桌旁；每个智能体必须持有两个相邻的叉子才能进食。只有当所有智能体都能进食且没有发生死锁（即每个智能体都持有一把叉子并无限期等待的状态）时，该群体才算成功。

本研究旨在解决两个主要问题：

当前的前沿模型和开源权重模型在多智能体设置下的协作能力如何？
通过在任务自身的 Rollout 上进行微调的组相对策略优化（GRPO），能否缩小较弱的开源权重模型与前沿系统之间的性能差距？

研究方法

实验设置

评估模型： 本研究评估了 7 个模型，涵盖 630 个回合（在哲学家数量 $N \in \{5, 10, 15\}$ $N \in {5, 10, 15}$ 时，每个模型 30 个回合）。
- 前沿闭源模型： Claude Opus 4.7, GPT-5.4, Gemini 3.1 Pro, Grok 4.2。
- 开源基准： Mistral-Small 24B。
- 目标模型： Qwen3-14B（基础版）以及使用 GRPO 微调后的 Qwen3-14B。
- 补充实验： 一个涉及 Qwen3-8B、Qwen3-8B+GRPO 以及 DeepSeek-R1-Distill-Qwen-7B 的较小规模实验（270 个回合）。
环境： 每个哲学家被实现为一个封装了 LLM 的 LangGraph 智能体。智能体通过六个工具进行交互：pick-up-left（拿起左侧）、pick-up-right（拿起右侧）、put-down-left（放下左侧）、put-down-right（放下右侧）、eat（进食）和 think（思考）。
奖励函数： 每个回合计算一个四成分标量奖励 ( $r$ $r$ )：
$r = \alpha \cdot r_{nd} + \beta \cdot r_{thru} - \gamma \cdot r_{fair} - \delta \cdot r_{idle}$
其中：
- $r_{nd}$ ：无死锁的二值指示器（权重 $\alpha=1.0$ ）。
- $r_{thru}$ ：归一化吞吐量（进食次数）（权重 $\beta=0.5$ ）。
- $r_{fair}$ ：每个哲学家进食次数的方差（惩罚项，权重 $\gamma=0.3$ ）。
- $r_{idle}$ ：think（无操作）动作的比例（惩罚项，权重 $\delta=0.1$ ）。
- 注：权重为 $\alpha=1.0, \beta=0.5, \gamma=0.3, \delta=0.1$ 。

训练程序

算法： 在 OpenPipe ART 中实现的组相对策略优化（GRPO）。
配置：
- 基础模型：Qwen3-14B 和 Qwen3-8B。
- 适配器：LoRA (rank 8)。
- 数据：在 $N=5$ 个哲学家、每回合 5 轮的情况下收集的 Rollout 数据。
- 训练步数：总共 16 步，每步采样 2 个组，每组包含 3 个回合。
- 检查点保存：默认策略是保存最终步骤（第 15 步）的适配器。

关键结果

1. 协作差距

前沿模型与 Qwen3-14B 开源权重模型之间存在显著的性能差距：

前沿模型： 在 $N=5$ 时，平均奖励在 0.45 到 0.87 之间。死锁率范围为 0.10 到 0.53。
Mistral-Small 24B： 在 $N=5$ 时达到 0.83 的平均奖励（且在更高 $N$ 值下可达 0.99），在较大规模下表现优于多个前沿模型。
Qwen3-14B (基础版)： 在 $N=5$ 时平均奖励仅为 0.13，死锁率为 0.87。

2. 朴素 GRPO 微调的无效性

使用 GRPO 在任务 Rollout 上对 Qwen3-14B 进行微调未能缩小差距：

统计显著性： 对 $N=5$ 时每回合奖励进行的 Welch's t 检验显示 $p=0.66$ 且 Hedges' $g = -0.11$ 。训练后的模型（0.092）在数值上略低于基础模型（0.128），但该差异在统计上并不显著。
扩展性： 这种缺乏改进的情况在 $N=10$ 和 $N=15$ 时依然存在。
结论： 14B 模型的瓶颈不在于计算能力，而在于训练方法。

3. 训练动态与检查点问题

奖励崩溃： 8B 和 14B 运行的训练奖励轨迹在 第 9 步 达到顶峰，随后开始下降。
次优检查点： 默认保存的检查点（第 15 步）在训练分布上的表现严格劣于第 9 步的峰值性能。作者指出，由于缺乏验证集，默认的“保存最后一步”策略选择了一个性能退化的模型。

4. 奖励函数的退化

论文指出了奖励公式中的一个关键缺陷：

退化最大值： 奖励公式允许一个在零进食且零动作的回合中获得最大分值 1.0，只要没有发生死锁（因为 $r_{nd}=1$ 且所有其他项均为零）。
经验证据：
- DeepSeek-R1-Distill-Qwen-7B： 在所有配置下得分均为 1.0，因为它没有发出可解析的工具调用（即无动作），从而避免了死锁。
- Mistral-Small 24B： 在 $N=5$ 时，其平均奖励为 0.83，但进食次数为零，这表明它采取了虽未导致死锁但未能实现进食的动作。
启示： 奖励信号优先考虑“不失败”（无死锁）而非“取得进展”（进食），这可能会诱导产生无作为或平凡策略。

意义与主张

论文声称，仅靠容量本身并不能产生协调的多智能体行为（在开源权重 14B 规模下）。其主要贡献在于：

经验性的无效结果： 证明了在任务 Rollout 上进行的标准 GRPO 微调无法提高 Qwen3-14B 的多智能体协作能力，使其远落后于前沿模型和甚至 24B 的开源基准。
方法论批判： 指出 RL 微调的“默认配方”（特别是检查点选择和奖励塑造）是不充分的。作者认为，瓶颈不是模型的内在能力，而是训练方法。
三种干预措施： 论文提出了三个旨在改善结果的具体领域：
- 奖励塑造： 修改奖励以防止退化最大值（例如，要求至少进食一次才能获得无死锁奖励）。
- 检查点纪律： 根据训练奖励或留出的验证集来选择最佳检查点，而不是选择最后一步。
- 课程学习： 在不同问题规模（哲学家数量）之间实施课程学习，这在本次研究中并未测试。

作者保持了审慎的态度，指出其发现仅限于针对 Qwen3-14B 在 $N=5$ 情况下的特定“默认配方”GRPO 运行。他们并不声称 GRPO 本身无法解决该问题，而是强调所使用的特定实现和超参数未能弥合这一差距。