🤖 AI

Benchmarking Open-Ended Multi-Agent Coordination in Language Agents

本文介绍了 alem，一个基于 JAX 的基准测试，用于评估长程生存任务中的开放式多智能体协作，研究表明，尽管前沿大语言模型在执行单个任务方面表现出色，但在协作方面却面临显著困难——这是一个通信至关重要的独特瓶颈，且不同模型的性能表现差异巨大。

原作者： Kale-ab Abebe Tessera, Andras Szecsenyi, Cameron Barker, Alexander Rutherford, Davide Paglieri, Aidan Scannell, Henry Gouk, Elliot J. Crowley, Tim Rocktäschel, Amos Storkey

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kale-ab Abebe Tessera, Andras Szecsenyi, Cameron Barker, Alexander Rutherford, Davide Paglieri, Aidan Scannell, Henry Gouk, Elliot J. Crowley, Tim Rocktäschel, Amos Storkey

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群探险家试图在一个广袤且瞬息万变的荒野中生存。他们需要砍伐木材、开采石头、建造避难所，还要对抗怪物。但问题在于，他们不能仅仅独自行动。有时，他们需要在完全相同的时刻砍伐一棵树，才能让它倒下。还有时候，一个人必须开始挖洞，而另一个人必须在几秒钟内完成，否则洞穴就会坍塌。

这篇论文介绍了一个新的“训练场”，名为 ALEM（在阿姆哈拉语中意为“世界”），旨在测试 AI 智能体在这种充满挑战的长周期生存游戏中协作的能力。

问题所在：独行侠 vs. 团队成员

直到现在，大多数针对 AI 的测试都像是单机游戏。它们会问：“这个 AI 能解开谜题吗？”或者“它能走出迷宫吗？”但现实世界中，AI 需要进行团队协作。作者注意到，现有的团队协作测试过于简单：它们要么时间太短，要么规则是固定的，或者团队成员之间不需要进行太多交流。

他们想看看现代 AI（大语言模型，即 LLM）能否处理长期协调。它们能记住 50 步之前制定的计划吗？它们能通过对话告诉队友说“我会往左走，你往右走”吗？当情况发生变化时，它们能适应吗？

解决方案：ALEM（生存模拟器）

作者构建了 ALEM，这是一个基于名为 Craftax 的游戏开发的数字世界。你可以把它想象成高科技版的《我的世界》（Minecraft）或《泰拉瑞亚》（Terraria），但有一个特别之处：

程序化生成： 每次游戏开始时，地图和特定的团队协作挑战都是随机生成的。这防止了 AI 通过“死记硬背”来获取答案。
“协调光谱”： 游戏有一个控制团队协作难度的旋钮。
- 简单： 你大多可以独自工作。
- 中等： 你需要互相传递工具（比如把锤子递给正在筑墙的人）。
- 困难： 你必须像花样游泳队那样实现完美的同步动作，否则任务就会失败。
软专业化： 在这个世界里，任何人都可以从事任何工作，但如果你不是该项工作的“专家”，你可能会失败。这迫使团队必须在实战中摸索谁该负责什么。

实验：13 个 AI 智能体对抗世界

研究人员将 13 种不同的现代 AI 模型放入了这个世界。他们并没有教它们如何玩游戏，而是直接将它们投放进去（这被称为“零样本学习”）。他们还训练了一些“机器人”智能体（使用标准的强化学习）作为基准，以展示人类能力的上限。

结果令人惊讶：

AI 表现挣扎： 平均而言，AI 智能体仅达到了可能得分的 6% 左右。它们离解决游戏还差得很远。
单打独斗的聪明并不代表团队协作的聪明： 一些 AI 模型非常擅长执行单人任务（如收集木材），但在协调方面表现极差。其中一个模型 GPT-5.4 非常擅长基础任务，但在需要与队友同步时却彻底失败了。另一个模型 Gemini-3.1 则在团队协作方面表现得更好，甚至在最难的场景中击败了一些经过训练的机器人智能体。
规模并非决定因素： 更大的 AI 模型（拥有更强的“脑力”）并不一定在团队协作中表现得更好。有时，较小的模型比庞然大物协调得更好。

“为什么”：是什么让团队协作变得困难？

研究人员对 AI 智能体进行了拆解，以观察导致失败的原因。他们发现了三个主要要素：

沟通是核心： 当他们关闭智能体之间的对话能力时，它们的团队协作得分大幅下降。AI 智能体会利用聊天来表达诸如“我要去砍树了，你在那等我”或“给我点木头”之类的话。如果没有这个，它们就是在盲目猜测。
记忆用于规划： AI 有一个“便签本”（私有笔记本）。表现最好的模型会利用这个便签记录未来的计划（例如：“第一步：采矿。第二步：造熔炉”）。而较弱的模型只是用便签重复它们当前看到的东西，这对提前规划毫无帮助。
推理有助于行动： 当 AI 被要求在行动前进行“思考”时，它们在单人任务和团队协作方面的表现都有所提升。

“混合团队”的意外发现

研究人员还尝试将不同的 AI 模型组合在同一个团队中（例如，让一个 Gemini 智能体与一个 GPT 智能体协作）。他们原以为团队的表现会向最聪明的那个成员看齐。然而，团队的表现实际上只是两个模型的平均水平。事实证明，如果队友无法理解计划或沟通风格，那么即使有一个超级聪明的队友也无济于事。

总结

这篇论文表明，协调是一种独特的技能，目前的 AI 尚未掌握这种技能。仅仅因为一个 AI 擅长回答问题或独立解决谜题，并不意味着它能在团队中开展工作。

ALEM 提供了一种受控的方式来衡量这种特定的“团队协作瓶颈”。它表明，要构建能在现实世界中真正与人类或其他 AI 协作的 AI，我们不应仅仅专注于提升它们处理单人任务的能力，而应更多地教授它们如何沟通、共同规划并建立信任。

这个“生存模拟器”的代码现已开源，供其他研究人员使用和改进。

技术摘要：针对语言智能体中开放式多智能体协作能力的基准测试

问题陈述

随着大语言模型（LLMs）越来越多地被部署为自主智能体，它们必须在多智能体环境中运行，而成功取决于与他人的协调，且这种协调需要跨越长时程（long horizons）。然而，现有的评估很少同时测试这些需求。目前的基准测试通常侧重于单智能体任务、短时交互或高度结构化的多智能体设置（例如：固定角色、预设目标）。目前缺乏能够结合长时程交互、开放式任务结构以及显式的、程序化生成的协调需求的评估手段。因此，实现持续多智能体协作所需的机制——例如沟通意图、分配角色、维持共同计划以及随时间对齐行动——仍未得到充分理解。

方法论：ALEM 基准测试

为了解决这些差距，作者引入了 ALM（Alem 在阿姆哈拉语中意为“世界”），这是一个基于 JAX、构建在类 Craftax 动力学之上的开放式多智能体协作基准。

环境设计

ALEM 是一个部分可观测随机博弈（POSG），具有程序化生成的环境，智能体在其中进行探索、交易、制作、建造和战斗。该基准测试的特点在于四个关键维度：

程序化协调生成： 与以往协调需求固定的研究不同，ALEM 在每个回合（episode）中都会程序化地生成协调结构。任务（采矿、建筑、战斗、制作）被分配了不同的协调类型（同步或交接）以及所需的智能体数量（2 到 N）。
协调光谱： 该基准测试涵盖了基于耦合动作之间时间间隔（ $\Delta t$ $Δ t$ ）的完整协调耦合光谱：
- 长程（Long-range）： 一个智能体收集资源，供另一个智能体稍后使用（较大的 $\Delta t$ ）。
- 交接（Handover）： 一个智能体发起一项任务，另一个智能体必须在短窗口内完成它（较小的 $\Delta t$ ）。
- 同步（Synchronous）： 智能体在同一时间步对同一个目标采取行动（ $\Delta t = 0$ ）。
软专业化（Soft Specialisation）： 并非采用硬性的角色限制，而是让智能体拥有“软”专业化能力。专家能确定性地成功，而非专家则以概率 $1-\alpha$ 成功。这既奖励了有效的角色分配，又允许在线适应。
可控难度： 一个单一标量参数 $\alpha \in [0, 1]$ 在不改变底层世界布局的情况下缩放协调难度。较高的 $\alpha$ 会收紧执行约束（例如：更短的交接窗口、更高的 N-智能体要求、更低的非专家效率）。

评估协议

作者在易（Easy）、中（Medium）和难（Hard）三种设置下，评估了 13 种现代 LLM 在零样本同质团队中的表现。

模型： 包括专有模型（GPT-5.4-High, Gemini-3.1-Pro-High）和开源权重模型（Gemma-4, Llama-3.1/3.3, Qwen-3.5/3.6）。
基准线（Baselines）： 经过高达 10 亿步训练的训练型多智能体强化学习（MARL）智能体（IPPO, MAPPO, PQN-VDN, HyperMARL-IPPO）作为参考点。
接口： 智能体通过结构化文本接口进行交互，接收观察结果、队友消息和暂存区（scratchpad），并返回结构化动作。
指标： 性能通过归一化回合回报（normalised episode return）进行衡量，并分解为 Base%（个体任务进度）和 Coord.%（特定协调成就）。

关键结果

1. 协调是一个独特的瓶颈

当前的 LLM 智能体在解决 ALEM 问题上仍远未达标，在不同难度下的平均归一化回报仅为 ~6%。

基础能力 vs. 协调能力： 高水平的个体任务能力并不意味着具备协调能力。例如，GPT-5.4-High 取得了很强的基础任务回报，但其协调回报显著低于像 Gemma-4-26B-A4B-it 这样的小型模型。
与 MARL 的比较： 在最难的设置下，Gemini-3.1-Pro-High（17.5% Coord.%）接近了训练了 10 亿步的 MARL 智能体（17.6% Coord.%）的表现，这表明虽然 LLM 表现挣扎，但顶尖模型可以在特定语境下达到接近 MAR联 MARL 水平的协调能力。

2. 智能体组件的消融实验

作者对智能体框架的三个组件进行了消融研究，以确定它们对协调的影响：

通信（Communication）： 这是最大的贡献因素。移除通信会导致协调性能（Coord.%）出现最显著的下降（例如，Gemini-3.1-Pro-High 从 17.5% 下降到 5.3%）。智能体主要利用通信来广播意图、分配行动并对齐时间。
记忆（暂存区/Scratchpad）： 记忆的效用取决于模型。Gemini-3.1-Pro-High 将暂存区用作前瞻性规划器（多行、将来时、按回合索引的计划），移除它会损害性能。Gemma-4-31B-it 则主要将暂存区用于状态总结，移除它的影响微乎其微。
推理（Reasoning）： 降低推理能力会降低两个模型的 Base% 和 Coord.%。定性分析显示，降低推理会消除类似规划器的行为（如：按回合索引的计划），并导致通信变得更短且缺乏指导性。

3. 异质团队

在关于异质团队（混合不同模型）的初步实验中，性能接近于组成该团队的同质基准线的平均值，而不是匹配最强的成员。这表明增加一个更强的模型并不会自动提升团队整体性能，这可能是由于通信惯例和规划时程的不一致导致的。

4. 失效模式

任务结构： 智能体在需要同时行动的 Synchronous-Hard（同步-困难） 任务中表现最差，即使是最好的 LLM 也仅实现了 ~18% 的覆盖率。Handover（交接） 任务则相对更容易实现。
规模： 性能并未随参数量线性扩展。在模型家族内部（如 Gemma-4, Qwen），协调性能在稠密模型（dense）和混合专家模型（MoE）变体之间呈现非单调变化。

意义与贡献

本文的主要贡献有三点：

ALEM 基准测试： 一个基于 JAX 的、程序化生成的用于长时程、开放式多智能体协作的基准测试，具有可控的难度和软专业化特性。
接口： 提供像素、符号和文本接口，用于在匹配的协调需求下评估 MARL 和零样本 LLM 智能体。
系统性评估： 对 13 种 LLM 和 4 种 MARL 基准线进行了全面的评估，指出协调是一个独立于基础任务能力的独特瓶颈。

作者得出结论，协调是前沿 LLM 智能体的一个独特瓶颈。虽然目前的模型可以生存并执行个体任务，但它们无法在开放式、长时程的环境中有效地进行通信、分配角色并执行共同计划。ALEM 提供了一个可测量且受控的测试平台，用于开发能够胜任这些复杂协作行为的智能体。代码可在 https://github.com/alem-world/alem-env 获取。