🤖 machine learning

Can AI Agents Agree?

该论文通过大规模模拟实验发现，当前基于大语言模型的智能体群组即使在无利益冲突的拜占庭共识场景中，也难以可靠地达成一致，且随着群体规模扩大或恶意节点引入，其表现会进一步恶化，主要失败模式为超时或停滞等活性丧失而非数值篡改。

原作者： Frédéric Berdoz, Leonardo Rugli, Roger Wattenhofer

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Frédéric Berdoz, Leonardo Rugli, Roger Wattenhofer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣且关键的问题：当一群人工智能（AI）像人类一样开会讨论并试图达成一致时，它们真的能“达成共识”吗？如果其中混进了几个“捣乱分子”，情况又会怎样？

为了让你轻松理解，我们可以把这项研究想象成一场**“超级复杂的线上投票游戏”**。

1. 游戏背景：一群 AI 在开“头脑风暴”会

想象一下，你组织了一个由 4 到 16 个 AI 助手组成的委员会。

任务：大家要在一个数字（比如 0 到 50 之间）上达成一致。
规则：
1. 每个 AI 先提出一个自己心里的数字。
2. 大家互相交流，告诉对方自己为什么选这个数字。
3. 经过几轮讨论后，大家必须投票决定：“是继续讨论，还是停止并确认最终数字？”
4. 胜利条件：只要大家最终选出的数字是一样的，就算成功。至于这个数字具体是 10 还是 20，其实并不重要（这叫“无利益冲突”），重要的是大家能不能统一口径。

2. 实验发现：AI 们其实挺“笨”的

研究人员让不同大小的 AI 团队（4 人、8 人、16 人）玩这个游戏，结果让人大跌眼镜：

即使没有坏人，也很难达成一致：
想象一下，即使所有 AI 都是诚实的、想好好合作的，它们也经常聊不到一块去。
- 人数越多，越乱：4 个人的小团队还能勉强达成一致，但一旦变成 16 个人的大团队，大家就像在嘈杂的集市里喊话，互相听不清，最后经常因为讨论太久而超时（就像会议开到了下班时间还没结论，大家直接散会了）。
- 模型越大，越聪明但越犹豫：更先进的 AI（Qwen3-14B）比旧一点的（Qwen3-8B）表现好一些，但它们依然经常陷入“死循环”，无法做出决定。
最大的问题不是“选错”，而是“选不出”：
最有趣的发现是，AI 们很少故意选一个错误的数字（比如大家都同意选 50，结果选成了 49）。
相反，它们最大的问题是**“聊崩了”。它们要么因为太谨慎而不敢投票，要么因为互相的推理逻辑太复杂而卡住，导致永远无法结束会议**。这就好比一群人想决定中午吃什么，结果讨论了半小时，最后谁也没敢拍板，大家饿着肚子散了。

3. 捣乱分子（拜占庭故障）：只要有一个“内鬼”，全盘皆输

接下来，研究人员在团队里混进了几个“捣乱分子”（也就是论文中的Byzantine Agents）。这些捣乱分子的任务很简单：故意说胡话，或者提出奇怪的建议，试图让会议无法达成结论。

只要有一个，就完了：
实验发现，哪怕 8 个诚实的 AI 里只混进1 个捣乱分子，达成有效共识的概率就会断崖式下跌。
捣乱的方式：
这些捣乱分子不需要很聪明。它们只需要提出一些模棱两可的建议，或者在投票时故意拖延，诚实的 AI 们就会陷入混乱。它们会想：“那个家伙是不是在骗我？我是不是该再等等？”结果就是，会议再次因为无法达成一致而超时。

4. 核心比喻：一场失败的“接力赛”

你可以把这项研究想象成一场接力赛：

理想情况：每个 AI 都是优秀的运动员，只要大家配合好，就能把“共识”这个接力棒顺利传下去。
现实情况：
- 人数多了：就像接力队人太多，前面的人还没跑完，后面的人就乱了阵脚，大家互相撞在一起。
- 有了坏人：就像接力队里混进了一个故意把棒子扔进河里的人。哪怕只扔一次，整个队伍就彻底瘫痪了。
- 结果：大多数时候，比赛根本没有结束（超时），而不是谁输谁赢的问题。

5. 这对我们意味着什么？

这篇论文给现在的 AI 应用敲了一记警钟：

别太依赖 AI 自动做决定：如果你指望一群 AI 自动开会、投票并做出一个可靠的决定（比如在自动驾驶车队协调路线，或者在金融交易中达成共识），目前的技术还不可靠。它们很容易因为“沟通不畅”而卡死。
规模效应是双刃剑：我们总以为 AI 越多越聪明，但在这个场景下，人越多，越容易乱。
安全漏洞：即使只有极少量的恶意 AI 混入，也足以破坏整个系统的稳定性。

总结一句话：
目前的 AI 就像一群虽然很聪明、但缺乏“团队默契”且容易“想太多”的学生。在没有坏人干扰时，它们经常因为犹豫不决而开不成会；一旦混进一个捣乱分子，整个班级就彻底乱套了。在让 AI 真正承担关键决策任务之前，我们还需要解决如何让它们“好好说话、快速拍板”的问题。

1. 研究背景与问题定义 (Problem)

随着大语言模型（LLM）被越来越多地部署为自主智能体以协作完成任务，多智能体系统（Multi-Agent Systems）中的共识达成能力变得至关重要。然而，现有的研究尚未系统性地评估 LLM 智能体在对抗性共识环境（Adversarial Consensus Settings）下的行为。

核心问题：当部分智能体发生故障或表现出恶意（拜占庭）行为时，基于 LLM 的智能体群体能否可靠地达成一致性？
任务设定：作者设计了一个无利益冲突（No-stake）的标量共识游戏。
- 目标：一组智能体需要在同步的全对全（all-to-all）网络中，就一个标量值（0-50 之间的整数）达成一致。
- 无利益冲突：智能体对最终达成的具体数值没有偏好，评估重点在于“是否达成一致”（Agreement/Liveness），而非“是否达成了最优值”（Value Optimality）。
- 拜占庭威胁：部分智能体（拜占庭智能体）可以任意提出数值和理由以破坏共识，但受限于不能伪造身份、不能对不同接收者发送不同消息（不双花/不 equivocate）。

2. 方法论 (Methodology)

作者开发了一个名为 A2A-Sim 的同步全对全模拟器，用于评估 LLM 智能体的共识性能。

实验设置：
- 模型：使用了 Qwen3-8B 和 Qwen3-14B 两个模型。
- 规模：测试了不同的智能体总数（ $N \in \{4, 8, 16\}$ ）和拜占庭智能体比例（ $f \in [0, 1/3]$ ）。
- 交互流程：每一轮中，智能体广播提案（Proposal）和理由（Justification），接收所有其他智能体的消息，更新内部状态，然后投票决定是“继续”还是“停止”。
- 终止条件：当至少 2/3 的智能体投票“停止”时，游戏结束；若达到最大轮次（ $T_{max}=50$ ）仍未达成，则视为超时（无共识）。
结果分类：
1. 有效共识 (Valid Consensus)：所有诚实智能体持有相同的值，且该值源自某个诚实智能体的初始提案。
2. 无效共识 (Invalid Consensus)：游戏结束但诚实智能体的值不一致，或达成了一致但该值非初始提案。
3. 无共识 (No Consensus)：超时，智能体未能达成一致。
提示词策略：测试了两种提示词变体：一种明确告知可能存在拜占庭智能体（Threat-aware），另一种则完全未提及（Benign）。

3. 主要贡献 (Key Contributions)

良性环境下的能力评估：首次系统性地研究了在无拜占庭干扰的良性设置下，不同规模和模型的 LLM 智能体群体的共识达成能力。
鲁棒性研究：揭示了即使引入极少量的拜占庭智能体（如 1 个），也会导致共识成功率急剧下降。
失败模式分析：发现 LLM 智能体共识失败的主要原因是活性丧失（Liveness Loss）（如超时、停滞），而非传统拜占庭容错中关注的值污染（Value Corruption）。

4. 实验结果 (Results)

4.1 无拜占庭智能体（良性环境）

共识可靠性低：即使在没有任何恶意干扰的情况下，仅有 41.6% 的模拟运行能达成有效共识。
模型差异：Qwen3-14B 的表现显著优于 Qwen3-8B（67.4% vs 15.8%），但两者都有较高的超时率。
提示词影响：在提示词中提及“可能存在拜占庭智能体”反而损害了性能。移除该提及后，Qwen3-14B 的有效共识率从 59.1% 提升至 75.4%，且收敛时间减半。这表明 LLM 对“潜在威胁”的过度警惕会阻碍其协作。
规模效应：随着群体规模增大（从 $N=4$ 到 $N=16$ ），有效共识率显著下降（从 46.6% 降至 33.3%），收敛速度变慢。

4.2 存在拜占庭智能体（对抗环境）

拜占庭的破坏力：在 8 个诚实智能体中加入仅 1 个 拜占庭智能体，有效共识率即大幅崩塌。
失败类型：拜占庭智能体的主要破坏方式不是将共识值引导至错误数值（无效共识很少见），而是阻止共识达成（导致超时/无共识）。
轨迹分析：图 4 显示，在存在威胁提示或拜占庭智能体时，诚实智能体的提案轨迹往往无法收敛，或者在收敛过程中因犹豫不决而停滞。

5. 结论与意义 (Significance)

核心结论：当前的 LLM 智能体群体尚未具备可靠的、涌现式的共识达成能力。即使在无利益冲突的简单设置下，它们也频繁失败，且随着群体规模扩大或引入少量恶意节点，性能会迅速恶化。
失败本质：主要瓶颈在于**活性（Liveness）**问题（即无法在有限时间内达成一致），而非安全性（Safety/Validity）问题。LLM 难以在“坚持己见”和“妥协达成一致”之间找到平衡，容易陷入僵局。
实际意义：
- 对于依赖多智能体协作、委托或安全关键协调的应用（如分布式决策、自动化谈判），目前的 LLM 智能体群体不可靠。
- 简单的提示词工程（如警告存在威胁）可能适得其反，需要更复杂的协调机制或架构设计。
- 未来的研究需要探索更多样的对抗行为、异构智能体群体以及更大规模的部署场景。

总结

这篇论文通过严谨的拜占庭共识游戏实验，揭示了当前 LLM 作为多智能体系统核心组件时的脆弱性。它表明，“达成一致”并非 LLM 的固有涌现能力，在缺乏专门设计的容错机制时，即使是简单的数值共识任务，LLM 群体也极易因内部犹豫或外部干扰而失效。这对构建鲁棒的 AI 多智能体系统提出了严峻挑战。