⚡ electrical engineering

Resilient Consensus in Agentic AI

本文表明，尽管在经典理论保证成功的对抗性多智能体设置中，受提示词驱动的大语言模型智能体往往无法实现弹性共识，但通过将它们与经典的弹性共识过滤器相结合，可以有效地恢复一致性，尤其是在固有鲁棒性有限的拓扑结构中。

原作者： Sribalaji C. Anand, George J. Pappas

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Sribalaji C. Anand, George J. Pappas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群聪明的、自主的机器人（由大语言模型/LLM驱动）正试图共同做出一个单一决策，比如就 0 到 50 之间的某个数字达成一致。这是 AI 团队的一个常见任务。然而，其中一些机器人可能是“坏人”（拜占庭代理），试图迷惑群体并阻止他们达成共识。

这篇论文提出了一个简单的问题：当机器人使用不可预测的高级 AI 时，那些用于让机器人达成一致的、经过验证的旧规则是否仍然有效？

以下是研究人员发现的内容，使用了日常类比：

1. “旧规则” vs. “AI 现实”

在传统计算机科学的世界里，对于一个群体何时可以达成一致有着严格的数学规则。

规则： 如果你有一个由 $N$ 个机器人组成的群体，其中最多有 $B$ 个是坏人，那么只要总机器人数量至少为 3 倍的坏人数量加 1（ $N \ge 3B + 1$ ），该群体就能始终达成一致。你可以把它想象成一种投票系统：如果好人拥有足够强大的多数地位，他们就能通过投票压倒破坏者。
AI 问题： 研究人员用 AI 代理测试了这一点。即使在拥有足够多好人以满足旧数学规则的“安全区”内，AI 代理仍然无法达成一致。
类比： 想象一个由 10 人组成的陪审团，数学规则说 4 个坏人应该无法阻止定罪。在普通的法庭上，他们确实无法阻止。但在这些 AI 陪审员面前，即使只有 2 个坏人，好人们也会感到困惑、互相争吵、无法就一个数字达成一致。AI 的“大脑”（提示词）并没有遵循达成结论所需的逻辑步骤，尽管从数学上看这是完全可能的。

2. “过滤器”解决方案

由于 AI 代理本身表现不佳，研究人员尝试为它们套上一个“安全过滤器”。这个过滤器是计算机科学中一个经典的工具，称为 MSR 过滤器。

工作原理： 想象一群人在喊出数字。在任何人做出最终决定之前，一位协调员（过滤器）会观察所有的数字，扔掉最高和最低的几个（这些数字很可能是试图将群体推向极端值的坏人），然后对剩下的“中间”数字取平均值。
结果： 当加入这个过滤器后，AI 代理突然开始完美地达成一致，甚至在以前失败的情况下也是如此。
细微差别： 过滤器在群体已经具有一定的连接性和鲁棒性时效果最好。
- 在全连接群体中（每个人都与所有人交谈）： 过滤器表现得像个超级英雄，修复了几乎所有的失败。
- 在混乱的群体中（有些人与某些人交谈，但并非所有人）： 过滤器有所帮助，但没有那么显著。为什么？因为在混乱的群体中，由于网络本身的特性，坏人已经更难传播混乱了。过滤器增加了额外的安全性，但网络结构本身已经在承担部分重任。

3. 测试极限

研究人员进行了多次测试，以确保这不仅仅是一个偶然现象：

不同的“温度”： 他们改变了 AI 被允许进行“随机”或“创意”发挥的程度。这种失败在所有随机程度下都会发生，而过滤器在所有水平下都能修复它。
不同的时间限制： 他们给了 AI 更多或更少的时间来交谈。给 AI 更多时间并不能帮助未经过滤的 AI 达成一致；它们只是在进行更长时间的争论。然而，过滤器却能帮助它们快速达成一致。
猜测敌人： 在现实世界中，你可能不知道房间里到底有多少个坏人。研究人员测试了一个即便在实际只有 2 个或 4 个坏人的情况下，仍会猜测“至少有 6 个坏人”的过滤器。它依然完美运行，证明了即使你高估了危险，该过滤器依然是鲁棒的。

核心结论

论文得出结论：经典的数学安全规则对 AI 仍然有用，但你不能仅仅依赖 AI 自然地遵循这些规则。

差距： 在 AI 能够做到的事情（数学上的可能性）与标准 AI 提示词实际做到的事情（通常会失败）之间存在着差距。
解决方法： 通过添加一个简单的、经典的“过滤器”来忽略极端的离群值，我们可以迫使 AI 代理表现得像数学所预言的那样可靠的机器人。

简而言之，AI 代理很聪明，但在试图达成一致时，它们并不擅长遵守“游戏规则”。如果让一个严格的裁判（过滤器）负责清理噪音，它们最终就能达成共识。

技术摘要：智能体 AI 中的弹性共识

问题陈述
大语言模型（LLM）智能体正越来越多地被部署在需要协调和决策共享的多智能体系统中。一个关键的挑战在于，当这些智能体必须在存在对抗性或故障智能体（拜占庭智能体）的情况下达成共识时，会面临困难。虽然经典的分布式系统理论为确定性智能体提供了严格的共识保证，但目前尚不清楚这些理论界限和算法是否能迁移到通过概率性提示（prompting）而非确定性更新规则运行的 LLM 智能体上。本文研究了受提示驱动的 LLM 策略是否能够实现经典弹性共识条件所保证的协议，以及经典的过滤机制是否可以减轻智能体 AI 中的失效问题。

方法论
作者将 LLM 智能体之间的协议问题建模为一个拜占庭共识博弈。实验设置是一个由 $N$ 个智能体组成的同步网络，包含 $H$ 个诚实智能体和 $B$ 个拜占庭智能体，通过完全图和一般有向图进行通信。

智能体： 诚实智能体使用 meta-Llama-3.2-3B-Instruct LLM 进行建模，任务是在 0 到 50 之间的整数上达成一致。它们接收来自邻居的提案，并通过提示工程生成新的提案。
对抗者： 拜占庭智能体同样是 LLM，其被提示以策略性地提出数值（高值或低值），以阻止诚实智能体收敛。
协议： 系统运行一个固定的时界（ $T_{max}$ ）。在每一轮中，智能体会广播提案，诚实智能体根据接收到的值更新其状态。
干预： 本研究评估了使用经典弹性共速过滤器包装 LLM 策略的有效性，具体包括 全局 MSR 型过滤器（针对完全图）和 局部 MSR 型过滤器（针对一般图）。这些过滤器的功能是在智能体计算下一个提案之前，从接收到的集合中剔除 $f$ 个最小值和 $f$ 个最大值。

核心贡献

LLM 共识失效的形式化： 作者将 LLM 的拜占庭共识博弈形式化，并证明了即使在经典理论保证存在收敛算法的机制下（特别是当 $N \ge 3B + 1$ 时），受提示驱动的 LLM 策略仍无法实现协议。这种失效在不同的温度和时间跨度下持续存在，表明任意的提示策略与实现理论保证所需的弹性更新规则之间存在差距。
通过经典过滤器恢复： 研究表明，通过使用经典弹性共识过滤器包装 LLM 智能体可以恢复可实现的协议。
- 在完全图上，全局 MSR 型过滤器将共识概率恢复到接近 100%，即使在基准方案失效的情况下也是如此。
- 在满足特定拓扑条件的一般图上，局部 MSR 型过滤器提高了协议性，尽管改进幅度取决于网络拓扑本身的鲁棒性。
鲁棒性分析： 通过消融实验，作者确认这些效应在不同的采样温度和共识时界下都是鲁棒的。他们进一步证明，即使在拜占庭智能体数量（ $B$ ）被误设（高估）的情况下，只要将过滤器参数 $f$ 设置为上界，过滤器仍然有效。

实验结果

基准性能： 在完全图中，随着 $B$ 的增加，共识概率显著下降，在达到理论阈值 $N < 3B + 1$ 之前就已失效。例如，在 $H=15$ 且 $B=4$ 时，尽管理论表明协议应该是可能的，但在温度为 0.5 时，基准共识概率仅为 30%。
过滤器功效： 在完全图上应用全局 MSR 型过滤器（ $f=B$ ）后，在所有测试的 $B$ 值和温度下均实现了近乎完美的共识（≈100%）。
一般图： 在特定的一般图拓扑结构中，基准方案在理论保证的机制内（ $B \le 4$ ）实现了高共识，但在超出该机制后性能退化。局部 MSR 型过滤器在保证机制内表现得至少与基准方案一样好，但在该机制之外提供的额外改进有限，这表明在稠密连接的图中，拓扑结构本身提供了实质性的鲁棒性。
误设情况： 当过滤器参数固定为 $f=6$ ，而真实的 $B$ 为 0、2 或 4 时，经过过滤的协议保持了 100% 的共识，甚至在不存在对抗者的情况下也优于基准方案。

意义与主张
本文认为，经典弹性共识理论是观察智能体 AI 安全性的有用视角。主要发现并非对经典理论的矛盾，而是证明了通过标准提示实现的 LLM 智能体本身并不具备满足共识条件的特性。差距在于受提示驱动的策略行为与数学上的弹性更新规则之间的差异。

作者声称，集成经典控制论工具（如弹性共识过滤器）可以作为一层安全层，即使在单个 LLM 智能体不可靠或具有对抗性时，也能保证集体行为。他们总结道，虽然目前的工作侧重于标量协议，但未来的自然方向是将这些弹性概念扩展到更复杂的智能体任务中，例如在计划、答案或结构化决策上达成一致。

1. “旧规则” vs. “AI 现实”

2. “过滤器”解决方案

3. 测试极限

核心结论

类似论文