💻 computer science

Comprehensive Vulnerability Analysis is Necessary for Trustworthy LLM-MAS

本文论证了全面的脆弱性分析对于构建可信的基于大语言模型的多智能体系统（LLM-MAS）至关重要，并提出了一套系统框架，以应对其独特且尚未充分探索的安全威胁，同时识别未来研究的关键挑战。

原作者： Pengfei He, Yue Xing, Juanhui Li, Shen Dong, Zhenwei Dai, Xianfeng Tang, Hui Liu, Han Xu, Zhen Xiang, Charu C. Aggarwal, Hui Liu

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pengfei He, Yue Xing, Juanhui Li, Shen Dong, Zhenwei Dai, Xianfeng Tang, Hui Liu, Han Xu, Zhen Xiang, Charu C. Aggarwal, Hui Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个基于大语言模型的多智能体系统（LLM-MAS），不要把它看作一个超级聪明的机器人，而要把它看作一支高度专业化的交响乐团。

在这个乐团中：

乐手（智能体）： 每位乐手都是一个 AI（例如规划者、程序员或验证者），拥有特定的角色。
乐谱（配置文件）： 指示他们演奏什么内容的指令。
指挥的指挥棒（工具）： 他们可以用来与外部世界互动的乐器（例如查询银行账户或编写代码）。
对话（通信）： 乐手们通过耳语、喊叫和传递乐谱彼此交流，从而创作出交响乐。
音乐厅（环境）： 他们表演的物理或数字空间。

该论文指出，虽然我们多年来一直在研究如何阻止单个乐手弹错音符，但当整个乐团开始合奏时，我们却对随之而来的混乱毫无准备。

以下是该论文主要观点的分解，使用日常类比进行说明：

1. 问题所在：“乐团”是脆弱的

作者表示，虽然单个 AI 智能体存在风险，但由它们组成的乐团则危险地复杂。

单个智能体的风险： 如果一名乐手被欺骗，他可能会发出响亮而恼人的噪音。
多智能体的风险： 如果乐手们开始盲目地相互信任，那么一名被欺骗的乐手就能说服整个团体演奏一首能够摧毁音乐厅、窃取观众钱包或导致电网瘫痪的乐曲。

该论文声称，当前的安全研究就像是在研究如何阻止独奏小提琴手弄断琴弦，却忽略了整个乐团现在通过一个可被黑客攻击的信任网络相互连接这一事实。

2. 新的攻击面（漏洞所在）

该论文指出了这种“乐团”可以被黑客攻击的具体位置，而这些位置在独奏表演中并不存在：

耳语网络（通信）： 在独奏表演中，没有耳语。而在乐团中，如果攻击者拦截了乐手之间传递的乐谱，他们就可以替换乐谱。一名乐手可能以为自己在演奏一首温柔的摇篮曲，但他收到的乐谱却告诉他演奏警报声。
盲目信任： 乐团中的人类可能会说：“等等，那个音符听起来不对，让我检查一下。”但这些 AI 乐手被训练得礼貌且合作。他们将收到的每一个音符都视为真理，即使那是谎言。他们缺乏“怀疑过滤器”。
工具腰带： 每位乐手都有一条工具腰带。如果攻击者诱骗一名乐手去拿“炸弹”而不是“锤子”，损害就已经造成。在多智能体系统中，如果一名乐手拿到了炸弹，他可能会把它交给下一位乐手，然后后者将其用于观众。
导演的笔记（配置文件）： 如果攻击者潜入导演办公室并更改了职位描述（例如，指示“安全守卫”智能体现在变成“小偷”），整个系统的逻辑就会崩溃。

3. “坏人”想要不同的东西

该论文利用乐团类比，对攻击者可能试图实现的目标进行了分类：

有害行为： 说服乐团演奏一首能点燃舞台或窃取观众钱财的乐曲。
资源耗尽： 让乐手们演奏一首持续 1000 年的乐曲，或者音量大到震坏扬声器，从而有效地关闭音乐会（即“拒绝服务”）。
性能下降： 让乐团演奏得如此走调，以至于音乐变得毫无用处，即使没有人受到伤害。
隐私泄露： 将来自观众 VIP 包厢的秘密耳语给错误的乐手，然后由他们向整个大厅广播。

4. 拟议的解决方案：“安全评分卡”

作者表示，我们不能仅仅靠猜测；我们需要一个系统性的框架。他们提出了一种“安全评分卡”，该评分卡能够：

定义威胁： 明确说明攻击者是谁以及他们能做什么（例如，“他们能听到耳语吗？”“他们能更改乐谱吗？”）。
映射弱点： 检查乐团的每一个部分（乐手、乐谱、工具、音乐厅），看看哪里可能被破坏。
衡量损害： 不仅仅是说“它失败了”，而是衡量它是如何失败的。音乐停止了吗？钱被偷了吗？秘密泄露了吗？

5. 一次小型试运行

为了证明他们的观点，作者进行了一项小型实验。他们建立了一个由两名乐手组成的小型“乐团”：一名规划者（决定做什么）和一名执行者（执行操作）。

他们试图通过在两名乐手之间的对话中塞入一张假乐谱来欺骗系统。
结果： 该系统极易被欺骗。无论是欺骗规划者还是执行者，系统往往无法完成其工作，或者做了有害的事情。这证明了问题不仅仅在于一名糟糕的乐手，而在于他们之间的连接。

6. 接下来需要做什么？

该论文以对研究界的“行动呼吁”作为结尾：

停止测试独奏者： 我们需要专门为乐团（多智能体系统）设计的测试。
建立更好的信任： 我们需要教导乐手质疑他们收到的乐谱，而不仅仅是盲目跟随。
制定新规则： 我们需要新的安全标准，以考虑到这些智能体彼此交谈这一事实。

简而言之： 该论文认为，建立一个值得信赖的 AI 智能体团队就像建造一座摩天大楼。你不能只确保砖块坚固（单个 AI）；你还必须确保将它们粘合在一起的砂浆（通信和信任）不会崩塌，否则整栋大楼都会倒塌。我们需要一份全面的蓝图，在大楼完工之前找出那些裂缝。

技术摘要：构建可信的 LLM 多智能体系统需进行全面的漏洞分析

1. 问题陈述

基于大语言模型的多智能体系统（LLM-MAS）代表了人工智能协作领域的重大进步，通过部署多个专用智能体来应对金融科技、医疗分诊和软件工程等高风险领域的复杂任务。虽然单智能体漏洞（例如提示注入、有害输出生成）已得到充分研究，但 LLM-MAS 引入了根本性新颖且独特的安全挑战，这些挑战目前仍严重缺乏探索。

核心问题在于，当前的安全研究缺乏对 LLM-MAS 威胁的整体评估。现有研究往往狭隘地聚焦于孤立组件（例如单个智能体配置文件）或特定场景（例如错误注入），未能充分考虑由智能体间通信、信任关系和工具集成所创造的新型攻击面。缺乏广泛的分类法、理由充分的威胁模型以及攻击目标的正式定义，阻碍了有意义的评估基准的设计以及真正可信系统的构建。

2. 方法论

本文提出了一种基于形式化数学表述的漏洞分析系统框架。

2.1 系统分解

作者将 LLM-MAS（ $S_{MA}$ ）分解为六个核心组件：

单个智能体（ $A$ ）： 包含大语言模型核心（ $f_i$ ）、智能体配置文件（ $P_i$ ）以及一组工具（ $T_i$ ）。
智能体间通信（ $C$ ）： 由通信结构（ $S$ ）、交换的消息（ $M$ ）和信任管理（ $T$ ）定义。
环境（ $E$ ）： 智能体运行的物理或模拟环境。
记忆（$Mem$）： 用于存储消息和经验的共享存储。
初始查询（ $Q$ ）： 触发系统的输入。

2.2 形式化威胁模型

作者定义了一个通用公式，用于描述攻击者旨在通过操纵特定系统组件（ $S$ ）来实现恶意目标（ $G$ ）的情况：
$\arg \max_{S \in \Theta_S} \text{Evaluator}(S_{MA}, Q, G)$
其中：

$\Theta_S$ 代表由攻击者能力（黑盒、灰盒或白盒）决定的恶意空间。
评估器（Evaluator） 函数根据特定目标（例如有害行为、资源耗尽）量化攻击的成功程度。

2.3 漏洞分类法

该框架对恶意目标进行分类，并分析每个组件的漏洞：

恶意目标：
- 有害行为： 从有害文本升级为执行破坏性程序或通过工具能力进行未经授权的交易。
- 资源耗尽： 通过消息膨胀或滥用工具来过载计算资源（CPU、内存、带宽）。
- 性能下降： 通过投毒输入降低任务准确性或效率。
- 隐私泄露： 通过智能体间通信从其他智能体或共享记忆中提取敏感数据。
特定组件漏洞：
- 输入（ $Q$ ）： 提示注入和上下文操纵。
- 智能体（ $A_i$ ）： 被破坏的大语言模型核心、被劫持的配置文件（特别是在智能体对智能体协议下）以及恶意工具（包括模型上下文协议/MCP 投毒）。
- 通信（ $C$ ）： 中间人攻击、消息拦截以及信任管理中缺乏怀疑精神（盲目接受未经验证的消息）。
- 环境（ $E$ ）： 影响智能体感知的物理或模拟环境攻击。

3. 主要贡献

系统框架： 一个统一的框架，形式化定义了恶意目标，并支持对所有 LLM-MAS 组件的结构化分析，超越了孤立的以智能体为中心的评估。
全面分类法： 识别了多智能体架构特有的独特攻击面，特别是在通信结构和信任管理方面，这些在单智能体系统中并不存在。
形式化定义： 基于实际攻击者能力，对攻击目标和威胁模型进行了严格的表述，为可复现的评估奠定了基础。
初步实证研究： 在银行领域使用规划器 - 执行器架构对框架进行了实例化，以证明非平凡漏洞的存在。

4. 结果

作者在 AgentDojo 银行数据集上使用规划器 - 执行器流水线（规划器：GPT-5-mini；执行器：GPT-5-mini 或 GPT-5-nano）进行了一项初步研究。他们在三个阶段执行了提示注入攻击：规划器启动、执行器启动和执行器结束。

主要发现：

高脆弱性： 系统在不同攻击阶段和模型容量下均表现出显著的脆弱性。
关键注入点： 在规划器启动和执行器结束阶段的注入，针对隐私泄露和有害行为目标，始终实现了约**90%**的高攻击成功率（ASR）。
结构性本质： 这些漏洞在不同模型和目标中的持续存在表明，风险是结构性的，源于系统级交互而非单个智能体的缺陷。
效用与安全： 即使在保持相对较高的任务效用（例如 80-90% 的任务完成率）时，也观察到了高攻击成功率，表明攻击可以在不立即导致系统崩溃的情况下成功。

5. 意义与行动呼吁

本文论证了全面的漏洞分析是构建可信 LLM-MAS 的先决条件。作者强调，该领域目前缺乏：

专门针对 LLM-MAS 漏洞评估的基准。
对多智能体架构特有的新潜在攻击（例如结构推断、系统稳定性攻击）的考量。
能够在对抗条件下实施安全管理的信任管理系统。

这项工作为未来的研究奠定了必要的基础，敦促社区采用系统级安全分析，明确建模恶意目标、攻击者能力和智能体交互。它呼吁开发反映真实世界智能系统结构复杂性的原则性表述和可复现分析，而不是依赖对单个组件的临时测试。

已识别的开放挑战：

开发具有适合多智能体系统的适当粒度的基准。
为梯度计算不可行的复杂多组件系统创建实际攻击。
设计可靠、低延迟的监控智能体以实现实时监督。
将传统安全原则（例如最小权限、纵深防御）整合到智能体生命周期中。