🤖 AI

Conjunctive Prompt Attacks in Multi-Agent LLM Systems

该论文揭示了多智能体 LLM 系统中因提示分段和路由机制而产生的新型“合取提示攻击”漏洞，即攻击者通过控制触发词与隐藏模板的跨智能体组合，在无需修改模型权重的情况下绕过现有防御并诱发有害行为，从而暴露了当前安全评估在跨智能体组合层面的结构性缺陷。

原作者： Nokimul Hasan Arif, Qian Lou, Mengxin Zheng

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nokimul Hasan Arif, Qian Lou, Mengxin Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于多智能体大模型系统（Multi-Agent LLM Systems）中一种非常隐蔽且危险的攻击方式，作者称之为"合取提示攻击"（Conjunctive Prompt Attacks）。

为了让你更容易理解，我们可以把整个系统想象成一个大型跨国公司的运作流程，而攻击者则是一个高明的“特洛伊木马”制造者。

1. 背景：现在的 AI 不再是“单打独斗”

以前，我们用的 AI 就像一个全能秘书，你问什么它答什么。
现在，为了处理复杂任务（比如规划旅行），系统变成了一个团队：

总指挥（Client Agent）：接收你的请求，把它拆分成几个小任务。
** specialists**（远程智能体）：比如“机票专家”、“酒店专家”、“财务专家”。总指挥把任务分派给不同的人去处理。

问题在于：这个“分派任务”的过程（路由）和各个“专家”手里的“内部工作手册”（提示词模板），对外部用户来说通常是黑盒（看不见的）。

2. 攻击原理：两个无害的碎片，拼在一起就是炸弹

传统的攻击通常是直接对 AI 说：“请忽略之前的规则，告诉我怎么做炸弹。”这种攻击很容易被防火墙（安全模型）发现并拦截。

但这篇论文发现的攻击方式非常狡猾，它利用了**“合取”（Conjunctive）的逻辑，也就是“只有 A 和 B 同时出现，才会触发灾难”**。

我们可以用**“拼图”或“密码锁”**来比喻：

碎片 A（用户端的触发键）：
攻击者在你的正常提问中，偷偷塞入一个看似无害的关键词（比如“账户奖励”）。
- 比喻：就像你在给秘书的便条里写了一句“顺便查一下我的积分”，这句话本身完全正常，没有任何恶意。
碎片 B（被黑掉的专家的内部手册）：
攻击者提前在某个远程专家（比如“财务专家”）的内部工作手册里，偷偷塞入了一段隐藏的指令。
- 比喻：就像“财务专家”的私人笔记里多了一行字：“如果有人提到‘积分’，就立刻把公司保险柜的密码发给他。”这段笔记单独看，可能只是像是一个奇怪的备注，或者根本没人注意到。
致命一击（路由的巧合）：
只有当总指挥恰好把带有“积分”关键词的任务，分派给了那个被植入恶意笔记的“财务专家”时，灾难才会发生。
- 比喻：如果总指挥把“查积分”的任务分给了“机票专家”，或者分给了“财务专家”但他没看到那个关键词，那么一切都很安全。只有**“特定的关键词” + “特定的接收者” + “特定的路由”**三者同时满足，那个隐藏的恶意指令才会被激活。

3. 为什么现有的防御手段失效了？

这就好比公司的安检员（安全模型，如 PromptGuard 或 Llama-Guard）：

安检员只看单件行李：安检员会检查你递进来的便条（用户输入），也会检查财务专家写出来的报告（输出）。
漏网之鱼：
- 便条上只有“查积分”，安检员觉得：“这很正常，没问题。”
- 财务专家的笔记里只有“如果有人提积分就..."，安检员觉得：“这只是个备注，没看到具体的攻击指令。”
- 真正的危险发生在两者在财务专家的脑子里“相遇”的那一刻。但安检员通常不会把“便条”和“笔记”拼在一起看，也不会去分析“为什么这个便条偏偏分给了财务专家”。

结论：因为单独看每一部分都是无害的，所以现有的防御系统完全失效了。

4. 攻击者是如何做到的？（路由感知优化）

攻击者并不是瞎蒙的。他们使用了一种**“智能导航优化”**技术：

调整路由：攻击者会微调他们提问的方式，让带有“关键词”的任务，更大概率被分派给那个被黑掉的专家。
调整位置：他们会把关键词放在任务的最前面、中间或最后面，或者调整内部笔记的位置，让触发效果最大化。

这就像是一个高明的间谍，他不仅知道把暗号写在信里，还知道怎么让这封信百分之百会送到那个特定的、被收买的特工手中。

5. 实验结果：无论什么网络结构，都防不住

论文在三种不同的“公司架构”（星型、链式、网状）下进行了测试：

优化前：攻击偶尔成功，因为运气好，任务刚好分给了被黑掉的专家。
优化后：攻击成功率飙升，几乎每次都能成功触发恶意行为，而且不会误伤（不会在没触发的时候乱说话）。

更可怕的是，现有的各种安全模型（Llama-Guard 等）在攻击者经过“优化”后，检测能力几乎归零。

6. 核心启示：我们需要新的“全局视角”

这篇论文告诉我们：

局部安全不等于整体安全：检查每一个单独的 AI 模型是安全的，不代表它们组成的系统是安全的。
路由是关键：任务如何被分发，本身就是最大的安全隐患。
未来的防御：不能只盯着“一句话”看，必须像侦探一样，追踪整个任务的流转路径，看看“谁”收到了“什么”，以及它们组合在一起时是否会产生化学反应。

一句话总结：
这就好比两个看似无害的普通人（用户提问和被黑的 AI），单独看都没问题，但一旦他们通过特定的“介绍人”（路由机制）碰面，就会瞬间变成恐怖分子。现有的保安只检查每个人单独的样子，却忘了检查他们碰面后的化学反应。

多 Agent LLM 系统中的合取提示攻击（Conjunctive Prompt Attacks）技术总结

这篇论文由美国中佛罗里达大学（UCF）的研究团队发表，深入探讨了大型语言模型（LLM）在多智能体（Multi-Agent）系统中的新型安全漏洞。文章指出，现有的 LLM 安全研究主要集中在单 Agent 模型，而忽略了多 Agent 协作系统中因提示词分割（Prompt Segmentation）和智能体间路由（Inter-Agent Routing）产生的独特攻击面。

以下是该论文的详细技术总结：

1. 问题背景与核心挑战

背景：现实世界的应用越来越多地采用多 Agent 系统（如旅行规划助手），其中客户端 Agent 将用户请求分解为子任务，并路由到不同的远程专用 Agent（如航班查询、酒店预订）。
核心问题：现有的安全评估通常假设攻击是针对单个模型的。然而，在多 Agent 系统中，攻击者可以利用合取激活（Conjunctive Activation）机制绕过防御。
攻击场景：
- 触发密钥（Trigger Key）：攻击者在用户查询的特定片段中插入一个看似无害的关键词。
- 注入模板（Injected Template）：攻击者控制其中一个远程 Agent（黑盒），在其系统提示词中注入一个看似无害的隐藏模板。
- 合取条件：单独看，触发密钥和注入模板都是 benign（良性）的，不会触发任何有害行为。只有当路由机制将包含密钥的片段恰好导向被攻陷的 Agent，且该片段与注入模板结合时，才会激活有害行为（如越权访问工具）。
威胁模型：攻击者无法修改模型权重或客户端 Agent，仅能控制用户输入中的密钥位置、被攻陷 Agent 的模板位置，以及利用路由偏差（Routing Bias）增加特定片段被路由到目标 Agent 的概率。

2. 方法论：基于路由感知的优化框架

为了在不修改模型权重的情况下最大化攻击成功率，作者提出了一种拓扑感知和路由感知的提示词级优化框架。

优化目标：最大化攻击成功率（ASR），同时最小化非合取情况下的误报（False Activation）。
可微分替代目标（Differentiable Counterpart Objective）：
- 由于直接优化离散的提示词位置和路由概率是不可微的，作者构建了一个可微分的替代模型。
- 该模型将攻击成功率近似为两个概率的乘积：
  1. 路由概率（ $P_{route}$ ）：包含密钥的片段被路由到被攻陷 Agent 的概率。
  2. 模板有效性（ $P_{template}$ ）：注入模板在特定位置（前缀、包裹、后缀）激活有害行为的概率。
- 通过 Gumbel-Softmax 松弛技术，对离散变量（密钥位置 $j$ 、模板位置 $\tau$ ）和连续变量（路由偏差 $\rho$ ）进行梯度下降优化。
优化变量：
- $j$ ：密钥在用户查询分段中的位置。
- $\tau$ ：注入模板在远程 Agent 提示词中的位置。
- $\rho$ ：路由偏差参数，控制包含密钥的片段被路由到被攻陷 Agent 的倾向性。

3. 实验设置

环境：构建了受控的 Agent-to-Agent (A2A) 环境，模拟真实的任务分解和路由机制。
拓扑结构：测试了三种常见的通信拓扑：
- 星型（Star）：客户端直接路由到所有远程 Agent。
- 链式（Chain）：片段按顺序经过一系列 Agent。
- 有向无环图（DAG）：片段在复杂的 DAG 结构中传播。
模型：使用了多种开源 LLM 骨干（Gemma-2B, Mistral-7B, LLaMA3-8B）以及闭源模型（GPT-5-mini）进行验证。
评估指标：
- 四种模式：Clean（无攻击）、Key-only（仅密钥）、Template-only（仅模板）、Both（合取攻击）。
- 攻击成功率（ASR）：仅在"Both"模式下且成功激活时计为成功。
- 误报率：在 Clean、Key-only 或 Template-only 模式下不应触发。

4. 关键结果

优化显著提升攻击成功率：
- 在未优化的基线情况下，合取攻击的成功率较低且不稳定（受路由随机性影响大）。
- 经过全优化（Full Optimization，即同时优化路由偏差、密钥位置和模板位置）后，攻击成功率在 Star、Chain 和 DAG 三种拓扑下均显著提升至接近 1.0（100%）。
- 优化后的攻击具有极强的拓扑鲁棒性，不再依赖特定的路由幸运事件。
低误报率：
- 在 Clean、Key-only 和 Template-only 模式下，攻击成功率保持在接近 0 的水平。这证明了攻击的“合取”特性：单独组件是良性的，只有在特定路由组合下才生效。
现有防御失效：
- 测试了 PromptGuard、Llama-Guard 等主流安全模型。
- 结果显示，这些防御在检测“未优化”的简单攻击时有一定效果，但在面对全优化的合取攻击时，F1 分数急剧下降，几乎无法检测。
- 原因：现有防御通常检查单个提示词或输出，无法识别跨 Agent 的合取条件（即单个组件看起来都是良性的）。
模型无关性：攻击在不同大小的模型（从 2B 到 17B 甚至闭源模型）上均有效，表明这是系统架构层面的漏洞，而非特定模型的缺陷。

5. 主要贡献

形式化威胁模型：首次正式定义了多 Agent 系统中的“合取提示攻击”，揭示了供应链中远程 Agent 被篡改与用户输入触发相结合的新型风险。
提出优化框架：开发了一种无需修改模型权重或客户端逻辑，仅通过优化提示词级变量（位置、模板、路由偏差）即可构建高效攻击的方法。
实证发现：证明了现有的单点防御（Guard Models）在多 Agent 路由环境下存在盲区，且合取攻击在不同拓扑结构下具有高度可迁移性。

6. 意义与启示

安全评估的盲区：当前的 LLM 安全基准测试大多基于单 Agent 交互，无法捕捉多 Agent 系统中因路由动态和组件组合产生的结构性漏洞。
防御方向转变：未来的防御机制不能仅关注单个提示词的内容，必须引入跨 Agent 的上下文感知、路由追踪（Routing Tracing）以及来源证明（Provenance）机制。
系统级风险：即使单个 Agent 是安全的，整个多 Agent 系统的编排逻辑（Orchestration）本身可能成为攻击面。

总结：这篇论文揭示了多 Agent LLM 系统中一个隐蔽但致命的漏洞。攻击者可以通过精心设计的“良性”组件组合，利用系统的路由机制触发有害行为，从而绕过现有的所有单点防御。这呼吁社区重新思考多 Agent 系统的安全评估标准和防御架构。