🤖 AI

PlanFlip: Attacking Multi-Agent LLM Systems via Planning-Phase Prompt Injection

该论文介绍了 PlanFlip，这是一个证明了规划阶段的提示注入攻击可以级联传播至多智能体 LLM 系统并破坏所有下游任务的框架，揭示了更强或同质的模型在面对此类攻击时具有独特的脆弱性，而异构模型的多样性对于有效防御至关重要。

原作者： Yuhang Wang

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuhang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机不仅仅是回答问题，而是真正能为我们去执行任务的世界。它们可以预订机票、编写代码，或者通过相互交谈组成一个数字团队来研究医疗建议。这就是**多智能体AI系统（Multi-Agent AI systems）的世界。把它想象成一个建筑施工队：你有一个规划者（Planner）负责绘制蓝图，有执行者（Executors）负责实际砌砖或刷墙，还有一个审核者（Critic）**在巡视，以确保工程符合蓝图。

长期以来，人们一直担心这些AI团队会被诱导说出粗鲁或危险的话（比如“越狱”）。但本文探讨了一个更隐蔽的问题：如果有人在工作开始之前就欺骗了规划者呢？如果蓝图画错了，施工队砌下的每一块砖都会放错位置，而检查工作的监督者可能根本察觉不到，因为他们看的是同一份错误的蓝图。本文探讨了黑客如何将“被污染”的指令植入规划阶段，导致整个团队偏离轨道却不被察觉。

伟大的蓝图劫案：PlanFlip

认识一下 PlanFlip，这是一种由复旦大学研究人员发现的新型破解AI团队的方法。他们发现，对于AI团队来说，最危险的时刻不是工人们忙碌的时候，而是规划者正在制定待办事项清单的时候。

在一个典型的AI团队中，规划者会将你的宏大目标（如“计划一次巴黎之旅”）分解为微小的步骤（“预订航班”、“寻找酒店”、“购买门票”）。论文显示，如果攻击者在规划者的笔记中混入一条伪造信息——伪装成正常的工具输出或一份有用的文档——他们就能劫持整个任务。这就像是一个破坏者在对建筑师耳语：“噢，顺便说一下，客户其实想要一座建在海洋中间的城堡”，于是建筑师非常听话地为这座城堡绘制了整套蓝图。突然间，整个团队都在海上建造一座城堡，而审核者（安全检查员）也在点头示意，认为一切都很完美。

研究人员称之为级联放大（Cascade Amplification）。与其一次破坏一个步骤，不如通过一个错误的注入同时毁掉所有子任务。他们在九种不同的超强智能模型上进行了测试，运行了超过3,400个不同的场景，并发现了一些令人惊讶的事实。

1. 更聪明并不意味着更安全

你可能会认为，最强大、最智能的AI应该是最难被欺骗的。论文给出的结论却恰恰相反。在测试中，最新且能力最强的模型 GPT-5 实际上最容易被欺骗，成功率达到了 0.68（意味着它有68%的概率落入陷阱）。研究人员发现，由于这些模型经过训练，非常擅长遵循指令，因此如果指令听起来具有权威性，它们也非常擅长遵循虚假的指令。这就像一个非常礼貌的管家，因为过于渴望表现得周到，结果因为陌生人穿着一套看起来很可信的制服，就误让陌生人进了家门。

2. 同一团队检查机制的“盲点”

这是最令人胆寒的发现：相关智能体盲点（Correlated-Agent Blind Spot）。目前大多数AI团队都是使用同一个“大脑”（或底层模型）来构建规划者、执行者和审核者的。论文发现，当规划者被欺骗时，审核者也会被欺骗！因为它们共享同一个大脑，它们看到的都是同样的扭曲现实。

在针对 GPT-4o 和 Llama-3.3-70B 等模型的测试中，攻击成功率达到了 100%，且审核者从未发出警报。即使计划完全错误，审核者仍报告一切都“符合预期”且安全。为了证明这不仅仅是一个故障，研究人员引入了两个来自不同家族的不同AI裁判来检查工作。这些外部裁判确认这些计划确实非常糟糕，质量大幅下降，但原团队的审核者对此完全视而不见。这就像是一个保安和一名小偷是双胞胎；如果小偷骗过了保安，保安永远不会举报盗窃，因为他认为小偷的行为是正常的。

3. “推理”这一超能力

并非所有的模型都会落入陷阱。论文发现，DeepSeek-R1（一种使用特殊“思考”过程，即在行动前进行逻辑推演的模型）完全免疫于此类攻击。它实现了 0.00 的攻击成功率。看起来，当一个模型停下来，对照原始目标来反复检查其逻辑时，它就能识别出虚假指令并将其忽略。这表明，强制AI“先思考再开口”可能是对抗这类攻击的一种天然护盾。

如何修复破碎的蓝图

研究人员不仅发现了问题，还提出了两种修复方法，他们分别称之为 GoalAnchorCheck 和 CrossAgentConsensus。

GoalAnchorCheck 就像一个严格的工头，不断地根据原始目标检查每一个步骤。“等等，我们在盖城堡？目标明明是盖房子。停下！”这种方法对于明显的诡计很有效，但在面对“盲点”模型时失效了，因为这个工头使用的是与小偷相同的“大脑”。
CrossAgentConsensus 是真正的游戏规则改变者。它建议使用一个不同的AI模型来检查工作。如果规划者和审核者是双胞胎，那么你需要一个来自不同家族的第三人来识破诡计。论文发现，使用不同的模型作为裁判彻底打破了盲点，捕捉到了原团队所遗漏的攻击。

核心启示

论文总结道，在AI团队的世界里，如果你的备份方案与原始方案是由同样的东西构成的，那么拥有备份计划也是不够的。如果规划者、执行者和审核者都共享同一个大脑，那么他们都容易受到同样的套路影响。作者建议，**多样性（Diversity）**是唯一的真实安全保障。你需要一个由不同类型AI模型组成的团队，这样如果其中一个被欺骗，其他的能够发现错误。

简而言之，论文警告我们，随着我们构建更加复杂的AI团队，我们不能仅仅依赖于让它们变得更聪明；我们必须确保它们彼此之间是不同的，否则一个巧妙的诡计就能让整个团队在无人察觉的情况下陷入混乱。

技术摘要：PlanFlip：通过规划阶段的提示词注入攻击多智能体 LLM 系统

问题定义

多智能体大语言模型（LLM）系统通常依赖一个规划器（Planner）将高层用户目标分解为有序的子任务序列，随后由执行器（Executor）智能体执行，并由批判器（Critic）智能体进行审计。现有的对抗性研究主要集中在工具调用注入（劫持单个步骤）或越狱（产生明显的有害输出），但这些威胁未能解决规划阶段的问题。

本文识别出了一个关键漏洞：对规划器上下文进行单次提示词注入即可实现级联放大（cascade amplification），从而同时破坏所有下游子任务。这种攻击作用于任务结构而非表层内容，使得基于输出层面的过滤器在设计上无法察觉。此外，大多数生产流水线是同构的（homogeneous），即规划器、执行器和批判器共享相同的底层模型。这造成了相关智能体盲点（correlated-agent blind spot）：如果规划器因注入而产生偏差，那么共享相同参数空间的批判器也会同时产生偏差，从而批准被破坏的计划，导致系统即便在目标发生显著偏离的情况下仍自评为“对齐”。

方法论：PlanFlip 框架

作者引入了 PlanFlip 框架，将规划阶段的提示词注入攻击形式化。攻击者控制一个附加在规划器输入中的上下文注入 $\epsilon$ （例如，通过不可信的检索文档或工具响应），并拥有黑盒访问权限。其目标是最大化目标偏差，同时确保批判器报告“对齐”的结论。

攻击分类学

PlanFlip 定义了四种正交的攻击类型，它们均伪装成看似合理的工具输出以规避关键词过滤器：

PF-1 (GoalSubstitution/目标替换)： 用恶意目标替换原始目标 $g$ 。
PF-2 (PriorityInversion/优先级反转)： 重新排列子任务的优先级。
PF-3 (ContextPollution/上下文污染)： 破坏上下文 $x$ 中的事实前提。
PF-4 (RoleConfusion/角色混淆)： 重新定义智能体的操作身份。

评估设置

该框架在涉及 9 种前沿 LLM（包括 GPT-5、GPT-4o、Llama-3.3-70B、DeepSeek-R1 等）的 3,479 个回合中进行了评估，涵盖四个真实的智能体场景（金融、医疗、代码、旅行）。

指标： 攻击成功率 (ASR)、隐蔽性 (Stealth/未检测率)、目标偏差得分 (GDS) 和步长偏移 (StepShift/结构化计划距离)。
验证： 为了验证“盲点”，作者使用了两个独立的异构裁判（DeepSeek-V3.1 和 Llama-3.3-70B）来对那些被同类底层模型的批判器标记为“对齐”的计划进行语义对齐评分。

核心发现

评估揭示了三个挑战现有安全假设的不同漏洞特征：

能力放大漏洞 (显性特征/Overt Profile)：
与“更强的模型本质上更安全”的假设相反，GPT-5 实现了最高的攻击成功率 (ASR = 0.68)，其中 PF-1 达到了 0.90。作者认为，更强的指令遵循能力使得模型更容易受到伪装成权威指令的精心构造注入的影响。
相关智能体盲点 (隐性特征/Covert Profile)：
同构流水线（例如 GPT-4o 和 Llama-3.3-70B）表现出 ASR $\approx 0$ 但 Stealth = 1.00。虽然批判器报告“对齐”，但攻击静默地重构了计划（StepShift > 0）。
- 验证： 独立异构裁判确认，对于这些被标记为“对齐”的回合，其语义偏差为 −0.20 至 −0.32（Pearson $r = 0.943$ ）。
- 启示： 没有底层多样性的冗余无法提供安全性；批判器继承了规划器的偏差。
推理增强的抵抗力：
DeepSeek-R1 展示了抵抗型特征 (Resistant Profile)，在所有攻击中均实现了 ASR = 0.00 和 StepShift = 0.00。其思维链（CoT）推理似乎迫使模型针对原始目标证明每个规划决策的正当性，从而自然地过滤了注入内容。

提出的防御措施

论文提出了两种防御措施来应对这些漏洞：

D1 (GoalAnchorCheck/目标锚点检查)： 使用关键词锚定技术逐一验证每个子任务是否符合原始目标。该方法对显式目标替换有效，但由于存在共享底层模型的偏差，在面对盲点模型时会失效。
D2 (CrossAgentConsensus/跨智能体共识)： 将受攻击的计划与异构参考规划器（具有不同底层模型 $\theta' \neq \theta$ 的模型）进行比较。这打破了相关性失效模式，在同类底层模型完全失效的盲点模型上，实现了高达 1.00 的检测率 (DR)。

结合使用 D1 和 D2，在 16 个实验单元中的 15 个里都优于同类底层模型的基准线。

意义与主张

本文主张，异构模型多样性是多智能体系统的安全前提，而非仅仅是性能优化。其核心贡献在于：

规划阶段攻击的形式化： 确立了单次注入可通过级联放大破坏整个流水线的现象，这是一种不同于工具调用注入的威胁向量。
发现相关智能体盲点： 证明了同构流水线在结构上无法针对规划阶段的注入进行自我审计，因为攻击者和防御者共享相同的表示偏差。
实证证据： 通过大规模数据表明，能力并不等同于安全性，且具备推理能力的模型提供了内在的抵抗力。
防御策略： 证明通过异构共识打破相关性是检测这些“隐形结构性破坏”的唯一有效方法。

作者得出结论，目前在 AutoGen 和 CrewAI 等框架中依赖同构底层模型的做法，造成了系统性的安全风险，这种风险无法通过输出层面的过滤器或同模型自我批判来缓解。