🤖 AI

Defending LLM-based Multi-Agent Systems Against Cooperative Attacks with Sentence-Level Rectification

本文通过提出一种自适应协同攻击框架并引入句子级可信度分析与修正（STAR）防御机制，解决了基于大语言模型的多智能体系统易受协同恶意行为影响的问题，该机制能有效识别并纠正误导性信息，从而显著恢复任务成功率。

原作者： Yaoyang Luo, Zhi Zheng, Ziwei Zhao, Tong Xu, Zhao Jielun, Wenjun Xue, Yong Chen, Enhong Chen

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Yaoyang Luo, Zhi Zheng, Ziwei Zhao, Tong Xu, Zhao Jielun, Wenjun Xue, Yong Chen, Enhong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一支由智能机器人（或“智能体”）组成的团队，它们协同工作以解决难题，例如回答一个棘手的问题。它们彼此交流、分享想法，并对最终答案进行投票。通常，它们运作良好。但如果其中一些机器人实际上是间谍呢？

本文主要探讨两件事：

一种更隐蔽的间谍欺骗团队的新方法。
一种用于识破间谍并纠正其谎言的新型“真相检测器”。

以下是用通俗语言进行的分解说明：

1. 问题：间谍协同作案

过去，研究人员主要考虑间谍单独行动的情况。想象一下，一群朋友中有一个间谍在悄悄散布谎言：“埃菲尔铁塔在罗马。”其他朋友可能会因为听起来荒谬而忽略它。

但本文发现了一个更可怕的现象：协同攻击。
想象这些间谍在一个秘密聊天群里。

间谍 A 说：“埃菲尔铁塔在罗马。”
间谍 B（也是间谍）回复：“是的，我同意！罗马因这个而闻名。”
间谍 C 补充道：“其实，我读过一本书，上面也说是罗马。”

现在，诚实的朋友们听到的不再是一个谎言，而是一阵一致的附和。间谍们实时调整他们的说辞，使谎言听起来像确凿的事实。研究发现，当间谍像这样协同工作时，他们破坏团队解决问题能力的速度，远快于他们单独行动时。

2. 解决方案：“句子级真相扫描器”（STAR）

作者构建了一个名为 STAR（句子级可信度分析与修正）的防御系统。你可以把它想象成一位超级聪明的编辑，它会阅读团队写下的每一句话，而不仅仅是整个段落。

以下是 STAR 的工作原理，分步说明：

步骤 1：显微镜（句子级分解）
STAR 不是查看整个段落并说“这看起来很可疑”，而是将文本分解为单个句子。
- 类比： 想象一位老师批改学生的作文。老师不是给整篇文章打一个“及格”分，而是精确地标记出哪些句子是错误的。
步骤 2：事实核查（验证）
对于每一句话，STAR 会询问一个强大的人工智能：“这是真的吗？你有多确定？”
- 如果句子是真的，它会获得一个绿色对勾。
- 如果句子是谎言，它会获得一个红色警示标志和一个置信度分数（例如：“我有 90% 的把握这是谎言”）。
步骤 3：“编辑”按钮（针对性修正）
这是巧妙之处。如果间谍说：“悉尼是澳大利亚的首都，因为它很富有”，STAR 不会直接删除整句话。它只修正谎言部分。
- 原始谎言： “悉尼是首都……因为它很富有。”
- STAR 的修正： “悉尼是经济中心……但它不是首都。”
- 类比： 这就像拼写检查器，它不只是删除一个词，而是将错误的词替换为正确的词，同时保持句子的其余部分完整。这阻止了谎言的传播，但保留了有用的信息。
步骤 4：投票（稳健的决策聚合）
最后，当团队对答案进行投票时，STAR 会说：“我们知道谁是说谎者。让我们不计入他们的投票。”它将可疑的智能体从最终决策中剔除，确保由诚实的智能体决定结果。

3. 结果展示

研究人员使用不同的 AI 模型，针对不同类型的问题（如常识、逻辑谜题和日常常识）测试了该方法。

攻击方面： 当间谍协同工作（协同攻击）时，团队的成功率显著下降。团队变得困惑，给出错误答案的频率大大增加。
防御方面： 当他们启用 STAR 时：
- 它非常有效地识破了谎言（识别间谍的准确率超过 70%）。
- 它修复了团队的表现，将团队的成功率平均提高了 36%。
- 它的效果优于其他现有的安全方法。

4. 成本

本文还考察了这需要多少“计算能力”（或资金）。

其他一些安全方法非常昂贵（例如，雇佣一支庞大的额外机器人军队来监视团队）。
STAR 比什么都不做要稍微贵一些，但与其他重型安全系统相比，它更便宜、更高效。这是一个“物有所值”的解决方案。

总结

本文警告我们，如果 AI 团队中的恶意行为者协调他们的谎言，他们很容易欺骗整个群体。但是，作者创建了 STAR，这是一个像细致编辑一样的工具。它阅读每一句话，修正特定的谎言，在最终投票时忽略说谎者，并帮助诚实的团队重新获得正确的答案。

注意： 本文明确指出，这些实验是在受控环境中进行的，旨在研究安全风险。他们并未在现实世界的公共系统或临床应用中测试此方法，并主张“协同攻击”方法仅应用于研究，以构建更好的防御措施。

技术摘要：通过句子级修正防御基于大语言模型的多智能体系统免受协同攻击

1. 问题陈述

基于大语言模型（LLM）的多智能体系统（MAS）已成为协作决策和复杂问题解决的强大工具。然而，其对频繁的智能体间通信的依赖引入了显著的安全漏洞。虽然 prior 研究主要集中于独立对抗行为（即恶意智能体孤立行动）或预定义的协调模式，但在理解和防御自适应协同攻击方面存在关键空白。

在此类场景中，恶意智能体通过多轮交互自主协调，交换内部信息以动态调整其策略。这种协作使它们能够编造语义连贯但事实错误的虚假信息，并对其进行反复强化，从而导致比独立攻击更严重的系统性能下降。现有的防御机制通常在智能体层面运行，难以识别局部虚假信息或明确修正错误内容，导致可解释性有限。

2. 方法论

本文提出了一种双管齐下的方法：一种新颖的协同攻击方法用于模拟强大威胁，以及STAR（句子级可信度分析与修正）框架用于防御此类威胁。

2.1 自适应协同攻击方法

为了模拟更强大的威胁，作者引入了一种攻击框架，其中由对手控制的多个恶意智能体（ $C \subset A$ ）进行动态协调。该方法依赖两种机制：

盟友情境感知：恶意智能体维护一个包含其恶意盟友历史回复的情境（ $H_C$ ）。这使它们能够评估集体攻击态势。
协同响应构建：基于 LLM 的裁判（ $J$ $J$ ）评估盟友情境的说服力。基于此判断，智能体动态选择以下两种策略之一：
- 强化：如果盟友情境较强，智能体明确支持盟友论点，以编造虚假共识。
- 创新：如果盟友情境较弱，智能体从新颖角度引入新的、稳健的视角来说服良性智能体。

2.2 STAR 防御框架

STAR 是一种无需训练、即插即用的防御框架，旨在逐句审查智能体通信。它通过四个阶段运行：

句子级分解与验证：
- 将智能体回复分解为一系列句子。
- 基于 LLM 的验证器（ $V$ ）同时处理所有句子，执行事实评估（确定准确性及置信度分数 $\rho$ ）和错误修正（为错误生成具体的修正内容 $e$ ）。
基于累积置信度的怀疑建模：
- 通过累积被识别为事实错误的句子的置信度分数，计算每个智能体的怀疑分数（ $\Omega$ ）。
- 这使得能够识别那些看似大部分正确但包含细微、关键伪造内容的智能体。
针对性修正：
- 超过检测阈值（ $\tau$ ）的智能体被标记为可疑。
- 修正模块（ $R$ ）将步骤 1 中生成的具体错误修正整合到原始文本中。这不仅中和了威胁，还向系统警报了特定的虚假信息模式，同时保留了同一回复中事实正确的信息。
稳健决策聚合：
- 最终答案通过多数投票确定，但已识别的恶意智能体被明确排除在投票池之外，以防止结果偏差。

3. 主要贡献

协同攻击方法：引入了一种自适应攻击框架，其中恶意智能体通过盟友感知交互动态协调策略，证明了其比独立或静态共谋攻击具有显著更高的破坏能力。
句子级防御框架（STAR）：一种新颖的无需训练防御机制，执行细粒度的句子级分析，以明确定位、修正和缓解虚假信息，与智能体级过滤相比提供了更高的可解释性。
广泛的实证评估：在多样化数据集（MMLU、CSQA、LogiQA）和 LLM 骨干网络（Qwen-Plus、GPT-3.5-Turbo、GPT-5-Nano）上进行了综合实验，验证了协同攻击的严重性及 STAR 的有效性。

4. 实验结果

作者在每个数据集上对 400 个实例进行了实验，使用 5 智能体 MAS（3 个良性，2 个恶意）。

协同攻击的影响：与独立攻击相比，协同攻击导致任务成功率（TSR）显著下降。在所有设置中，协同攻击导致 TSR 相对下降5.34%，攻击成功率（ASR）相对上升。在 MMLU 数据集上，与独立基线相比，协同攻击使平均 TSR 降低了 6.17%，ASR 增加了 7.00%。
STAR 的有效性：
- STAR 有效缓解了协同和独立威胁，与无防御基线相比，平均 TSR 提高了36.76%。
- 它将平均 ASR 降低了45.17%。
- STAR 在大多数配置下优于基线防御（G-Safeguard、BlindGuard、ARGUS、Challenger&Inspector）。
- 恶意智能体的检测准确率在所有数据集和模型中始终超过70%。
消融研究：移除针对性修正模块导致了最显著的性能下降，突显了句子级修正的重要性。移除稳健决策聚合也导致了明显的下降，证实了将恶意智能体排除在最终投票之外的价值。
成本分析：虽然 STAR 的 Token 成本（相对于无防御为 2.03 倍）高于 C&I 等较轻量方法（1.40 倍），但它仍显著优于 ARGUS 等基于复杂推理的防御（7.66 倍）。

5. 意义与主张

本文主张，所提出的协同攻击方法揭示了 MAS 中一个关键且此前未被充分探索的漏洞：恶意智能体能够自适应地协调并强化虚假信息，与孤立攻击相比构成了显著放大的威胁。

因此，STAR 框架被呈现为 MAS 安全领域的重大进步。通过将防御范式从粗粒度的智能体级过滤转变为细粒度的句子级分析与修正，STAR 提供了：

增强的鲁棒性：有效缓解独立和协调自适应攻击。
可解释性：能够 pinpoint 具体的错误主张并提供修正，而不是简单地丢弃整个智能体回复。
实用性：一种无需训练、即插即用的解决方案，在防御效力与计算成本之间取得平衡。

作者得出结论，他们的工作推进了对协作式 LLM 系统安全风险的理解，并催化了更严格防御机制的开发。他们承认在现实应用范围以及 LLM 在验证 falsehoods 时固有的置信度校准问题方面存在局限性，建议未来工作纳入外部知识以进行检测。