🔢 mathematics

Securing Multi-Agent Systems Against Corruptions via Node Contribution Backpropagation

本文提出了一种名为节点贡献反向传播的动态防御范式，该范式将多智能体系统通信建模为有符号有向无环图，通过反向传播计算单个智能体的贡献，从而实现对恶意智能体的精准识别与隔离，以保障协作任务免受对抗性破坏。

原作者： Chengcan Wu, Zhixin Zhang, Mingqian Xu, Zeming Wei, Meng Sun

发布于 2026-05-27

📖 1 分钟阅读🧠 深度阅读

原作者： Chengcan Wu, Zhixin Zhang, Mingqian Xu, Zeming Wei, Meng Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

问题：群聊中的“害群之马”

想象一支由专家 AI 助手组成的团队，共同解决一个难题，就像一群侦探试图侦破一起案件。这被称为多智能体系统（MAS）。它们彼此交流、分享线索，并对最终答案进行投票。

问题在于，其中一名侦探可能是一个“恶意行为者”（恶意智能体）。它不提供帮助，反而向其他人耳语虚假信息。由于团队互相信任，谎言像病毒一样传播。一名侦探相信了谎言，告诉另一名侦探，很快整个团队都被说服接受了错误的结论。这被称为腐败攻击。

现有的防御措施就像只检查人们说话内容的保安。如果恶意行为者说了听起来合理但实际上是谎言的话，保安就会漏掉它。其他防御措施虽然关注团队结构，但假设团队永远不会改变成员或角色，而这在现实世界中并不成立。

解决方案：“反向计分卡”方法

作者提出了一种名为**BPD（反向传播检测）*的新方法。把它想象成一名聪明的侦探，它不仅仅听人们说了什么，而是追踪每一个词对最终裁决的影响*，一直回溯到源头。

以下是其工作原理，分步说明：

1. 绘制地图（有向无环图 DAG）

首先，系统绘制一张对话地图。想象一条时间线，每当一个智能体发言，就像火车线路上的一个新站点。

节点：站点（特定时间点的智能体）。
边：连接它们的轨道（谁对谁说了话）。
标志：每条轨道都有一个标志：如果倾听者表示同意，则为绿色（+1）；如果不同意，则为红色（-1）；如果忽略，则为灰色（0）。

这就形成了一个“有符号有向无环图”（一种带有彩色轨道的单向地图的通俗说法）。

2. “反向传播”（追踪涟漪）

通常，我们向前思考：“我说了 X，所以你说了 Y。”
BPD 则向后工作。它从团队最终决定的答案开始，一直回溯。

问题：“究竟是谁推动我们走向了这一最终答案？”
数学计算：系统运行一种计算（类似于谷歌 PageRank 对网站排名的方式），从最终答案反向回溯到开始。
逻辑：
- 如果最终答案是正确的，那些赞同正确路径的智能体将获得高分。
- 如果某个智能体推动团队走向错误答案，它将获得低分（或负分）。
- 关键在于，如果恶意行为者欺骗了一名良性智能体，该恶意行为者的“影响力分数”会沿着链条传递。系统会精确计算出每个智能体对最终结果应得多少功劳或责任。

3. 发现异常值

一旦每个人都有了分数，系统就会寻找那些格格不入的个体。

想象一个班级，每个人的分数都是 80 分，唯独一个学生得了 -50 分。那个学生很可能就是捣乱者。
BPD 会标记那些分数与群体平均值严重偏离的智能体。这些就是恶意智能体。

4. “手术”（修复图结构）

一旦识别出恶意智能体，系统就会进行“手术”。它切断来自该恶意智能体的通信线路。这相当于说：“忽略这个人说的一切。”然后，团队在没有该不良影响的情况下重新运行对话，以获取正确答案。

为何这更好（结果）

该论文针对各种“攻击”测试了这种方法，在这些攻击中，恶意行为者试图以不同方式欺骗团队：

“微妙的谎言”：仅改变几个词，使错误答案看起来正确。
“安全陷阱”：假装正常问题很危险，以阻止团队回答。
“移动目标”：在对话中途改变团队结构或恶意行为者的身份。

发现结果：

准确性：BPD 在90% 以上的情况下成功识别出恶意智能体，击败了所有其他现有方法。
韧性：即使团队结构发生变化（动态图），BPD 也能完美运行，而其他方法则失效。
速度：该方法非常快。它仅增加约**10%**的对话时间，为了安全付出这一小点代价是值得的。
无需训练：与其他需要“学习”恶意智能体长什么样（这需要时间和数据）的方法不同，BPD 只需观察对话流程即可当场做出判断。

总结类比

想象一群朋友正在决定去哪里吃晚饭。

旧防御：一位朋友检查每个人的菜单选择是否看起来“安全”。一个狡猾的朋友可能会建议一家看起来很安全但实际很糟糕的餐厅，于是大家就去了那里。
BPD：一位朋友查看最终决定（“我们要去披萨店”）。他们回溯追踪：“谁提议了披萨？谁同意了？谁反对了？”他们意识到，尽管其他人都说讨厌披萨，但有一位朋友一直在极力推动披萨，而且该朋友的建议导致了糟糕的结果。于是，团队在下次决策时忽略该朋友的建议。

这篇论文证明，通过数学化地追踪谁影响了最终决策，我们可以识别并清除 AI 团队中的“害群之马”，从而保持整个系统的安全和准确。

技术摘要：通过节点贡献反向传播保障多智能体系统免受腐蚀攻击

问题陈述

利用大语言模型（LLM）的多智能体系统（MAS）已成为软件工程和市场分析等复杂任务的普遍范式。然而，MAS 的结构复杂性引入了区别于单智能体攻击的独特安全漏洞。具体而言，MAS 容易受到腐蚀攻击，即对抗性智能体注入误导性信息，并在系统中以传染方式传播。与针对单个 LLM 的攻击不同，这些攻击利用了 MAS 的协作特性，导致级联故障，使得良性智能体被单个受损节点的恶意影响所腐蚀。

现有的防御机制面临显著局限：

基于输出的防御（例如多轮辩论、输出相似性检查）容易受到细微文本扰动的影响，如果攻击者针对评估器，则可能被绕过。
基于图的防御通常依赖静态拓扑或局部信号（例如在局部状态上训练分类器）。这些方法无法捕捉受损信息向最终决策的全局传播，也无法适应动态环境或不断演变的攻击策略。

方法论：反向传播检测（BPD）

作者提出了反向传播检测（BPD），这是一种动态防御范式，将 MAS 通信建模为有符号有向无环图（Signed DAG），以全局分析智能体影响力。该方法包含四个关键阶段：

1. 图重构（有符号 DAG）

MAS 交互被建模为时间有向无环图，其中：

节点代表特定通信轮次中的智能体（ $A_t^{(i)}$ ）。
边代表智能体之间发送的消息。
边权重是有符号分数（ $g_{ij} \in \{-1, 0, 1\}$ ），由外部独立的 LLM 评估器确定。这些分数表示接收者是同意（$1 $）、不同意（$ -1 $）还是认为发送者的消息贡献较低（$ 0$）。

2. 有符号影响算子

定义了一个有符号传播算子 $B = D^{-1}G$ ，其中 $G$ 是有符号边权重矩阵， $D$ 是出度对角矩阵。该算子量化了一个智能体对另一个智能体的有符号影响，并按接收者的出度进行归一化。

3. 反向分数传播

核心创新是一种反向传播机制，用于计算每个智能体对最终决策的贡献：

初始化：如果智能体的输出与最终决策匹配，终端层（最终答案）初始化为 $+1$ ，否则为 $-1$。
传播：分数利用 DAG 的链式结构，从最终轮次（ $T$ ）反向传播至初始轮次（$1 $）。节点$ i $的贡献分数$ S(C_i)$ 是其后续节点分数的加权和。
机制：该过程在单次高效传递中聚合了局部一致性和下游影响，类似于 DAG 上的有符号、分层 PageRank。

4. 异常检测与缓解

聚合：将每个智能体的贡献分数在所有轮次中取平均值。
检测：贡献分数与大多数显著偏离的智能体（通过成对偏差 $\Delta(i)$ 衡量，超过阈值 $\epsilon$ ）被标记为恶意。
修复：通过修剪（移除）所有从检测到的恶意智能体发出的通信边来修复系统，从而有效隔离腐蚀源。

主要贡献

有符号 DAG 公式化：本文提出了一种原则性的 MAS 通信全局建模方法，将其构建为有符号 DAG，解决了现有防御仅依赖局部信号的局限性。
反向传播方法：提出了一种新颖算法，通过从最终决策反向追踪有符号累积影响来可靠地评估智能体贡献，从而无需离线训练即可识别潜在的恶意智能体。
实证验证：综合实验表明，BPD 在多种 MAS 架构（扁平化和分层）、骨干模型（GPT-4o、DeepSeek-V3）和攻击类型上均优于现有基线（例如 G-Safeguard、AgentXposed）。

实验结果

作者在知识问答（MMLU）和开放式生成任务（Alpaca、Samsum、ChatDoctor）上评估了 BPD，测试了五种代表性腐蚀攻击（有害、次优、重构、触发、修改）。

准确率提升：与最强基线相比，BPD 在各基准测试中将任务准确率提高了3% 至 7%。在扁平化和分层结构中，受攻击时准确率分别提高了10%和8%。
检测性能：BPD 对恶意智能体的平均检测准确率超过90%，显著优于基线。值得注意的是，在“修改”攻击（细微语义变化）上，BPD 比基线取得了**16%和10%**的增益，而基线难以检测这些隐蔽的扰动。
动态适应性：在图结构和攻击者身份随时间变化的动态场景中，竞争防御的平均性能下降了3%，而 BPD 保持了其性能，证实了其适应性。
效率：与标准 MAS 相比，该方法仅增加了不到**10%**的时间开销（约 9-10.6%），因为它依赖于轻量级外部评分，而非迭代收敛或重新训练。
鲁棒性：BPD 对系统感知（SA）自适应攻击（即攻击者了解防御机制）保持了鲁棒性，平均准确率维持在 83% 至 85% 之间。

意义与主张

本文主张，BPD 通过将防御范式从静态、局部分析转变为动态、全局推理，为可信 MAS 部署提供了有效的“护栏”。

适应性：与静态防御不同，BPD 在拓扑变化时无需重新训练，因此适用于不断演变的 MAS 环境。
可解释性：有符号传播算子提供了一种透明的机制来追踪影响，直接反映了智能体对最终决策的累积影响。
实用性：该方法以最小的计算成本实现了高安全性，使其适用于现实世界的部署。

作者得出结论，结构和动态分析对于保障协作 AI 系统的安全性至关重要，他们的方法为更稳健的、拓扑感知的保护策略铺平了道路。未来的工作建议探索自适应阈值机制以及在更大规模部署中的实时检测。