🤖 machine learning

Byzantine-Robust Aggregation for Securing Decentralized Federated Learning

本文提出了 WFAgg，一种新型的拜占庭容错聚合算法，它通过采用多种过滤器来减轻动态拓扑结构中的攻击，从而增强了去中心化联邦学习的安全性和收敛性，其性能优于现有的中心化鲁棒方案。

原作者： Diego Cajaraville-Aboy, Ana Fernández-Vilas, Rebeca P. Díaz-Redondo, Manuel Fernández-Veiga

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Diego Cajaraville-Aboy, Ana Fernández-Vilas, Rebeca P. Díaz-Redondo, Manuel Fernández-Veiga

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：没有老板的学习

想象一群学生正在尝试学习如何解开一个复杂的拼图。

传统学习（中心化）： 通常，所有的学生都会把自己的拼图碎片发送给房间中间的一位“老师”。老师观察所有的碎片，弄清楚图像的轮廓，然后告诉每个人最终的图像是什么样子的。
问题所在： 如果老师受到攻击、生病了，或者被骗子蒙蔽了，整个班级就会失败。此外，把所有这些碎片发送到一个地方既慢又存在隐私风险。
新想法（去中心化联邦学习）： 不再需要老师，学生们围坐成一个圆圈。他们只与坐在自己身边的人交流。他们分享拼图碎片，就图像达成共识，然后继续前进。这里没有老板。这种方式更快、更安全，因为即使有一个学生离开了，其他人仍可以继续进行。

然而，这里有一个陷阱： 在一个没有老板的圆圈中，很容易混入一个“捣蛋鬼”（拜占庭节点）。这个捣蛋鬼可能会分发虚假的拼图碎片，或者告诉大家图像是倒过来的，从而破坏所有人的学习过程。

解决方案：“WFAgg”安保团队

本文的作者创建了一个名为 WFAgg（加权过滤聚合）的新型安全系统，旨在保护这些学生圆圈免受捣蛋鬼的侵害。

把 WFAgg 想象成每个学生课桌门口的三重检查保安。在学生接受邻居传来的拼图碎片之前，他们会通过三项不同的测试（过滤器）来判断它是真实的还是虚假的。

三个过滤器（安全检查）

“距离”检查 (WAFgg-D)：
- 类比： 想象小组中间有一个“标准”拼图碎片。保安测量新碎片与该标准之间的距离。如果一块碎片飘到了离群体好几英里远的地方，那它很可能是假的。
- 作用： 它利用数学方法测量新模型与群体平均值之间的物理距离。如果距离太远，它就会被拒绝。
“方向”检查 (WFAgg-C)：
- 类比： 想象每个人都正指着正确的答案。如果一个新人到来时，手指指向的正相反的方向，那么他很可能是一个捣蛋鬼。
- 作用： 它检查新模型所指的方向是否与群体一致。即使数值很接近，如果“想法”是反向的，它也会被标记。
“历史”检查 (WFAgg-T)：
- 类比： 保安会查看学生的过往行为。“嘿，你通常发送的碎片长这样。怎么今天突然发送了完全不同的东西？这很可疑。”
- 作用： 它观察一个学生的模型随时间的变化方式。如果一个学生的数据突然发生了巨大的、奇怪的跳跃，保安就会怀疑受到了攻击。

最终决策：“投票系统”

这是聪明之处。论文指出，仅靠一种安全检查是不够的。一个聪明的捣蛋鬼可能会设法骗过“距离”检查，但无法骗过“方向”检查。

因此，WFAgg 使用了一个投票系统：

如果一个拼图碎片通过了所有三项检查，它会获得巨大的选票（高权重）。
如果它通过了两项，它会获得中等选票。
如果它只通过了一项，它将获得零票并被忽略。

这确保了捣蛋鬼必须完美地骗过三种不同类型的保安才能成功，而这非常困难。

他们发现了什么？

作者在计算机模拟中使用了一个著名的图像数据集（MNIST，类似于数字手写数字的电子表格）测试了这个系统。他们将这个新系统与旧的、著名的安全方法（如 “Krum” 或 “Clustering”）进行了对比，并在两种场景下进行了测试：一种有中央老师，另一种没有。

结果显示：

旧方法表现挣扎： 那些为“老师”场景设计的传统安全方法，在没有老板的情况下往往会失效。它们会让假碎片混入其中，或者被噪声搞糊涂。
WFAgg 获胜： 这个全新的三重检查系统保持了学习的准确性和快速性，即使在有捣蛋鬼试图破坏过程的情况下也是如此。
一致性： 学生们不仅学会了正确的答案，而且很快就对答案达成了一致。在旧的方法中，学生们往往会得到不同的、混乱的图像。

核心结论

本文声称，通过结合三种不同的安全过滤器和一个智能的投票系统，你可以让去中心化学习（没有老板的学习）变得更加安全和可靠。它证明了你不需要一个中央权威来阻止黑客；你只需要一种智能的、多层级的机制，让邻居之间能够互相检查彼此的工作。

技术摘要：用于保障去中心化联邦学习安全的拜占庭鲁棒聚合

问题陈述

去中心化联邦学习（Decentralized Federated Learning, DFL）通过消除中央服务器扩展了联邦学习（Federated Learning, FL）的范式，通过避免单点故障来增强可扩展性、容错性和隐私性。然而，这种去中心化引入了显著的安全漏洞，特别是拜占庭故障（Byzantine failures），即恶意客户端（拜占庭节点）试图通过发送任意或中毒的模型更新来破坏学习过程。

虽然在中心化联邦学习（Centralized FL, CFL）中存在许多拜占里的鲁棒聚合算法，但论文指出，大多数算法是为中心化场景设计的，可能无法在去中心化环境中同样高效。在 DFL 中，缺乏中央协调器使得实现统一的安全算法变得复杂，且去中心化拓扑的动态特性结合异构的节点能力，创造了独特的挑战。现有文献缺乏专门为 DFL 设计的、能够同时兼顾空间和时变统计特性的拜占庭鲁棒聚合算法。

方法论

作者提出了 WFAgg，一种专为 DFL 环境设计的创新拜占庭鲁棒聚合算法。该方法的核心在于每个节点根据接收到的邻居模型，执行多阶段过滤和加权聚合过程。

1. 系统配置：
系统被建模为一个跨设备场景，其中 $N$ 个客户端通过一个无向图 $G$ 进行协作。客户端通过受 Gossip 启发的协议进行通信，将训练好的模型转发给所有邻居。目标是在没有中央服务器的情况下，最小化整个网络的经验损失函数。

2. WFAgg 算法：
WFAgg 采用三层过滤器方法，在聚合之前识别并缓解恶意模型。只有通过这些过滤器特定标准的模型才会被视为“良性”模型。这些过滤器按顺序运行：

WFAgg-D（基于距离）： 计算每个接收到的模型与接收模型中位数的欧几里得距离。它选择距离最小的 $K-f-1$ 个模型，其中 $K$ 是接收到的模型数量， $f$ 是估计的恶意节点数量。
WFAgg-C（基于相似度）： 计算接收到的模型与中值模型的余弦距离。它还采用了基于中值幅度的幅度裁剪（magnitude clipping）。它选择余弦距离最小的 $K-f-1$ 个模型，从而有效地过滤掉在方向上显著偏离的模型。
WFAgg-T（基于时间）： 分析模型更新的时间演化。它将当前邻居的更新与其过去一段时间窗口内的更新进行比较（使用欧几里得距离和余弦相似度）。它利用指数加权移动平均（EWMA）来建立均值和标准差的阈值。落在这些阈值之外的更新会被标记为异常且可能具有恶意。

3. 加权聚合 (WFAgg-E)：
一旦过滤器识别出良性模型子集（ $T_1, T_2, T_3$ ），算法会根据模型通过了多少个过滤器来为其分配权重。

被三个过滤器同时识别为良性的模型获得最高权重 ( $\tau_1 + \tau_2 + \tau_3$ )。
仅被一个过滤器识别为良性的模型被分配为零权重（拒绝）。
被两个过滤器识别为良性的模型获得部分权重。
最终的聚合使用逐坐标加权平均（类似于 FedAvg，但对本地模型和邻居模型采用差异化权重），并由平滑因子 $\alpha$ 控制。

核心贡献

论文概述了四个主要贡献：

新颖算法设计： 开发了 WFAgg，这是一种专门用于 DFL 的拜占庭鲁棒聚合算法，它整合了空间（距离/相似度）和时间过滤技术。
对比评估： 对现有的最先进（SOTA）中心化拜占庭鲁棒算法（Mean, Median, Trimmed-Mean, Krum, Multi-Krum, Clustering）在应用于去中心化设置时的表现进行了系统评估，强调了它们的局限性。
实证验证： 在各种拜占庭攻击场景（噪声、符号翻转、标签翻转、ALIE、IPM）下的 IID 图像分类任务（MNIST）上进行了广泛实验，证明了 WFAgg 在去中心化环境中优于中心化方案。
仿真框架： 实现了一个基于 Python 的 DFL 模拟器来开展这些实验，支持中心化和去中心化拓扑。

结果

实验在 20 个节点（10% 恶意）的 8-正则图拓扑网络上进行。结果表明：

对抗攻击的鲁棒性： WFAgg 成功缓解了所有测试的攻击（包括噪声、符号翻转、标签翻转、ALIE 和内积操纵变体），无论是在中心化还是去中心化场景下。
与 SOTA 的比较：
- 标准中心化算法如 Mean 和 Trimmed-Mean 在去中心化设置下的噪声和 IPM-100 攻击下无法收敛或遭受显著的准确率下降。
- 基于距离的算法（Krum, Multi-Krum）在去中心化场景下的 IPM-0.5 攻击中表现挣扎，因为它们无法区分细微的方向变化。
- 基于聚类的算法在去中心化设置下的噪声攻击中失败。
- WFAgg 在各种场景下保持了高准确率（例如，在不同场景下约为 95-98%），并且与测试的去中心化设置中的 SOTA 算法相比，实现了更快的收敛。
模型一致性： 使用 $R^2$ 指标来衡量良性节点间局部模型的相似性，WFAgg 展示了比 Krum 和 Clustering 等基于过滤的 SOTA 算法更优的收敛一致性，后者由于节点选择了不同的模型子集而显示出较低的 $R^2$ 值。
单个节点性能： 单个节点准确率演化的分析显示，即使在被恶意邻居包围的情况下，良性节点也能在几轮内收敛到高准确率，而恶意节点则被其加权机制有效隔离。

重要性与主张

论文声称 WFAgg 代表了文献中的一种新颖方法，因为它是第一个通过考虑空间和时变统计特性来明确解决去中心化场景中拜占庭鲁棒性的算法。作者断言，他们整合的多种轻量级过滤器使系统能够适应去中心化物联网环境的动态性和对抗性。

研究结论认为，虽然现有的中心化鲁棒聚合方案提供了一些保护，但对于 DFL 特有的挑战而言是不够的。所提出的 WFAgg 算法提供了一种更高效且更鲁棒的替代方案，即使在存在多样化的拜占庭攻击时也能确保模型的准确性和收敛性。作者建议，未来的工作应侧于优化通信网络（例如，使用软件定义网络），以进一步降低这些去中心化学习过程中的开销和延迟。