🤖 machine learning

Model-Consistent Byzantine-Resilient Decentralized Federated Learning for Collaborative Missions

本文介绍了 DFL-C，这是一种新型的具有拜占庭容错能力的去中心化联邦学习架构，通过集成异步公共子集共识协议与双域信任评分机制，确保了全局模型的一致性以及针对投毒攻击的鲁棒性。

原作者： Yue Li, Sudip Bhujel, Cameron Lira, Ning Wang, Yang Xiao

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yue Li, Sudip Bhujel, Cameron Lira, Ning Wang, Yang Xiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群自主机器人、无人机或传感器在偏远、危险或隔离的环境中协同工作。它们需要学习一项共享技能，例如识别某种特定的敌人或寻找一条安全路径，但它们无法依赖中央计算机来指示它们该做什么。这就是去中心化学习的世界，即机器直接相互教学。在一个理想的世界里，每台机器都会在同一时间学习到相同的教训，最终拥有完全一致的“大脑”。然而，在无线网络的混乱现实中，消息会被延迟，连接会中断，有时甚至会有机器发生故障，或者表现出恶意，向不同的邻居发送相互矛盾的信息以迷惑群体。当这种情况发生时，机器们会停止对已知信息的共识，它们的集体任务也可能因此失败。

研究人员长期以来一直在寻求一种方法，即使在某些成员不可靠或网络混乱的情况下，也能让这些去中心化群体保持步调一致。一项新研究介绍了一个名为 DFL-C 的系统，旨在解决这个精确的问题。研究人员构建了一种方法，允许一个独立的机器网络训练一个共享的人工智能模型，同时保证每一台诚实的机器最终都拥有该模型的完全相同的版本。至关重要的是，即使在某些机器试图通过向不同的邻居发送不同的谎言来欺骗群体，或者网络运行缓慢且不可预测导致机器完成工作的时间不一致时，该系统依然有效。

研究人员应对的核心挑战是一种被称为“模棱两可”（equivocation）的现象。在标准的去中心化网络中，一台不诚实的机器可以向其左侧的邻居发送一个版本的教训，而向其右侧的邻居发送一个完全不同的版本。由于每台机器只与其直接邻居交流，因此很难检测出该机器是否在撒谎。这会导致群体发生分裂，不同的机器产生不同的认知。为了解决这个问题，团队将一种共识协议（一种正式的协议过程）集成到了学习工作流中。在机器合并其新知识之前，它们会运行一次检查，以确保每个人都对哪些信息片段是有效的达成一致。这个过程过滤掉了来自不诚实机器的冲突信息，确保群体仅以单一、统一的更新集向前推进。

除了就“学习什么”达成一致外，系统还需要决定如何衡量每台机器贡献的可信度。研究人员开发了一种双域评分方法，其作用类似于声誉系统。它监控两件事：一台机器在协议过程中的行为表现，以及它所提供数据的质量。如果一台机器试图进行“模棱两可”的欺骗，系统会立即捕捉到并降低其信任分数。如果一台机器发送的数据看起来异常或不稳定，与群体中的其他数据相比存在偏差，其分数也会下降。这种分数随后决定了该机器的教训在最终模型中所占的权重。通过将这种信任评分与协议过程相结合，系统可以自动忽略不良行为者并专注于可靠的数据，而无需一个中央领导者来做出决策。

团队在涉及多达十三台机器的网络模拟中测试了这种新架构，使用了标准的图像识别任务。他们将该系统与现有的无法保证共享模型的现有方法进行了对比。结果显示，虽然旧的方法在受到攻击时往往会导致不同机器产生不同的模型，但新系统却能让每一台诚实的机器保持完美的同步。在机器被喂入不同类型数据的情景下（这是现实世界部署中的常见问题），新系统的准确度也高于竞争对手。它还证明了对特定类型攻击（如“后门”陷阱，即恶意机器试图强迫群体将特定的触发物——如隐藏贴纸——识别为另一种物体）的抵御能力。系统成功抑制了这些攻击，保持了群体决策的安全性和统一性。

该设计的最实用之处在于它如何处理现实网络中不可避免的延迟。在许多系统中，快速的机器不得不处于闲置状态，等待最慢的机器完成工作，从而浪费时间或电池电量。研究人员增加了一种智能等待策略，允许群体根据多数派的速度来确定一个开始时间，而不是根据最慢的离群值。这意味着更快的机器可以减少等待时间，并将更多精力投入到工作或节省能源中。测试表明，这种方法节省了大量的闲置时间，尤其是在机器速度差异巨大的情况下。虽然协议过程会对每个学习轮次增加少量的时间成本，但研究人员发现，与实际训练模型所需的时间相比，这一成本微乎其微，考虑到它所提供的安全性与一致性，这种权衡是非常值得的。

这项研究表明，建立一个既能抵御恶意行为者，又能实现输出完美一致性的去中心化学习网络是可能的。这对于安全至上的应用领域是一个重大进步，例如搜寻幸存者的无人机集群或在灾区协调工作的自动驾驶车辆。在这些情况下，如果两台机器人对同一个威胁做出不同的判断，可能会导致灾难性的后果。通过确保网络中的每一台机器都能看到相同的现实，研究人员为更可靠、更具协作性的、能够在面对欺骗与混乱时无需中央指令即可运行的人工智能奠定了基础。

技术摘要：面向协作任务的模型一致性、拜占庭容错去中心化联邦学习

1. 问题陈述

去中心化联邦学习（Decentralized Federated Learning, DFL）使自主节点能够在没有中央服务器的情况下协作训练 AI 模型，从而提供了针对单点故障的鲁棒性。然而，现有的点对点 DFL 方案在关键任务场景中存在两个核心缺陷：

缺乏全局模型一致性： 传统的 DFL 依赖于邻居更新的局部聚合。这会导致局部模型在迭代过程中发生分歧，尤其是在拓扑结构上距离较远的节点之间。在协作任务（如联合感知、集群机器人）中，这种分歧会破坏决策的统一性和安全性。
易受拜占庭攻击的影响： 与中心化联邦学习相比，去中心化拓扑使 DFL 更容易受到拜占庭攻击者的攻击。具体而言：
- 等价性攻击（Equivocation）： 恶意节点向不同的对等节点发送相互矛盾的模型更新，造成难以在局部检测到的性能差距。
- 模型投毒攻击（MPAs）： 由于节点仅聚合其部分邻居的更新，攻击者可以轻易地主导受害者的局部邻域，即使攻击者在整个网络中所占比例很小，也能操纵聚合后的模型。
异步挑战： 现实世界的去中心化网络由于波动的通信延迟和异构的训练速度，表现出系统性的异步性。现有解决方案要么假设弱同步（有界延迟），要么无法在完全异步的情况下强制执行模型一致性。

2. 方法论：DFL-C 架构

本文引入了 DFL-C，一种旨在实现全异步环境下全局模型一致性和拜占庭容错的新型架构。该系统以轮次（rounds）为单位运行，节点进行本地训练，然后通过三个核心组件进行同步：

A. 基于信任感知的异步公共子集（T-ACS）共识

为了强制执行全局一致性，DFL-C 将异步公共子集（Asynchronous Common Subset, ACS）共识协议集成到 DFL 工作流中。

机制： 在每一轮中，节点提出其局部模型更新 ( $\delta_i$ )。T-ACS 协议确保所有诚实节点都同意一个公共子集的更新 $\{ \delta_i \}_{i \in CS}$ 。
保证： 假设 $N \ge 3F + 1$ （其中 $N$ 为总节点数， $F$ 为拜占庭节点数），该公共子集保证包含至少 $N-F$ 个更新，且其中大多数源自诚实节点。这使得排除来自等价性攻击节点的冲突更新成为可能。
优化（T-ACS）： 为了降低通常与 ACS 相关的高延迟，DFL-C 利用来自前一轮的**信任分数（Trust Scores）**来优先处理提案。来自高信任节点的更新会被优先处理，从而在不牺牲安全性的前提下加速共识的终止。

B. 双域信任评分（D2TS）

为了缓解自适应拜占庭行为（包括等价性和 MPA），DFL-C 采用了由诚实节点执行的双域信任评分机制。

共识域（Consensus Domain）： 惩罚等价性行为（通过加密签名或纠删码不一致性在 RBC 阶段检测）以及无响应行为。被指控进行等价性攻击的节点得分将被设为 0。
数据域（Data Domain）： 基于以下维度评估模型更新的质量：
- 空间一致性（Spatial Consistency）： 节点的更新在参数空间中与大多数对等节点的接近程度（使用受 Multi-Krum 启发的度量指标）。
- 时间稳定性（Temporal Stability）： 节点更新在连续轮次中的稳定性。
聚合： 最终的信任分数是空间因子和时间因子的加权组合，并随时间进行平滑处理。这些分数决定了公共子集中更新的聚合权重，并为下一轮的 T-ACS 提供优先级列表。

C. 自适应等待策略

为了解决由异构训练速度引起的效率问题，DFL-C 实现了一种自适应等待策略。

机制： 较快的节点估计其训练时间并提出延迟建议。网络在启动下一个共识轮次之前，会根据第 $r$ 小的估计值达成一个共同的起始延迟共识。
收益： 这防止了快速节点在共识期间进行过度的空转，使其能够利用节省的时间进行其他任务或进入节能模式，从而降低累积的网络延迟。

3. 核心贡献

DFL 中的全局模型一致性： DFL-C 是首个将公共子集共识集成到 DFL 中的解决方案，旨在保证所有诚实节点收敛到完全相同的全局模型，解决了点对点聚合固有的分歧问题。
对等价性和 MPA 的抵御能力： 通过结合 ACS 与 D2TS，该系统能有效检测并排除等价性节点，并减轻模型投毒攻击，即使攻击者控制了受害者的局部邻域。
全异步容错： 该架构可以容忍通信和模型更新中的完全异步，这是对于具有间歇性连接的使命关键型网络至关重要的要求。
效率提升： 与基准 ACS 和标准 DFL 方法相比，引入 T-ACS（基于信任的优先级排序）和自适应等待策略显著降低了共识延迟和空闲时间。

4. 实验结果

作者使用 LeNet 和 ResNet 模型，在 Fashion-MNIST 和 CIFAR-10 数据集上，通过 4 到 13 个节点的网络（在 GPU 集群和 Raspberry Pi 4 上模拟）对 DFL-C 进行了评估。

一致性与准确率： DFL-C 在保持与中心化联邦学习基准相当的准确率的同时，实现了全局模型一致性。
与 BALANCE 的对比： 与缺乏一致性保证的先进拜占庭容错 DFL（BALANCE）相比：
- 无目标攻击： 在标签翻转（无目标 MPA）和等价性攻击下，DFL-C 取得了比 BALANCE 更高的准确率。
- 后门攻击： DFL-C 在对抗后门攻击（Badnets）时展现出与 BALANCE 相当的韧性，将攻击成功率压制在接近于零的水平。
- 非 IID 场景： 在非 IID（统计异构）数据分布下，DFL-C 相对于 BALANCE 的准确率优势进一步扩大。BALANCE 因局部模型分歧而遭受准确率扩散，而 DFL-C 则保持了统一的性能。
开销： 虽然 T-ACS 引入了共识开销，但研究发现其运行时相对于本地训练时间而言极小（例如，共识时间为毫秒至秒级，而边缘设备上的训练时间为数小时）。T-ACS 在延迟方面始终优于基准 ACS。

5. 重要性与声明

本文声称 DFL-C 为使命关键型协作 AI 提供了一种必要的范式转变。通过确保所有自主参与者都在完全相同的模型上运行，它消除了集群机器人和联合感知中由于决策分歧带来的安全风险。

作者将 DFL-C 定位为一种平衡了拜占庭容错理论严谨性（通过 ACS）与实际部署所需的操作效率（通过基于信任的优先级排序和自适应等待）的实用解决方案。他们指出，虽然目前的原型由于全对全共识的 $O(N^2)$ 通信复杂度，验证规模限制在小型网络（最多 $N=13$ ），但该架构成功证明了实现一致、具韧性的去中心化学习的可行性。未来的工作确定为扩展共识机制以适应更大规模的网络，并对信任评分参数进行系统的敏感性分析。