Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

技术摘要：野外环境下的联邦学习：针对非独立同分布与不平衡设置下的网络安全对比研究

问题陈述
机器学习（ML）在网络流量分析和入侵检测方面展现出了巨大的潜力。然而，其有效性往往受到需要具有代表性且最新的数据集的限制，而由于隐私法规和数据共享限制，这类数据集难以进行聚合。联邦学习（FL）提供了一种解决方案，它能够在保持敏感数据本地化的同时实现协作模型训练。尽管这一前景广阔，但经典的联邦学习算法——联邦平均（FedAvg），在由非独立同分布（non-i.i.d.）数据和不平衡数据集规模构成的异构环境中，表现出收敛性差和性能低下的问题。这些情况在网络安全领域十分普遍，例如不同的客户端（如网络节点）会遇到截然不同的攻击模式和变化的流量规模。现有文献往往缺乏针对网络入侵检测系统（NIDS）在这些“病态”设置下的替代联邦学习算法的全面评估。

方法论
本研究针对分布式拒绝服务（DDoS）攻击下的网络入侵检测，对七种联邦学习算法进行了系统的对比评估。评估是在一种被描述为“病态”场景的严苛非独立同分布及不平衡设置下进行的。在此设置中：

• 数据分布： 使用了 15 个客户端，每个客户端拥有的数据集包含良性流量和恰好一种特定类型的 DDoS 攻击。
• 不平衡性： 各客户端之间的数据量差异超过四个数量级。虽然单个客户端的本地数据集在良性样本和恶意样本之间是平衡的，但整个联邦在数据集大小和攻击类型表示方面是高度不平衡的。
• 评估算法： 本研究将基准算法 FedAvg 与六种先进方法进行了比较：
  • 通用型： FedProx（正则化）、SCAFFOLD（控制变量）和 FedALA（自适应局部聚合）。
  • 网络安全专用型： DAFL（差异感知）、FedSBS（贪婪客户端选择）和 FLAD（针对 DDoS 的自适应方法）。
• 实验设置： 实验利用了涵盖 15 种不同 DDoS 攻击类型的最新基准数据集（CIC-IDS2017、CIC-IDS2018 和 CIC-DDoS2019）。全局模型是一个使用 Flower 框架在仅 CPU 资源上训练的多层感知器（MLP），以反映轻量化约束。
• 指标： 根据检测准确率（F1 分数）、训练时长、通信开销和客户端选择模式来评估性能。通过使用不同随机种子的十次独立运行来确保结果的可靠性。

核心贡献

1. 适配与综述： 作者回顾并适配了最先进的联邦学习算法，包括那些最初为计算机视觉设计的算法，以满足 NIDS 进行 DDoS 检测的特定需求。
2. 多维度评估： 不同于仅关注最终准确率的研究，本工作提供了涵盖检测性能、模型泛化能力、训练时间和通信开销的全面比较。
3. 病态条件下的分析： 研究调查了在每个客户端观察到独特攻击特征的极端异构情况下的算法行为，强调了各种客户端选择、聚合和局部训练策略的优势与局限性。
4. 可复现性： 提供所评估算法和实验设置（包括数据集配置）的开源实现，以实现可复现性。

结果
对比分析得出了以下几项关键发现：

• 准确率与泛化能力： 大多数算法在跨所有攻击类型进行有效泛化方面都面临困难，特别是对于表示不足或具有独特特征分布的 WebDDoS、LDAP 和 LOIC 攻击。FedAvg、FedProx、SCAFFOLD 和 FedSBS 在这些特定攻击上的 F1 分数通常低于 0.8。FedALA 在基于 TCP 的攻击上表现较差。相比之下，FLAD 展示了卓越的鲁棒性，通过根据客户端性能动态调整训练，在所有攻击类型上均实现了高 F1 分数（均值 0.97）。
• 训练时间与效率：
  • DAFL 的训练时长最长，因为它要求所有 15 个客户端在每一轮中都进行局部训练，这使得过程受限于最慢的客户端。
  • FLAD 通过自适应地选择更少的客户端进行每轮训练，并仅向那些准确率较低的客户端分配更多的训练步骤，从而显著缩短了总训练时间，有效地排除了已经收敛的客户端。
  • 标准方法（FedAvg、FedProx、SCAFFOLD、FedALA）表现出相当的训练时间，其中局部操作约占总时长的 60%。
• 通信开销：
  • FedAvg、FedProx、FedALA 和 FedSBS 保持了与基准算法相似的低通信开销。
  • SCAFFOLD、DAFL 和 FLAD 引入了更高的开销。SCAFFOLD 需要交换控制变量；DAFL 要求所有客户端下载全局模型进行验证；FLAD 则需要传输准确率得分和自适应训练参数。
• 客户端选择： 在非独立同分布条件下，采用知情客户端选择（DAFL、FLAD）或自适应工作负载分布的算法在最终模型准确率方面优于依赖随机选择（FedAvg、FedProx、SCAFFOLD、FedALA）的算法。

意义与主张
本文主张，对于以高度异构和不平衡数据分布为特征的网络安全场景，知情客户端选择和自适应工作负载分布是比单纯修改局部训练或全局聚合更有效的提升检测性能的机制。

作者认为，通过固定概率选择或统一工作量来平等对待所有客户端，无法确保稀有或困难的攻击模式能够对全局模型做出足够的贡献。相反，基于当前对学习过程贡献度的动态优先级的策略（如 FLAD 和 DAFL 所示）允许联邦更有效地利用异构信息。虽然这些自适应方法会带来额外的通信和协调成本，但研究结论认为，对于旨在缓解不断演变的威胁至关重要的网络入侵检测而言，这种权衡倾向于选择自适应性而非严格的通信效率。研究结果表明，未来的网络安全联邦学习方案应优先考虑通过选择和工作负载管理直接解决客户端层面异构性的机制。