💻 computer science

Personalized Federated Intrusion Detection for Non-IID IIoT Traffic via DDPG-Guided Adaptive Aggregation

本文提出了 PAEDDPG，这是一个个性化联邦学习框架，它利用深度确定性策略梯度（Deep Deterministic Policy Gradient）智能体来自适应地聚合模型，并利用客户端特定的自编码器解码器来有效应对非独立同分布（Non-IID）和类别不平衡的工业物联网（IIoT）流量，在保护数据隐私的同时，显著提升了对稀有攻击类别的检测性能。

原作者： Junyi Hou, Wenzhong Yang, Yabo Yin, Shuying Xu

发布于 2026-10-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junyi Hou, Wenzhong Yang, Yabo Yin, Shuying Xu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代工业世界中，工厂和电网正越来越多地由相互通信的智能传感器和机器网络来运行。这种被称为工业物联网（IIoT）的互联系统实现了实时监控和自动化生产，但也为网络攻击打开了大门，这类攻击可能会导致运营中断或损坏昂贵的设备。为了抵御这些威胁，工程师们使用入侵检测系统，其作用类似于扫描网络流量以寻找恶意活动迹象的安全警卫。传统上，这些系统是在一个持有来自每家工厂数据的庞大中央计算机上进行训练的。然而，这种方法引发了严重的隐私担忧，因为企业通常不愿意分享其原始运行数据，而且如果该中央服务器遭到破坏，就会产生单点故障。

为了解决这个问题，研究人员转向了一种称为联邦学习的方法。想象一下，一群学生正在尝试解决一道很难的数学题。他们不需要把所有的笔记本都带给老师并由老师将其全部抄录进一本巨大的书里，而是每个学生都在家里针对自己的那份题目进行练习。他们只将最终答案发送给老师，由老师将其汇总，从而创造出一个更好的解决方案。通过这种方式，学生们可以保护好自己的私人笔记，同时仍能受益于群体的集体智慧。在工业领域，这意味着每家工厂都可以在不泄露其数据具体形态的情况下，利用自身的本地数据训练安全模型。然而，挑战在于每家工厂都是不同的。有的工厂可能主要看到正常的流量以及偶尔出现的黑客尝试，而另一家工厂可能正遭受特定类型病毒的持续攻击。当你试图将这些截然不同的经验融合进一个单一的全局模型时，结果往往无法保护那些最脆弱的站点，尤其是那些面临罕见或异常攻击的站点。

新疆大学的一个研究团队开发了一种名为 PAEDDPG 的新方法来解决这一问题。他们的工作针对的是当不同工厂的数据表现不一致时，标准方法所面临的特定难题。在典型的设置中，中央服务器只是简单地对每家工厂发送的更新进行平均，并假设每家工厂对解决方案的贡献是相等的。研究人员发现，这种“一刀切”式的平均法存在缺陷，因为它会让那些拥有最常见流量模式的工厂淹没掉那些面临罕见攻击的工厂所提供的独特信号。为了应对这一问题，他们创建了一个系统，使中央服务器能够动态地学习如何权衡每家工厂的贡献，而不是使用固定的规则。

他们解决方案的核心涉及两个协同工作的巧妙机制。首先，在本地端，每家工厂都保留了一个永远不会离开其厂区的私有模型组件。虽然模型的主要部分会与中央服务器共享以学习通用模式，但这个私有部分有助于本地模型记住该工厂网络的特定特征。它充当了一个正则化项，确保共享模型在学习过程中不会忘记本地数据的独特特征。这使得工厂能够维持一个高度针对其自身环境定制的个性化检测器，同时保持原始数据和私有模型组件的完全安全。

其次，在中央服务器端，研究人员引入了一个人工智能代理，用于决定对每家工厂更新的信任程度。该代理不再仅仅根据一家工厂拥有多少数据点来进行判断，而是分析该工厂对模型的修改，并将其与其他工厂的修改进行比较。它会寻找一种迹象，即一家工厂是在提供关于罕见攻击的有益知识，还是仅仅在重复已知的内容。该代理通过一个专门针对检测罕见且困难攻击类型的奖励系统进行训练，而非仅仅关注整体准确率。如果一家工厂帮助整个群体更好地识别罕见威胁，代理就会学习在下一轮训练中给予该工厂更多的影响力。这一过程持续进行，使系统能够随着网络条件的变化而进行调整。

研究人员使用两个大型真实工业网络流量数据集对这一新框架进行了测试，其中一个包含超过 50 万个样本，另一个接近 50 万个。他们模拟了一个场景，其中六家不同的工厂拥有截然不同的流量类型，其中一些面临常见的攻击，而另一些则面临极其罕见的攻击。在这些困难条件下，他们的新方法始终优于现有技术。最值得注意的是，在检测最罕见的攻击类型方面，他们的系统比之前的最佳方法提高了约 18 个百分点。例如，在一个数据集中，新系统正确识别了 85.25% 的最罕见攻击，而之前的最佳方法仅能捕捉到 67%。

除了更准确之外，新系统还更加稳定。研究人员观察到，与旧方法相比，他们的方法达到高水平性能的速度更快，且波动更小。这表明该系统不仅是在结果上表现出色，而且确实是在学习一种更好的协作方式。研究还表明，移除私有本地组件或智能服务器代理中的任何一个都会导致性能下降，证明了这两个部分对于系统的有效运作都是必要的。然而，研究人员指出，他们目前的工作假设所有工厂都是参与且诚实的。他们承认，未来的工作需要解决工厂离线或恶意行为者试图欺骗系统的情况。

最终，这项研究为在不牺牲隐私的前提下保障工业网络安全提供了一条充满前景的路径。通过允许工厂保持数据本地化，同时仍能受益于智能且具有适应性的协作，该系统为应对不断演变的网络威胁提供了坚实的防御。研究结果表明，工业安全的未来不在于一个单一、庞大的模型，而在于一个灵活的网络，其中每个参与者的独特经验都会根据其对安全的实际贡献得到重视和权衡。

技术摘要：面向非独立同分布（Non-IID）IIoT 流量的个性化联邦入侵检测（基于 DDPG 指导的自适应聚合）

问题陈述

工业物联网（IIoT）面临着日益严峻的网络威胁，迫切需要鲁棒的入侵检测系统（IDS）。虽然联邦学习（FL）允许分布式客户端在不共享原始流量的情况下进行协作式模型训练，但标准的 FL 方法在应对 IIoT 数据的现实情况时表现乏力：其数据本质上是非独立同分布（Non-IID）且存在类别不平衡问题的。

客户端漂移（Client Drift）： 不同的工业站点观察到的正常行为和攻击暴露各不相同，导致优化方向发生分歧。单一的全局模型往往难以泛化到这些异构分布中。
少数类忽视（Minority Class Neglect）： 标准聚合算法（如 FedAvg）倾向于支持多数类（正常流量）或主导客户端，导致对稀有攻击类别（如中间人攻击、特定恶意软件）的召回率较低。
现有解决方案的局限性： 当前的 FL-IDS 方法依赖于固定的聚合规则或静态的个性化策略（例如固定的层拆分），无法根据每个客户端贡献的经验效用进行动态调整。此外，现有的用于聚合的深度强化学习（DRL）方法通常缺乏与隐私保护局部个性化的集成，或者并非专门针对具有少数类敏感性的 IDS 目标进行调优。

方法论：PAEDDPG 框架

作者提出了 PAEDDPG（个性化自动编码器–深度确定性策略梯度），该框架结合了设备端个性化与服务端自适应聚合。

1. 客户端：私有重构解码器
每个客户端 $k$ 维护一个共享模型（特征提取器 $g_\theta$ 和分类器 $h_\theta$ ）以及一个客户端私有重构解码器 $\psi_{\phi_k}$ 。

局部目标： 客户端最小化一个组合损失函数：
$L_k^{local} = \ell_{ce}(h_\theta(g_\theta(x)), y) + \lambda_{rec} \| \psi_{\phi_k}(g_\theta(x)) - x \|_2^2$
第一项是监督分类损失；第二项是自监督重构损失。
隐私与个性化： 解码器仅在本地数据上进行训练，且永不上传。它充当正则化项，强制共享编码器保留客户端特定的特征统计信息（这对于稀有类别至关重要），同时不会暴露原始数据或解码器参数。
通信： 仅上传更新后的共享模型参数 ( $\theta_k$ )，保持与标准 FedAvg 相同的通信负载。

2. 服务端：DDPG 指导的自适应聚合
服务端采用 深度确定性策略梯度（DDPG） 智能体来学习最优的聚合权重。

状态 ( $s_t$ )： 由参与客户端的编码器更新统计量构建，包括：
- 样本比例 ( $\rho_k$ )：数据量贡献。
- 更新范数 ( $\nu_k$ )：局部模型变化的幅度。
- 平均更新距离 ( $\bar{d}_k$ ) 与余弦相似度 ( $\bar{c}_k$ )：衡量与其他客户端的分歧度和一致性的指标。
动作 ( $a_t$ )： 智能体输出一个概率单纯形向量形式的权重 ( $w_k$ )，用于聚合共享模型： $\theta_t = \sum w_k \theta_k$ 。
奖励 ( $r_t$ )： 基于服务端验证集上三项指标在轮次间的提升而设计的少数类敏感奖励：
$r_t = 100 \times (\beta_1 \Delta \text{Macro-F1} + \beta_2 \Delta \text{BalancedAcc} + \beta_3 \Delta \text{WorstClassRecall})$
这明确引导智能体优先考虑能提升稀有攻击类别检测能力的协作，而非仅仅提升整体准确率。

核心贡献

新颖架构： 一种将共享全局模型与客户端私有重构解码器耦合的客户端-服务端设计。通过自监督学习诱导个性化，同时保持了隐私性并使通信成本与标准 FL 保持一致。
通过 DDPG 实现自适应聚合： 将聚合权重选择建模为一个连续控制问题。单个服务端智能体学习如何将编码器更新统计量映射为聚合权重，避免了为每个客户端设置策略的开销，并能适应当前的协作状态。
少数类敏感型奖励设计： 一种面向 IDS 的奖励函数，结合了 Macro-F1、平衡准确率（Balanced Accuracy）和最差类召回率（Worst-Class Recall）。这确保了学习到的聚合策略能够主动缓解负迁移，并在异构且不平衡的流量下增强对稀有攻击的检测。

实验结果

该框架在 Edge-IIoTset 和 NF-ToN-IoT-v3 数据集上，在 IID 和三种 Non-IID 设置（ $\alpha \in \{1.0, 0.5, 0.1\}$ ）下进行了评估。

性能： PAEDDPG 在 Macro-F1、平衡准确率和最差类召回率方面始终优于基准模型（FedAvg, FedProx, FedProto, MOON, FedGH）。
稀有类检测： 在 Edge-IIoTset 最强的 Non-IID 设置（ $\alpha=0.1$ $α = 0.1$ ）下：
- PAEDDPG 实现了 85.25% 的最差类召回率，相比表现最好的基准模型（FedProto 的 67.00%）提升了约 18 个百分点。
- 它是唯一能在所有攻击类别中保持单类召回率高于 85% 的方法。
收敛性： 该方法表现出快速且稳定的收敛，在约 30 轮内达到了最终性能的 90%，且与基准模型相比，轮次间的波动显著降低。
消融实验： 移除任何组件（私有解码器、DDPG 或完整的奖励函数）都会导致性能下降。研究表明 DDPG 聚合是主要的贡献因素，而私有解码器和特定的奖励设计则提供了持续且互补的改进。

意义与声明

论文声称 PAEDDPG 通过联合优化隐私保护的局部自适应和任务驱动的自适应聚合，解决了非 IID 联邦入侵检测中的关键空白。

意义： 不同于现有的要么预先固定协作结构、要么依赖通用鲁棒性目标的方法，PAEDDPG 根据关于稀有类检测的经验反馈，动态学习“每个客户端应该贡献多少”。
局限性说明： 作者承认了局限性，指出当前框架尚未考虑对抗性威胁（例如，操纵聚合权重的恶意客户端）或动态客户端参与（客户端掉线/更替），而这些在现实世界的 IIoT 部署中非常常见。未来的工作拟解决这些鲁棒性和动态可用性方面的挑战。