💻 computer science

A Crowdsensing Intrusion Detection Dataset For Decentralized Federated Learning Models

本文提出了一种用于去中心化联邦学习的物联网众包感知入侵检测数据集，并通过实验验证了该数据集在去中心化联邦学习模型下相较于传统机器学习和中心化联邦学习在保持数据本地性的同时具备更优或相当的检测性能。

原作者： Chao Feng, Alberto Huertas Celdran, Jing Han, Heqing Ren, Xi Cheng, Zien Zeng, Lucas Krauter, Gerome Bovet, Burkhard Stiller

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chao Feng, Alberto Huertas Celdran, Jing Han, Heqing Ren, Xi Cheng, Zien Zeng, Lucas Krauter, Gerome Bovet, Burkhard Stiller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个专门为物联网（IoT）安全设计的新“训练教材”（数据集），以及用它来测试一种新型“集体学习”方法（去中心化联邦学习）的实验结果。

为了让你更容易理解，我们可以把这篇论文想象成是在讲一个**“社区联防”**的故事。

1. 背景：为什么我们需要这个？

想象一下，现在的物联网设备（比如智能灯泡、摄像头、传感器）就像散落在城市各处的**“社区巡逻员”**。它们数量巨大，各自为战。

问题：黑客（恶意软件）喜欢攻击这些巡逻员。传统的做法是把所有巡逻员看到的“可疑行为”都打包发给一个**“中央指挥部”**（服务器）去分析。
弊端：
1. 隐私泄露：指挥部知道了你家所有的活动细节。
2. 单点故障：如果指挥部被黑客攻破了，或者网络堵塞了，整个系统就瘫痪了。
3. 效率低：把海量数据传回去太慢太贵。

解决方案：大家决定不再依赖指挥部，而是让巡逻员们**“邻里互助”。每个巡逻员在自己家里学习，只把学到的“经验总结”（模型参数）分享给邻居，大家互相参考，共同变强。这就是“去中心化联邦学习”（DFL）**。

2. 核心贡献：我们造了什么？

以前，大家想研究这种“邻里互助”怎么防黑客，但手里没有合适的**“模拟考题”**。现有的考题要么太老（像 KDD'99），要么太假（全是模拟数据），要么假设所有数据都集中在一个地方，不适合测试“邻里互助”。

这篇论文的作者们做了一件很实在的事：

搭建了一个“微型社区”：他们用了 8 个树莓派（一种小型电脑，相当于 8 个智能设备）组成了一个真实的物联网环境。
制造了“真实危机”：他们让这些设备感染了 5 大类、共 8 种不同的**“病毒”**（比如僵尸网络、勒索软件、挖矿病毒等），就像在小区里真的发生了盗窃、破坏和恶作剧。
记录了“行为日记”：他们不仅盯着网络流量，还盯着设备的**“心跳”（CPU 使用）、“手脚动作”（系统调用）、“文件读写”和“内核反应”**。
成果：收集了超过 2100 万条 原始记录，最后整理成 34 万条 结构清晰的“案例卡片”。这就成了全球第一个专门用来测试“去中心化物联网安全”的标准题库。

3. 实验过程：怎么测试的？

作者们用这个新题库，像老师出题一样，测试了三种不同的“学习模式”：

传统模式（ML）：把所有数据都交给一个超级大脑（中央服务器）分析。
集中式联邦（CFL）：大家各自学习，但有一个“班长”（中央服务器）负责收集大家的经验并汇总。
去中心化联邦（DFL）：（这是本文的主角） 没有班长，大家像传话游戏一样，只和邻居交换经验，自己汇总。

测试场景：

改变“邻居”的数量（4 个、8 个、16 个、32 个）。
改变“邻居”的分布（大家的数据是均匀的还是各怀鬼胎）。
改变“网络拓扑”（大家是全连通的网状，还是排成一圈，或者像星星一样发散）。

4. 实验结果：谁赢了？

表现：虽然“去中心化模式”（DFL）没有“超级大脑”（传统 ML）那么完美，但它非常接近，而且在大多数情况下，比那个需要“班长”的“集中式联邦”（CFL）还要好！
优势：DFL 不需要把数据传给任何人，保护了隐私；即使某个节点坏了，整个网络还能继续转，非常抗造（鲁棒性强）。
代价：就像传话游戏一样，节点越多，大家互相沟通的“废话”（通信开销）就越大，学习速度会稍微变慢一点，但整体效果依然很棒。

5. 总结与比喻

这就好比：

旧方法：所有学生把作业都交给老师批改，老师累死，学生隐私全暴露。
集中式联邦：学生自己改，然后交给课代表汇总，课代表再发回给学生。课代表是个瓶颈。
去中心化联邦（本文方案）：学生之间互相交换“解题思路”，没有课代表，大家越聊越聪明。

这篇论文的意义在于：
它提供了一套真实的、高质量的“模拟考卷”，证明了这种“没有老师、只有同学互助”的安全防御模式是行得通的。它让未来的物联网设备在面对黑客时，能像一群训练有素的**“蚂蚁军团”**一样，既保护了各自的隐私，又能集体抵御外敌。

一句话总结：
作者们造了一个真实的“物联网病毒实验室”，证明了让设备们**“各自为战、互相交流”**（去中心化学习）来防黑客，比依赖“中央指挥官”更安全、更灵活，而且这套实验室的“考题”现在开源了，供全球科学家继续研究。

这是一份关于《用于去中心化联邦学习模型的众包入侵检测数据集》（A crowdsensing intrusion detection dataset for decentralized federated learning models）的论文详细技术总结。

1. 研究背景与问题 (Problem)

背景：物联网（IoT）众包感知（Crowdsensing）利用大量分布式异构设备协同收集环境数据，广泛应用于交通监控、环境感知等领域。然而，这种开放和分布式的特性使其极易受到恶意软件（Malware）和入侵攻击的威胁。
现有挑战：
- 隐私与集中式风险：传统的机器学习（ML）方法通常需要将数据集中到服务器进行训练，这引发了隐私泄露风险，且集中式架构存在单点故障和扩展性瓶颈。
- 联邦学习的局限：虽然集中式联邦学习（CFL）通过本地训练保护了隐私，但仍依赖中心服务器，存在类似的单点故障和通信瓶颈。
- 去中心化联邦学习（DFL）的缺失：DFL 通过点对点（P2P）拓扑消除了中心服务器，更适合众包场景，但目前缺乏针对 DFL 在 IoT 入侵检测场景下评估的真实、分布式且文档完善的基准数据集。现有的数据集（如 NSL-KDD, CICIDS2017, Bot-IoT 等）要么过时，要么基于集中式收集，缺乏设备级的异构性和真实分布特性。

2. 方法论 (Methodology)

该研究构建了一个全新的数据集，并设计了完整的实验验证流程：

A. 实验平台与环境

硬件：使用 8 台 Raspberry Pi 设备（6 台 Pi 3，2 台 Pi 4）构建异构众包环境。
软件：基于 ElectroSense 传感器平台，运行 ARM 架构操作系统。
数据收集：在良性状态和8 种恶意软件攻击场景下，进行了长达288 小时的持续监控。

B. 恶意软件家族

选取了 5 大类、8 种具体的恶意软件样本，以覆盖不同的系统行为特征：

Botnets (僵尸网络): Bashlite
Backdoors (后门): HttpBackdoor, Backdoor, TheTick
Rootkits (内核级木马): Beurk, Bdvl
Coinminers (挖矿木马): XMRig
Ransomware (勒索软件): Ransomware-PoC

C. 行为监控维度

为了全面捕捉恶意行为，系统从6 个维度收集原始行为日志：

资源使用 (Resource Usage): CPU、内存、磁盘、网络吞吐量等。
内核事件 (Kernel Events): I/O、内存管理、进程调度等内核级追踪点。
系统调用 (System Calls): 进程执行的系统调用序列。
网络活动 (Network Activity): TCP/UDP 流量特征（包大小、协议、端口等）。
输入/输出操作 (I/O Operations): 块级 I/O 活动及文件熵值（用于检测加密）。
文件系统 (File System): 文件创建、删除、修改及日志活动。

D. 数据处理流程

数据清洗：去除元数据（如时间戳、设备 ID）、恒定特征，并填补缺失值。
时间窗口聚合：将细粒度的原始日志聚合为30 秒的固定时间窗口，平衡了时间分辨率与统计稳定性。
特征工程：
- 从原始数据中提取了687 维的初始特征。
- 通过统计方法（卡方检验、ANOVA F 值、互信息）筛选出最具判别力的32 个关键特征。
- 对特征进行 Min-Max 归一化。

3. 主要贡献 (Key Contributions)

首个针对 DFL 的 IoT 众包入侵检测数据集：填补了该领域缺乏真实分布式基准数据集的空白。数据集包含 21,582,484 条原始记录，经处理后形成 342,106 条结构化记录。
多维行为分析：深入分析了恶意软件对 IoT 设备在系统调用、内核事件、网络、I/O 等 6 个层面的影响，确定了关键监控维度。
完整的实验验证：在 Nebular 框架下，对比了传统 ML、集中式联邦学习（CFL）和去中心化联邦学习（DFL）在不同节点数、拓扑结构（全连接、环、星型）和数据分布（IID 与非 IID）下的表现。
开源资源：提供了原始日志、687 维全量特征集以及 32 维精简特征集，并公开了数据收集和处理代码。

4. 实验结果 (Results)

实验使用三层 MLP 模型（32×128×9）在 DFL 平台上进行评估：

模型性能：
- 传统 ML（集中数据）表现最佳（F1 > 0.96）。
- DFL 表现优异：在大多数设置下，DFL 的性能优于或等同于 CFL。例如，在 4 节点全连接拓扑下，DFL 的 F1 分数约为 0.95，略低于 ML 但非常具有竞争力。
- 可扩展性影响：随着节点数增加（从 4 到 32），由于每个节点数据量减少，性能略有下降，但 DFL 仍保持稳健。
- 拓扑影响：全连接、环和星型拓扑对性能影响较小，表明数据集对通信拓扑不敏感。
通信开销：
- DFL 的通信开销随节点数和拓扑密度增加而增加。全连接拓扑开销最大，稀疏拓扑（如环）开销较低。
数据异构性 (Non-IID)：
- 在轻度非 IID（ $\alpha=10, 1$ ）下，性能保持稳定（F1 $\approx$ 0.93）。
- 在高度非 IID（ $\alpha=0.1$ ）下，性能下降明显（F1 $\approx$ 0.81），但 AUC 仍保持高位（0.986），说明特征空间仍具有判别力。
鲁棒性测试：
- 在 25% 节点被投毒（标签翻转）时，模型仍能保持较好性能（F1 $\approx$ 0.84）。
- 当投毒比例达到 50% 或 75% 时，性能急剧下降，表明 DFL 在极端恶意攻击下存在脆弱性。
混淆矩阵分析：
- 大多数恶意软件类别（如 Beurk, Bdvl）分类准确率极高。
- 部分类别（如 Backdoor 与 Bashlite）存在一定程度的混淆，反映了它们在网络或执行模式上的行为重叠。

5. 意义与价值 (Significance)

推动 DFL 研究：该数据集为评估去中心化联邦学习在资源受限、隐私敏感的 IoT 环境中的有效性提供了标准化的基准。
隐私与安全平衡：证明了在不集中原始数据的前提下，利用 DFL 进行分布式入侵检测是可行且高效的，有助于解决 IoT 安全中的隐私悖论。
现实性：基于真实硬件（Raspberry Pi）和真实恶意软件样本，相比合成数据集，更能反映实际部署中的行为特征和数据分布。
未来方向：为研究抗投毒攻击、通信高效聚合算法以及自适应特征选择提供了基础。

总结：该论文不仅发布了一个高质量、多维度的 IoT 众包入侵检测数据集，还通过系统的实验验证了去中心化联邦学习在保护隐私的同时，能够有效检测恶意软件，为构建安全、可扩展的下一代 IoT 防御体系奠定了坚实基础。