💻 计算机科学

Lightweight Anomaly-Based Intrusion Detection for IoT Networks Using Dispersion-Based Majority Class Reduction and Sparse Autoencoder Feature Extraction

本文提出了一种面向物联网网络的轻量级基于异常的入侵检测框架，该框架结合了用于特征提取的稀疏自编码器与一种新颖的基于离散度的多数类削减（DMCR）技术，旨在高效解决类别不平衡和硬件限制问题，在保持检测质量的同时，与合成过采样方法相比，显著降低了训练时间和模型大小。

原作者： Shrey Sharma, Vineetha Pais, Balachandra Muniyal, Trivikram -

发布于 2026-11-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shrey Sharma, Vineetha Pais, Balachandra Muniyal, Trivikram -

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

物联网已将数十亿台普通设备——智能恒温器、安防摄像头、工业传感器——编织进日常生活的结构之中。这些小工具不断地彼此通信，并与更广泛的网络进行交互，但其便利性也伴随着隐藏的脆弱性。由于它们通常在计算能力有限且极少更新，因此极易成为黑客的目标，黑客可以劫持它们来发起大规模的网络攻击。为了阻止这些入侵，安全系统必须不断监测数据流，寻找任何行为异常的情况。然而，这些系统面临着一个艰难的悖论：网络中流动的绝大部分数据是无害的，而危险的攻击却是罕见的。这种不平衡使得计算机程序很难学习攻击的特征，因为它们往往会为了关注常见事件而忽略了稀有事件。此外，需要执行此类监测任务的设备通常位于网络的边缘（例如家用路由器），缺乏大型数据中心所拥有的那种强力处理能力。

来自马尼帕尔高等教育学院（Manipal Academy of Higher Education）和 A J 工程技术学院（A J Institute of Engineering and Technology）的研究人员开发了一种新方法，旨在解决数据不平衡和计算能力有限这两个难题。他们的工作聚焦于一个特定的网络流量数据集，其中的情况与通常情况相反：在这种情况下，“攻击”流量占据主导地位，拥有超过 360 万条记录，而“正常”流量则是稀有事件，仅出现 477 次。在这样一种倾斜的环境中，标准的教导计算机识别攻击的方法往往会失效，或者需要创建数百万个虚假样本来平衡规模，而这既缓慢又耗费计算资源。研究团队提出了另一种策略：他们并没有去创造更多稀有事件的样本，而是决定从压倒性的多数中仔细挑选出最好的样本。他们创建了一种方法，仅保留最具独特性和多样性的攻击样本，丢弃那些无法提供新信息的冗余样本。他们将这一过程称为“基于离散度的多数类缩减”（dispersion-based majority class reduction），该方法将训练数据缩减了 116 倍，同时保持数据的完全真实性，从而完全无需使用合成数据。至关重要的是，由于“攻击”类是多数类，这种缩减是为了保护稀缺的“正常”类而进行的。

研究人员将这种方法与其他几种常见技术进行了对比测试，包括生成虚假数据的技术以及那些仅仅简单删除随机样本的技术。他们发现，该方法非常高效。通过使用一种专门的神经网络先将数据压缩成紧凑的形式，然后再应用他们的选择方法，他们训练检测系统的速度比依赖合成数据的传统方法快了约 88 倍。该系统保持了高准确度，既能正确识别攻击，又能避免误报，且计算成本仅为后者的一小部分。至关重要的是，他们发现所选群体的规模至关重要。如果保留过多的样本，系统会变得不稳定，并在某些场景下无法识别正常流量，而这种失败是标准汇总评分无法察觉的。这表明，他们方法的价值不仅在于减少样本数量，更在于选择这些样本的特定且智能的方式。

除了平衡数据之外，团队还探索了如何进一步缩小检测系统本身的规模。他们测试了最终决策组件的三个不同版本，范围从复杂的结构到非常简单的结构不等。他们发现，一个非常紧凑的模型可以达到与更大、更复杂版本相当的性能。其中一个极小的配置能够捕捉到每一次攻击而不遗漏任何一个，尽管它引发了 10 次误报。另一个稍大一点的配置则消除了误报，但漏掉了 33 次攻击。这为网络管理员提供了选择空间：他们可以根据自身具体需求选择版本，无论是优先捕捉所有可能的威胁，还是避免不必要的干扰。整个系统，包括数据压缩和最终决策者，使用的可调节参数少于 15,000 个，这使得它足够轻量，可以在典型的互联网网关所配备的简易硬件上运行。

这项研究强调，尽管所使用的数据集是在受控实验室环境中生成的，可能无法完美反映开放互联网的混乱现实，但其展示的原理是稳健的。研究人员证明，构建一个高效的安全系统并不一定依赖于海量的数据集或沉重的计算资源。通过智能地选择最具信息量的观测点并使用轻量级算法，他们创建了一个既快速又准确的入侵检测蓝图。他们的工作表明，未来的网络安全可能并不取决于构建更大、更强大的计算机，而在于如何更聪明地选择我们学习的数据。结果表明，只要具备正确的平衡数据选择与模型简化能力，即使是资源最受限的设备也能装备自己，以抵御复杂的网络威胁。

技术摘要：面向物联网网络的轻量级基于异常的入侵检测

问题陈述
物联网（IoT）设备的快速普及造成了显著的网络层攻击脆弱性，使得稳健的入侵检测系统（IDS）变得至关重要。然而，在网络边缘（网关、路由器）部署有效的 IDS 受限于两个主要约束：

极端的类别不平衡： 现实世界的物联网流量捕获通常表现出正类（正常流量）与负类（恶意流量）之间的巨大差异。在本研究使用的 BoT-IoT 数据集中，攻击流量与正常流量的比例约为 7,690:1。在如此数据上训练的标准分类器往往会偏向多数类，从而无法检测到少数类（攻击）。
资源受限： 边缘硬件与数据中心环境相比，计算能力和内存都非常有限。在基准测试中表现出色的深度学习模型通常过于庞大或缓慢，难以在实际的边缘侧进行部署。

现有的解决方案通常依赖于合成少数类过采样（例如 SMOTE）来平衡数据集，但这会生成数百万个合成点，增加训练成本并可能引入人工伪影。相反，多数类削减（欠采样）通常局限于非物联网场景，或者缺乏针对大规模候选池的可处理公式。此外，许多研究将误差指标（如 F1 分数）合并处理，这可能会掩盖误报率（FP）和漏报率（FN）中的关键不稳定性。

方法论
所提出的流水线通过两管齐下的方法来解决这些挑战：通过**基于离散度的多数类削减（DMCR）进行平衡，以及使用稀疏自编码器（SAE）**进行特征提取并配合轻量级分类头。

基于离散度的多数类削减 (DMCR)：
- DMCR 不生成合成的少数类样本，而是通过保留一个多样化的真实多数类子集来减少多数类。
- 机制： DMCR 根据候选样本到候选池中所有其他成员的平均 $\ell_1$ （曼哈顿）距离对其进行评分。位于密集、重复区域（低离散度）的点会被丢弃，而孤立、信息丰富的点会被保留。
- 效率： 为了处理在大规模池中计算全对距离的计算不可行性（ $O(n^2)$ ），作者利用了一个顺序统计量恒等式。这使得能够以 $O(nd \log n)$ 的时间和 $O(n)$ 的内存实现精确评分，使其适用于包含 100,000+ 样本的候选池。
- 流程： 从训练集中抽取一个包含 100,000 个攻击样本的候选池。保留前 50,000 个最分散的样本，并将其与所有可用的正常样本（训练集中为 382 个）结合，形成一个包含约 50,382 个样本的平衡训练集。
特征提取（稀疏自编码器）：
- 稀疏自编码器（SAE）在平衡后的数据上进行无监督训练，以学习紧凑的特征表示。
- 编码器将 27 个标准化的输入特征映射到具有 ReLU 激活函数的 100 维隐藏层。
- 训练过程最小化重构误差加上 Kullback-Leibler (KL) 稀疏惩罚，以强制实现稀疏表示。随后，该编码器被冻结，并作为下游分类器的固定特征提取器。
分类器头：
三种不同的分类器架构在冻结的 SAE 编码器之上进行了评估：
- CNN： 卷积基准模型（总计 77,848 个参数）。
- MLP： 单隐藏层的多层感知器（8,792 个参数）。
- MLP2： 更深层的、带有批归一化的 MLP（14,296 个参数）。

核心贡献

DMCR 算法： 一种新型的平衡方案，它在丢弃冗余多数类样本的同时保留了每一个真实的少数类样本，生成的训练集比合成过采样方法小约 116 倍，且不包含任何伪造数据。
高效评分： 一种顺序统计量公式，能够在 $O(nd \log n)$ 时间内实现精确的离散度评分，克服了大规模物联网数据集面临的 $O(n^2)$ 障碍。
全面评估： 通过多个随机种子对 DMCR 与其他五种平衡策略（随机欠采样、SMOTE、ADASYN、Borderline-SMOTE 和基于余弦相似度的多数类削减）进行了严格比较，以建立统计稳健性。
误差剖面分析： 证明了仅依赖聚合指标（如 F1）会掩盖关键的不稳定性。研究分别报告了 FP 和 FN，以揭示截然不同的操作权衡。
轻量级运行点： 从单一流水线中识别出两种不同的轻量级配置：
- MLP： 实现零漏报（对于被动监控至关重要），其参数量比 CNN 基准减少了约 90%（约为其九分之一）。
- MLP2： 实现零误报（对于主动响应至关重要），其参数量比 CNN 基准减少了约 82%（具体而言，不足其五分之一）。

结果

平衡性能： DMCR、CSMCR 和 SMOTE 在 ROC-AUC 和 F1 分数方面达到了统计学上无法区分的性能（均 >0.9999）。然而，随机欠采样（将多数类减少到与少数类完全相等的大小）导致了严重的失败，平均漏掉数千次攻击。
效率： 与 SMOTE 相比，DMCR 将总训练时间缩短了约 88.6 倍（42.97 秒 vs. 3,804.92 秒），同时保持了检测质量。
稳定性分析： 敏感性分析显示，DMCR 的稳定性取决于是否保留了足够经过过滤的子集。当候选池大小和保留目标收缩到相同大小（100,000）时，离散度准则无法发挥作用，导致在三个随机种子中的一个中出现了完全无法检测出少数类的失败——这种失败在聚合 F1 分数中是无法察觉的。
分类器比较：
- MLP 比 CNN 减少了近 90% 的参数（8,792 对 77,848，约为九分之一），并实现了零漏报，但引入了 10 个误报，且 ROC-AUC 略有下降（0.9559）。
- MLP2（带有批归一化）使 ROC-AUC 恢复到 0.999999 并消除了误报，代价是 33 个漏报，而其使用的参数量仅为 14,296（约为 CNN 参数量的五分之一）。

意义与主张
本文认为，DMCR 为物联网入侵检测提供了一种实用的、计算高效的替代方案，特别是在存在极端类别不平衡的情况下。通过避免生成合成数据，该方法在大幅减少训练集规模和时间的同时，保留了真实流量模式的完整性。

至关重要的是，研究强调了单一流水线可以支持不同的部署姿态。通过选择合适的分类器头（MLP 或 MLP2），操作员可以在“零漏报”模式（适用于错过攻击代价高昂的被动监控）和“零误报”模式（适用于误报代价高昂的主动响应）之间进行选择，而无需重新训练特征提取器。

作者保持了审慎的态度，指出其结果是基于包含刻板、实验室生成流量的 BoT-IoT 数据集。他们明确指出，要确定离散度排序相对于简单样本量削减的具体贡献，还需要进一步的消融实验（将 DMCR 与同规模的随机抽样进行比较），并且未来的工作必须在实际的低功耗硬件和更多元的数据集上验证该流水线，才能被视为完全具备部署能力。

技术摘要：面向物联网网络的轻量级基于异常的入侵检测

类似论文