🤖 AI

A Multi Method Importance and Performance Efficiency Analysis of Topological Metrics for Natural Visibility Graph Based Cyber Attack Detection

本研究表明，通过对自然可见性图指标应用基于共识的重要性分析，可以筛选出由三个拓扑特征组成的精简子集，从而在与使用全部 21 个指标相比时，显著提高网络攻击检测的准确度，并减少超过 96% 的计算运行时间。

原作者： Ali Melih Kanca, Ilker Turker

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Melih Kanca, Ilker Turker

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字世界中，网络流量就像一条持续的数据河流，承载着从无害的网络浏览到复杂的网络攻击的一切内容。为了保护系统，安全专家使用计算机程序来监测这种流动，寻找预示危险的模式。多年来，这些程序一直依赖于对简单事物的计数，例如有多少数据包通过某个门，或者一个连接持续了多久。然而，研究人员开始意识到，数据本身的形状可能比单纯的数字包含更多的线索。想象一下，将代表数据流的一行数字转化为一张地图，其中每个点都是一个圆点，而线条连接着那些在不被任何东西阻挡的情况下可以“看到”彼此的圆点。这创造了一个独特的网络或图（graph），它保留了原始数据的节奏和结构。通过研究这些网络的形状——圆点如何紧密聚集、点之间存在多少条路径，以及某些点有多么中心化——科学家可以发现标准计数可能会错过的恶意活动的隐藏特征。

土耳其卡拉布克大学的一个研究小组致力于测试这些基于形状的线索在捕捉网络攻击方面究竟有多大用处。他们首先从一个包含正常流量和各种攻击类型的海量网络记录集中开始。他们并没有将原始数据直接输入计算机程序，而是首先将小块的数据转化为这些视觉网络。从每个网络中，他们提取了二十一个不同的测量值，即拓扑度量，来描述其结构。其中一些测量值观察点的连接程度，另一些则检查点之间的平均距离，还有一些分析了点是如何分组形成社区的。随后，研究人员使用了一种强大的人工智能——卷积神经网络，来学习如何区分由正常流量和攻击产生的网络。

该团队想要回答的核心问题是，是否真的需要所有这二十一个形状测量值。在许多科学领域，研究人员通常假设收集更多的数据会带来更好的结果，但在本案例中，提取每一个测量值需要耗费大量的时间和计算能力。团队怀疑其中一些测量值可能是冗余的，或者不如其他测量值那么有用。为了找出答案，他们应用了四种不同的方法来对每个测量值的重要性进行排名。一种方法观察当特定测量值被扰乱时，计算机的置信度下降了多少；另一种方法将实际测量值与随机噪声进行比较，以观察哪些测量值脱颖而出；第三种方法系统地移除那些最没用的测量值，以观察留下了什么；第四种方法则使用一种数学方法来精确解释每个测量值对最终决策的贡献程度。通过结合这四种不同方法的分析结果，他们创建了一个关于这二十一个度量的单一且达成共识的排名。

分析结果揭示了一个清晰的等级制度。描述网络中点如何紧密聚集的测量值被证明是最有价值的。具体而言，聚类值的中位数、标准差和平均值被列为排名前三最重要的指标。相比之下，其他测量值，例如描述最长路径或网络整体规模的测量值，排名则要低得多。研究人员随后通过仅使用排名靠前的测量值来训练他们的计算机程序，将输入数量从全部二十一个逐渐减少到仅有的三个。他们将这些简化后的集合与包含全部二十一个指标的完整集合进行了性能对比。

结果令人惊讶。当计算机程序使用排名前三的聚类测量值进行训练时，其表现优于使用全部二十一个测量值时的表现。简化后的模型正确识别攻击的准确率为 97.148%，而完整模型的准确率为 95.999%。它在平衡不同攻击类型的检测方面也取得了更高的得分。更重要的是，这种提升伴随着计算速度的巨大飞跃。完整的测量集在整个实验过程中处理时间接近一万五千秒，而前三个测量值仅需约五百八十九秒。这代表了超过百分之九十六的计算时间缩减。研究表明，通过专注于最具信息量的结构线索并舍弃其余部分，安全系统可以变得既快速又准确。

研究人员指出，这一结果并不意味着所有其他测量值都是无用的，而是对于这种特定类型的数据和这种特定的计算机模型而言，额外的信息并没有提供帮助，甚至可能产生了干扰。这三个描述数据点局部聚类的顶层测量值，似乎包含了攻击的核心特征。研究结论认为，一组精简且经过精心选择的特征集可以超越更大规模、未经筛选的特征集合。虽然这些发现是针对本实验所使用的特定数据集和方法，但它们为构建更高效的网络防御系统提供了一条清晰的路径。通过理解哪些结构细节最为重要，未来的工具可以设计得更加精准且快速地检测威胁，而无需承担处理不必要数据的负担。

技术摘要：基于自然可见性图（NVG）的网络攻击检测中多方法重要性与性能-效率分析

问题陈述

准确识别恶意网络活动对于现代网络安全至关重要。虽然机器学习（ML）和深度学习（DL）在入侵检测系统（IDS）中已展现出显著成效，但其性能高度依赖于网络流量的表示方式。基于图的表示法，特别是自然可见性图（NVG），通过将序列化的流量观测值转换为能够保留顺序性和结构变化的图结构，为传统的流级分析提供了一种替代方案。

然而，一个重大挑战仍然存在：NVG 分析会生成大量的拓扑描述符（例如中心性、路径长度、聚类系数）。并非所有这些指标对网络攻击分类的贡献都是同等的，且提取完整的指标集会增加计算成本。目前缺乏系统性的研究来调查哪些特定的 NVG 衍生拓扑指标对分类最具信息量，以及是否可以通过提取一个精简、紧凑的指标子集，在降低计算开销的同时保持甚至提升预测性能。

研究方法

本研究采用多方法途径，利用 CSE-CIC-IDS2018 数据集对 21 个 NVG 衍生拓扑指标进行评估。

1. 数据预处理与图构建：

数据集： 使用了包含 15 个类别（良性及各类攻击）的 100,000 条网络流记录的平衡子集，通过类间采样构建，未进行合成过采样。
滑动窗口： 将数据分割为重叠帧（100 个观测值，50% 重叠），并采用攻击优先的多数投票法进行标签化。
NVG 构建： 每项数值型流量特征在每个帧内被独立转化为一个自然可见性图。如果两条观测值之间的连线不被中间观测值拦截，则两者相连。
指标提取： 从每个特定特征的 NVG 中提取了 21 个拓扑指标，分为以下组别：
- 中心性（接近中心性、介数中心性、度中心性、特征向量中心性）
- 路径长度（均值、标准差、中位数、最小值、最大值）
- 聚类系数（均值、标准差、中位数、最小值、最大值）
- 社团/全局结构（模块化程度、直径）
- 度统计（均值、标准差、中位数、最小值、最大值）

2. 重要性分析：
为了确定指标的相关性，采用了四种互补的方法：

SHAP (SHapley Additive exPlanations)： 使用 GradientExplainer 对训练后的 CNN 进行量化，以确定特征贡献度。
分组排列重要性 (Grouped Permutation Importance)： 通过测量置换指标后性能的下降程度（加权 F1 分数）来衡量重要性。
Boruta： 将原始特征与随机生成的影子特征进行对比，使用随机森林分类器进行评估。
递归特征消除 (RFE)： 使用随机森林分类器迭代移除信息量较低的特征。

3. 共识排名 (Consensus Ranking)：
利用共识排名策略整合来自四种方法的排名。每个指标的共识得分 ( $CS_j$ ) 计算为其在四种方法中排名的算术平均值。得分越低，表示重要性越高。

4. 性能-效率评估：
基于共识排名，使用多输入卷积神经网络 (CNN) 和分层 5 折交叉验证对六种配置进行了评估：

Full21： 所有 21 个指标。
精简集： Top15、Top10、Top7、Top5 和 Top3（保留排名最高的指标）。
评估指标： 对比了分类性能（准确率、加权 F1 分数、MCC）和计算成本（总运行时间）。

核心贡献

多方法重要性分析： 使用四种不同的重要性分析技术（SHAP、Permutation、Boruta、RFE）对 21 个 NVG 衍生拓扑指标进行了系统性评估，以解决特征相关性评估的变异性问题。
基于共识的评估： 通过整合差异化的排名，利用统一的共识排名策略来识别最具鲁棒性的重要指标。
性能-效率权衡分析：： 通过实证研究表明，通过重要性引导的指标缩减，可以获得紧凑的 NVG 表示，从而在大幅降低计算成本的同时，维持甚至超越全量指标集的预测性能。

实验结果

共识排名：
分析表明，基于聚类系数的描述符最具信息量。共识排名中的前三个指标为：

avg_clustering_coeff_median (共识得分: 1.25)
avg_clustering_coeff_std (共识得分: 3.00)
avg_clustering_coeff_mean (共识得分: 4.25)

其他高排名指标包括 eigenvector_mean、degree_centrality_mean 和 modularity。值得注意的是，不同方法产生的排名存在差异（例如，eigenvector_mean 被 SHAP 评为第 1 位，但在 RFE 中仅排第 14 位），这验证了采用多方法共识策略的必要性。Boruta 选择了所有 21 个指标，证实了它们的普遍相关性，但未能区分相对重要性。

分类性能：

Full21 基准： 准确率为 95.999%，加权 F1 分数为 95.521%，MCC 为 0.9549。
Top3 配置： 仅保留前三个聚类指标时，观察到了最高的平均性能：
- 准确率： 97.148%
- 加权 F1 分数： 97.055%
- MCC： 0.9675
  该配置在所有指标上均优于 Full21 基准。

计算效率：
指标的减少带来了显著的运行时间节省。Top3 配置将总运行时间从 14,961.39 秒（Full21）降至 589.22 秒，实现了 96.06% 的计算成本缩减。

意义与主张

本文主张，在所评估的实验设置下，NVG 衍生描述符的相关性并非均匀分布，且依赖单一的重要性评估方法会导致排名不一致。通过采用共识策略，本研究发现局部连接特性（特别是聚类系数）对于网络攻击分类具有极高的信息量。

其主要意义在于发现：一种紧凑的、由重要性引导的表示形式（Top3）可以实现比全量指标集（21 个指标）更高的观察平均预测性能，同时大幅降低计算需求。这表明，保留较多的指标并不一定能带来更优的结果，移除信息量低或冗余的描述符可能具有正则化作用，使模型能够专注于更具判别性的结构信息。

作者保持了审慎的态度，指出这些发现是针对特定的 CSE-CIC-IDS2018 数据集、所使用的 CNN 架构以及实验协议的。他们明确指出，Top-K 结果反映了当前框架内的对比分析，并呼吁未来开展工作，以评估这些指标子集在不同数据集和模型中的鲁棒性，并进行指标级的运行时间剖析。