💻 computer science

Cyber Dynamics I: Finite Macrostates for Behavioral Anomaly Detection in Network Telemetry

本文提出了一种用于网络遥测的有限维宏观状态框架，该框架超越了标量熵度量，通过对行为状态空间转换进行建模，从而在提高对良性负载漂移与对抗性重组之间辨别能力的同事，提供更具可解释性的异常检测。

原作者： Abdul Rahman, Eranga Bandara, Sachin Shetty

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdul Rahman, Eranga Bandara, Sachin Shetty

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一栋繁忙的办公大楼中抓捕一名小偷。

旧方法（仅基于熵）
长期以来，保安们一直使用一种简单的方法：统计走廊里有多少人在走动。如果走廊平时很安静，突然有50人冲过，警报就会响起。或者，如果走廊平时很混乱，突然变得异常静止，警报也会响。

在计算机网络领域，这被称为熵（Entropy）。它衡量的是“无序度”。如果数据流量看起来比平时异常混乱或异常有序，系统就会发出警报。

问题所在
问题在于这种方法过于简单。

想象一次例行的消防演习。突然有500人冲出大楼。保安的“无序度”计数值会激增，但这并不是小偷，而是一个正常的事件。
相反，想象一个非常安静的小偷。他们不会大张旗鼓，只是在办公室之间缓慢行走并窃取文件。由于人群并没有剧烈运动，其“无序度”计数值保持正常。小偷得手了，因为他们没有制造出“混乱”。

旧方法观察的是噪声（混沌），却忽略了故事（谁在做什么，以及他们是如何相互关联的）。

新方法（网络动力学与宏观态）
这篇论文提出了一种观察大楼的新方式。它不再仅仅是计数人数，而是为这个系统创建一个**“宏观态”（Macrostate）**。

可以将“宏观态”想象成对大楼在短时间内（例如60秒窗口内）“氛围”或“性格”的快照。这个快照不仅仅是计数，它捕捉了一个完整的轮廓：

活跃度（Activity）： 正在发生多少事情？（大楼是满员还是空旷？）
无序度（Disorder）： 运动是混乱的还是有序的？（这是旧有的“熵”部分）。
结构（Structure）： 谁在和谁交流？（是每个人都在和所有人聊天，还是一个人正在向特定的几个人低声耳语？）
波动性（Volatility）： 运动是突发且剧烈的，还是平滑的？
持续性（Persistence）： 是否有同样的人在反复走同样的路径？
偏差（Deviation）： 这种“氛围”与“正常情况”相比如何？

类比：管弦乐队

旧方法只听音量。如果管弦乐队的声音变得太大或太小，它就会发出警报。
新方法听的是音乐。它能注意到如果小提琴突然开始敲击架子鼓，或者指挥官在其他人演奏摇篮曲时，正向低音部低声传达指令。即使音量（熵）保持不变，音乐的结构也发生了变化。这种结构的改变就是异常。

实际应用中的运作方式
研究人员在真实的网络数据（如来自 UNSW-NB15 和 CIC-IDS2017 数据集的流量日志）上测试了该方法。他们将这种新的“宏观态”系统与旧有的“仅基于熵”的系统进行了对比。

结果

更好的检测能力： 新系统在识别“安静的小偷”（看起来很有组织而非混乱的攻击）以及忽略“消防演习”（看起来混乱但其实正常的忙碌时期）方面表现得更好。
“60秒”的最佳平衡点： 他们发现，以60秒为一个时间块观察数据效果最好。观察30秒还可以，但观察5分钟则太模糊，无法看到细节。
关键在于故事，而非噪声： 实验表明，通过将“结构”（谁在和谁说话）和“活跃度”（有多忙）添加到“无序度”评分中，使系统变得更加聪明。旧的仅基于熵的方法就像是通过观察屏幕亮度来理解一部电影；而新方法则是在观察剧情。

目前还做不到的事情
这篇论文坦诚地说明了其局限性。

它侧重于网络流量（大楼的走廊），而不是计算机内部发生了什么（办公室），也不是谁拥有钥匙（身份）。
它尚未完全掌握预测下一步的艺术。虽然该系统非常擅长描述当前的“氛围”，但要精确预测下一秒“氛围”将如何变化，仍处于研究阶段。

核心结论
这篇论文的核心观点是：“不要只计算混沌，要开始理解故事。”通过将原始网络数据转化为系统丰富、多维的“性格剖面”，我们可以识别出那些试图隐匿行踪的坏人，即便他们并没有制造出很大的动静。

技术摘要：网络动力学 I：用于行为异常检测的有限宏观态

1. 问题陈述

现代网络防御运行在动态且异构的环境中，其中区分良性业务波动（例如：计划内的备份、云端自动扩缩容）与对抗性重组（例如：高级持续性威胁 APT 的横向移动、协同阶段性活动）是一个核心挑战。现有的异常检测方法，特别是基于熵的方法，通常将网络遥测视为孤立的事件或狭窄的特征向量。这些方法通常将熵计算为针对边缘分布（如源 IP、端口）的标量统计量。

本文认为，这种“标量熵”方法存在两个关键局限性：

表示维度狭窄： 它将系统行为简化为无序度指标，未能捕捉到结构化组织、持久性或协同模式。
静态视角： 它将异常视为单一时间点上的异常分布，忽略了通常表征复杂攻击的临时轨迹和状态转换（regime transitions）。

因此，良性的工作负载漂移可能会模拟攻击引发的不稳定性，而有组织的攻击则可能在保持边缘分布不变的同时，从根本上改变系统结构，从而导致误报或漏报。

2. 方法论：有限宏观态框架

本文提出了一个在规范安全遥测基质（CSTS）上实例化的有限维宏观态框架。该方法将分析重点从孤立的事件记录转向粗粒度的行为状态。

A. 正式构建
该框架通过三个层面运行：

微观态（Microstates）： 基本单元是类型化的网络事件 $e = (\tau, src, dst, svc, proto, dir, attrs)$ ，代表持久实体之间在时间上局部化的交互。
窗口化微观系综（Windowed Micro-Ensembles）： 事件被聚合到时间窗口 $W_t$ 中，形成事件多重集 $E_t$ 。这捕捉了局部的行为上下文，而非孤立的点。
宏观态映射 ( $\Phi$ )： 粗粒化函数将每个系综 $E_t$ $E_{t}$ 映射为一个有限维向量 $X_t \in \mathbb{R}^d$ $X_{t} \in R^{d}$ 。该向量由七个可解释的观测家族组成：
- 活跃度 ( $A_t$ )： 负载与占用情况（例如：流计数、唯一实体数）。
- 无序度 ( $H_t$ )： 分布离散度（针对角色、服务、协议的 Shannon、Rényi 或 Tsallis 熵）。
- 结构有序度 ( $S_t$ )： 交互拓扑（图密度、度集中度、模体计数）。
- 时间挥发性 ( $V_t$ )： 短期不稳定性与突发性。
- 持久性 ( $P_t$ )： 边、路径或模体在不同窗口间的复现性。
- 耦合度 ( $C_t$ )： 行为组件之间的依赖关系（在首次经验性测试中为简化起见而省略）。
- 偏差度 ( $D_t$ )： 与良性基准的距离（例如：Jensen-Shannon 散度）。

B. 动力学分析
该框架将网络行为视为宏观态空间中的一条轨迹 $\{X_t\}$ 。异常检测通过两个机制定义：

状态异常： 当前宏观态 $X_t$ 位于良性状态集 $\mathcal{B}$ 之外。
转换异常： 从 $X_t$ 到 $X_{t+1}$ 的步进偏离了名义转换算子 $T$ ，该算子对预期的良性演化进行建模。这使得即使单个状态看起来是良性的，也能检测出异常的运动。

C. 理论证明
论文提供了形式化命题，证明了：

宏观态映射是定义良好的且具有置换不变性。
仅基于熵的宏观态在结构上是不完整的；不同的微观系综可以具有相同的熵，但具有不同的结构组织。
多尺度分析是必要的，因为异常的可观测性取决于时间分辨率（窗口大小）。

3. 实验设计

该框架在基准网络遥测数据集 UNSW-NB15 和 CIC-IDS2017 上进行了评估。

预处理： 事件被归一化为统一架构，角色被映射，数据按时间顺序排列以保留时间结构。
窗口化： 实验使用了多种尺度 ( $\Delta \in \{30s, 60s, 300s, 900s\}$ ) 及重叠步长。
基准测试： 与以下方法进行对比：
- 仅基于熵的检测器（针对熵向量的阈值法、逻辑回归）。
- 标准异常检测器（在聚合特征上的 Isolation Forest、One-Class SVM 和 Autoencoders）。
消融实验： 研究系统地测试了每个宏观变量家族（活跃度、无序度、结构、挥发性、持久性、偏差度）的贡献。

4. 关键结果

A. 宏观态优于仅基于熵的方法
在两个数据集上，完整的宏观态表示始终优于仅基于熵的基准。

UNSW-NB15： 在 60s 尺度下，完整宏观态实现了 0.9730 的 AUPRC，显著优于表现最好的熵向量基准（One-Class SVM 为 0.9631）。
CIC-IDS2017： 完整宏观态（AUPRC ~0.7917）在 60s 时优于表现最好的熵向量基准（AUPRC ~0.7672）。

B. 结构与时间变量的价值
消融研究表明，增益不仅源于维度的增加，更源于特定的行为组件：

将活跃度添加到无序度中提供了明显的增益，使熵具备了上下文背景。
添加结构有序度带来了最显著的提升，证实了攻击通常表现为有组织的重组，而非仅仅是随机性的增加。
持久性和偏差度提供了最终的、较小但正向的提升。

C. 尺度敏感性
“最佳”宏观态组合随时间尺度而变化。例如，在 CIC-IDS2017 上，中间规模的 $A+H+V$ （活跃度、无序度、挥发性）配置在 30s 时最强，而完整的宏观态在 60s 时表现最好。这支持了“异常可见性取决于尺度”的理论主张。

D. 转换评分的局限性
与理论预期相反，转换感知评分（状态 + 转换融合）在初步实验中并未优于仅基于状态的评分。作者将其归因于所使用的名义转换算子过于简单（例如：朴素的持久性、线性回归），这表明实现完整的动力学收益需要更复杂的轨迹建模。

5. 重要性与主张

本文将自身定位为更广泛的“网络动力学”计划中的第一步经验研究。其主要贡献和主张包括：

从标量到状态的转变： 它证明了网络异常检测更适合被构架为一个行为状态空间构建问题，而非标量异常检测问题。
熵是坐标而非解决方案： 它证明了虽然熵是一个有用的组成部分，但对于涉及结构重组的复杂网络行为，它不足以作为独立的描述符。
可解释性： 宏观态框架提供了一种紧凑且可解释的表示（活跃度、结构、挥发性等），允许分析师理解状态为何异常，而不只是知道其异常。
基础基质： 通过在 CSTS 上实例化该框架，本文建立了一个可移植的规范基础，可跨网络、终端及异构遥测，为未来的稳定性、恢复能力及跨模态分析奠定了基础。

作者明确指出了局限性：转换评分的结果是初步的，多尺度融合尚未优于最佳单尺度模型，且目前的评估是以网络为中心的。这些被界定为“论文 I”的边界以及“网络动力学 II 和 III”的路线图，而非失败。