Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

技术摘要：用于网络流量异常检测的漂移感知强化学习（RL）小波去噪

问题陈述
网络流量监控依赖于细粒度的利用率测量，以驱动运营决策，特别是异常检测（识别短时负载激增）和容量估计（量化第95百分位数利用率，$C_{95}$）。然而，遥测数据受到两种不同因素的干扰：平稳背景噪声和统计漂移。漂移是指信号在均值、方差、分布形状或尾部行为随时间发生的改变。

传统的统计小波去噪方法（如 VisuShrink、SureShrink）依赖于在平稳、独立同分布（i.i.d.）高斯假设下校准的静态阈值。在存在漂移的情况下，这些静态规则会发生失配。在中高信噪比（SNR）下，过于激进的固定阈值会过度抑制有用的信号结构，从而抹除用于异常检测所需的瞬态脉冲，并使用于容量估计的上尾统计特性产生偏差。因此，优化重建保真度（最小化均方误差 MSE）往往会降低下游任务的性能。

方法论
作者提出了一种漂移感知框架，将自适应小波去噪视为一个预处理层，其优化目标是下游任务的效用，而非通用的信号重建保真度。该系统分为两个阶段运行：

1. 漂移检测门（Drift Detection Gate）：
   在去噪之前，通过一个四检测器集成对窗口化信号进行分析，以确定统计机制是否发生了偏移。这些检测器包括：

   • Page-Hinkley (PH)： 检测均值偏移。
   • 方差比（Variance-Ratio）： 检测方差变化（异方差性）。
   • Jensen-Shannon 散度 (JSD)： 检测结构性差异（分布形状变化）。
   • Anderson-Darling (AD)： 检测尾部放大（脉冲噪声）。

   这些检测器产生二值标志和连续统计量，并通过逻辑“或”（OR）运算融合生成门控信号（$G_m$）。如果没有检测到漂移，则应用固定的基准去噪器（VisuShrink）。如果检测到漂移，则调用强化学习（RL）智能体。

2. 基于强化学习的自适应去噪：
   自适应组件被建模为一个马尔可夫决策过程（MDP），并使用**近端策略优化（PPO）**进行求解。

   • 状态空间： 包括信号描述符（均值、方差、绝对中位偏差 MAD）、变化敏感型描述符（相对于历史记录的相对变化）以及完整的检测器证据向量（标志位和统计量）。
   • 动作空间： 一个混合离散-连续空间，用于选择小波配置：母小波、分解深度、阈值函数（软/硬阈值）、阈值选择策略、连续阈值增益以及逐尺度整形参数。
   • 奖励函数： 与以往工作不同，该奖励是任务效用驱动的。它是以下各项的凸组合：
     • 异常检测 F1 分数的增益（将去噪后的信号与原始信号针对真实突发情况进行对比）。
     • 容量估计误差（$| \hat{C}_{95} - C_{95} |$）的降低。

   异常目标定义在干净信号上，而漂移门作用于受损信号，确保了各阶段之间的非循环性。

核心贡献

• 任务感知建模： 本文将自适应小波去噪表述为一个针对特定下游监控任务（检测与容量估计）进行优化的序列决策问题，而非通用的重建保真度优化。
• 互补的漂移门： 一个新型的四检测器门（PH、VAR、JSD、AD）允许 RL 策略根据漂移的存在、类型和强度进行条件化处理，从而实现针对性的自适应。
• 判别性任务设计： 通过将异常定义为多尺度瞬态脉冲（低通滤波器会移除但小波能保留），该框架明确区分了小波去噪与朴素平滑。
• 混合动作空间 RL： 通过在混合离散-连续动作空间上集成 PPO，实现了对小波参数（母小波选择、深度、阈值策略及连续增益）的精细控制。
• 全面的基准测试： 该方法在四种漂移类型和广泛的输入信噪比范围内，针对低通移动平均滤波器、经典收缩规则（VisuShrink、SureShrink、BayesShrink）以及维纳（Wiener）滤波器进行了对比评估。

实验结果
该框架在增强了四种漂移类型（均值偏移、方差变化、结构性差异、尾部放大）的合成流量利用率数据上进行了评估，信噪比范围从 -10 dB 到 30 dB。

• 漂移检测： 融合门实现了 91.54% 的漂移检测真阳性率，且误报率较低（在无漂移对照组中为 1.23%），有效地将信号路由至相应的去噪分支。
• 去噪性能（SNR 提升）： RL 策略在 SNR 提升（$\Delta$SNR）方面始终优于固定的 VisuShrink 基准。值得注意的是，在高输入信噪比（20–30 dB）下，固定基准会产生负面影响（$\Delta$SNR 为负），即破坏了信号能量，而 RL 策略仍能保持增益或仅产生轻微退化。
• 异常检测： 在三种漂及四种漂移类型中，该方法在瞬态异常检测的曲线下面积（AUC）方面取得了最高值，接近于 Oracle（干净信号）的表现。它显著优于低通滤波器，后者会抹平瞬态脉冲。
• 容量估计： 在所有漂移类型和信噪比下，RL 策略在估计 $C_{95}$ 方面的误差最低。固定收缩规则往往会导致过度配置（由于噪声膨胀）或配置不足（由于过度平滑），而自适应策略能更准确地追踪上尾部。
• 统计显著性： 配对 Wilcoxon 符号秩检验证实，该方法在 AUC 和容量误差方面的改进与所有基准方法相比均具有统计学意义。

意义与主张
本文主张，在非平稳网络环境中，针对下游任务效用进行优化优于针对重建保真度的优化。其主要意义在于证明了学习到的策略可以动态适应统计漂移，从而避免了“一刀切”式静态小波规则的失效。具体而言，该框架防止了在高信噪比下过度平滑真实的负载动态，而这正是固定阈值方法的关键失效模式。作者指出，虽然目前的实验结果使用了合成数据作为最终策略评估的替代（由于撰写时的数据获取限制），但其方法论和漂移检测结果均源自原始实验流水线，且该框架旨在未来在公开的真实世界流量遥测数据上进行验证。