Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

技術要約：ネットワークトラフィックのアノマリー検知に向けた、ドリフトを考慮したRLベースのウェーブレット・デノイジング

問題提起
ネットワークトラフィックのモニタリングは、運用上の意思決定（具体的には、短時間の負荷急増であるアノマリー検知、および利用率の95パーセンタイル $C_{95}$ を定量化するキャパシティ推定）を駆動するために、きめ細かな利用率測定に依存している。しかし、テレメトリデータは、定常的な背景ノイズと統計的ドリフトという2つの異なる要因によって汚染されている。ドリフトとは、信号の平均、分散、分布の形状、またはテールの挙動における時間依存の変化を指す。

従来のウェーブレット・デノイジング手法（VisuShrinkやSureShrinkなど）は、定常的かつ独立同一分布（i.i.d.）のガウス仮定に基づき校正された静的な閾値に依存している。ドリフトが発生した場合、これらの静的なルールは不適合となる。中程度から高い信号対雑音比（SNR）において、アグレッシブな固定閾値は有用な信号構造を過剰に抑制してしまい、アノマリー検知に必要な一過性のバーストを消失させ、キャパシティ推定に必要な上側テールの統計量を歪ませる。その結果、再構成の忠実度（平均二乗誤差の最小化）を最適化しようとすると、ダウンストリームのタスク性能が低下してしまう。

手法
著者らは、適応型ウェーブレット・デノイジングを、信号の再構成忠実度ではなく、ダウンストリーム・タスクのユーティリティ（有用性）を最適化するためのプリプロセッシング層として扱うドリフト考慮型フレームワークを提案している。本システムは2段階で動作する。

1. ドリフト検知ゲート:
   デノイジングの前に、ウィンドウ化された信号が4つの検出器によるアンサンブルによって分析され、統計的レジームが変化したかどうかが判断される。検出器は以下の通りである：

   • Page-Hinkley (PH): 平均の変化を検知する。
   • 分散比 (Variance-Ratio): 分散の変化（不均一分散性）を検知する。
   • イェンセン・シャノンダイバージェンス (JSD): 構造的な乖離（分布形状の変化）を検知する。
   • アンダーソン・ダーリング (AD): テールの増幅（インパルス的なノイズ）を検知する。

   これらの検出器はバイナリフラグと連続的な統計量を出力し、それらは論理和（OR）を通じて融合され、ゲート信号 ($G_m$) を生成する。ドリフトが検出されない場合は、固定のベースライン・デノイザー（VisuShrink）が適用される。ドリフトが検出された場合は、強化学習（RL）エージェントが呼び出される。

2. RLベースの適応型デノイジング:
   適応コンポーネントは、**近接方策最適化（PPO）**を用いて解かれるマルコフ決定過程（MDP）として定式化されている。

   • 状態空間: 信号記述子（平均、分散、MAD）、変化に敏感な記述子（履歴からの相対変化）、および完全な検出器のエビデンスベクトルを含む。
   • 行動空間: 母ウェーブレット、分解深度、閾値関数（ソフト/ハード）、閾値選択戦略、連続的な閾値ゲイン、およびスケールごとのシェイピングパラメータを選択する、混合離散・連続空間である。
   • 報酬関数: 従来の研究とは異なり、報酬はタスク・ユーティリティ駆動型である。これは以下の凸結合である：
     • アノマリー検知F1スコアの向上（グラウンドトゥルースのバーストに対する、デノイズ後信号と生信号の比較）。
     • キャパシティ推定誤差 ($| \hat{C}_{95} - C_{95} |$) の減少。

   アノマリーのターゲットはクリーンな信号上で定義され、ドリフトゲートは汚染部分に対して動作するため、各ステージは非循環的（non-circular）である。

主な貢献

• タスク認識型の定式化: 適応型ウェーブレット・デノイジングを、一般的な再構成の忠実度ではなく、特定のダウンストリーム・モニタリング・タスク（検知およびキャパシティ推定）に対して最適化される逐次決定問題として定式化した。
• 補完的なドリフトゲート: 4つの検出器（PH, VAR, JSD, AD）による新しいゲートにより、RLポリシーがドリフトの存在、種類、および強度に基づいて条件付けられることを可能にし、標的を絞った適応を実現している。
• 識別的なタスク設計: アノマリーをマルチスケールの過渡的バースト（ローパスフィルタは除去するが、ウェーブレットは保持するもの）として定義することで、本フレームワークはウェーブレット・デノイジングと単純な平滑化を明確に区別している。
• 混合アクション空間RL: 混合離散・連続アクション空間におけるPPOの統合により、ウェーブレットパラメータ（母ウェーブレットの選択、深度、閾値戦略、および連続的なゲイン）の微細な制御が可能となった。
• 包括的なベンチマーク: 提案手法は、4種類のドリフトと幅広い入力SNRに対し、低パス移動平均フィルタ、古典的な収縮ルール（VisuShrink, SureShrink, BayesShrink）、およびウィーナーフィルタと比較して評価されている。

実験結果
本フレームワークは、4種類のドリフト（平均シフト、分散変化、構造的乖離、テール増幅）が付加された合成トラフィック利用率データを用い、SNR -10 dBから30 dBの範囲で評価された。

• ドリフト検知: 融合されたゲートは、ドリフト検知において91.54%の真陽性率を達成し、低い偽陽性率（ドリフトなしのコントロールに対して1.23%）を実現しており、信号を適切なデノイジング・ブランチへと効果的にルーティングしている。
• デノイジング性能 (SNR向上): RLポリシーは、SNR向上（$\Delta$SNR）において、固定のVisuShrinkベースラインを一貫して上回った。特筆すべきは、高入力SNR（20–30 dB）において、固定ベースラインは逆効果（負の$\Delta$SNR）となり信号エネルギーを破壊したが、RLポリシーは有益であるか、あるいは軽微な劣化にとどまった点である。
• アノマリー検知: 提案手法は、4つのドリフトタイプのうち3つにおいて、すべてのデノイジング手法の中で最も高いAUC（曲線下の面積）を達成し、オラクル（クリーン信号）の性能に迫る結果となった。これは、過渡的なバーストを塗りつぶしてしまう低パスフィルタを大幅に上回っている。
• キャパシティ推定: RLポリシーは、すべてのドリフトタイプおよびSNRにおいて、$C_{95}$ 推定における最小の誤差を記録した。固定の収縮ルールは、ノイズの膨張による過剰プロビジョニング、あるいは過度な平滑化による過小プロビジョニングのいずれかに陥る傾向があるが、適応ポリシーは上側テールをより正確に追跡した。
• 統計的有意性: ペア・ウィルコクソン符号付き順位検定により、提案手法によるAUCおよびキャパシティ誤差の改善が、すべてのベースラインと比較して統計的に有意であることが確認された。

意義と主張
本論文は、非定常なネットワーク環境においては、デノイジングを再構成の忠実度のために最適化するよりも、ダウンストリーム・タスクのユーティリティのために最適化する方が優れていると主張している。主な意義は、学習されたポリシーが統計的ドリフトに動的に適応できることを示した点にあり、これにより、固定的な閾値ルールが陥る「一律の解決策（one-size-fits-all）」の失敗を回避できることにある。具体的には、本フレームワークは、高SNR時における真正な負荷ダイナミクスの過剰平滑化を防いでおり、これは固定閾値法における重要な失敗モードである。著者らは、現在の結果は（執筆時点でのデータ可用性の制約により）最終的なポリシー評価のための合成的な代用を用いているものの、ドリフト検知の結果は元の実験パイプラインから導出されており、本フレームワークは将来的に公開された実世界のトラフィック・テレメトリで検証されるよう設計されていると述べている。