Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

Technische Samenvatting: Drift-bewuste RL-gebaseerde Wavelet Denoising voor Netwerkverkeer-anomaliedetectie

Probleemstelling
Netwerkverkeersmonitoring vertrouwt op fijnmazige gebruiksmetingen om operationele beslissingen aan te sturen, specifiek anomaliedetectie (het identificeren van kortstondige belastingpieken) en capaciteitschatting (het kwantificeren van het 95e percentiel van de benutting, $C_{95}$). Echter, telemetriegegevens worden gecorrumpeerd door twee verschillende factoren: stationaire achtergrondruis en statistische drift. Drift verwijst naar tijdafhankelijke veranderingen in het gemiddelde, de variantie, de vorm van de distributie of het gedrag van de staart van het signaal.

Traditionele wavelet denoising-methoden (bijv. VisuShrink, SureShrink) vertrouwen op statische drempelwaarden die gekalibreerd zijn onder stationaire, onafhankelijk en identiek verdeelde (i.i.d.) Gaussische aannames. Onder invloed van drift raken deze statische regels niet meer afgestemd. Bij matige tot hoge signaal-ruisverhoudingen (SNR) kunnen agressieve vaste drempelwaarden de nuttige signaalstructuur te sterk onderdrukken, waardoor de zeer relevante transiënte pieken die nodig zijn voor anomaliedetectie worden gewist en de statistieken van de bovenstaander staart, die nodig zijn voor capaciteitschatting, worden vertekend. Gevolgedelijk leidt het optimaliseren voor reconstructietrouw (het minimaliseren van de Mean Squared Error) vaak tot een verslechtering van de prestaties van de downstream-taken.

Methodologie
De auteurs stellen een drift-bewust framework voor dat adaptieve wavelet denoising behandelt als een preprocessing-laag die geoptimaliseerd is voor de bruikbaarheid voor downstream-taken in plaats van voor de reconstructietrouw van het signaal. Het systeem werkt in twee fasen:

1. Drift Detection Gate:
   Voordat de denoising plaatsvindt, wordt een venster van het signaal geanalyseerd door een ensemble van vier detectoren om te bepalen of het statistische regime is verschoven. De detectoren zijn:

   • Page-Hinkley (PH): Detecteert verschuivingen in het gemiddelde.
   • Variance-Ratio: Detecteert veranderingen in de variantie (heteroscedasticiteit).
   • Jensen-Shannon Divergence (JSD): Detecteert structurele divergentie (veranderingen in de vorm van de distributie).
   • Anderson-Darling (AD): Detecteert staartversterking (impulsieve ruis).

   Deze detectoren produceren binaire vlaggen en continue statistieken, die worden samengevoegd via een logische OR-poort om een gate-signaal ($G_m$) te creëren. Als er geen drift wordt gedetecteerd, wordt een vaste baseline denoiser (VisuShrink) toegepast. Als er wel drift wordt gedetecteerd, wordt een Reinforcement Learning (RL) agent aangeroepen.

2. RL-gebaseerde Adaptieve Denoising:
   Het adaptieve component wordt geformuleerd als een Markov Decision Process (MDP) die wordt opgelost met behulp van Proximal Policy Optimization (PPO).

   • State Space: Bevat signaalbeschrijvingen (gemiddelde, variantie, MAD), verandergevoelige beschrijvingen (relatieve veranderingen ten opzichte van de historie) en de volledige detector-evidencevector (vlaggen en statistieken).
   • Action Space: Een gemengde discrete-continue ruimte die de wavelet-configuratie selecteert: moeder-wavelet, decompositiediepte, thresholding-functie (soft/hard), strategie voor drempelselectie, een continue drempel-gain en een per-schaal vormparameter.
   • Reward Function: In tegenstelling tot eerder werk is de beloning task-utility gedreven. Het is een convexe combinatie van:
     • De winst in de F1-score voor anomaliedetectie (vergelijking tussen gedenoised vs. rauw signaal tegen de grondwaarheid van de pieken).
     • De reductie in de capaciteitschatingsfout ($| \hat{C}_{95} - C_{95} |$).

   Het anomalie-doel is gedefinieerd op het schone signaal, en de drift gate opereert op de corruptie, waardoor de fasen niet circulair zijn.

Belangrijkste Bijdragen

• Task-Aware Formulering: Het artikel formuleert adaptieve wavelet denoising als een sequentieel beslissingsprobleem dat geoptimaliseerd is voor specifieke downstream monitoring-taken (detectie en capaciteitschatting) in plaats van generieke reconstructietrouw.
• Complementaire Drift Gate: Een innovatieve vier-detector gate (PH, VAR, JSD, AD) maakt het mogelijk voor de RL-policy om te conditioneren op de aanwezigheid, het type en de intensiteit van de drift, wat gerichte adaptatie mogelijk maakt.
• Discriminerend Taakontwerp: Door anomalieën te definiëren als multi-schaal transiënte pieken (die low-pass filters verwijderen maar wavelets behouden), onderscheidt het framework expliciet wavelet denoising van naïeve smoothing.
• Mixed Action Space RL: De integratie van PPO over een gemengde discrete-continue action space maakt fijne controle mogelijk over wavelet-parameters (keuze van moeder-wavelet, diepte, thresholding-strategie en continue gain).
• Uitgebreide Benchmarking: De methode wordt vergeleken met een low-pass moving-average filter, klassieke shrinkage-regels (VisuShrink, SureShrink, BayesShrink) en een Wiener-filter over vier drift-typen en een breed bereik aan input SNRs.

Experimentele Resultaten
Het framework werd geëvalueerd op synthetische verkeersbenuttingsdata, aangevuld met vier drift-typen (gemiddeldeverschuiving, variantieverandering, structurele divergentie en staartversterking) over SNRs van -10 dB tot 30 dB.

• Drift Detection: De gefuseerde gate behaalde een true-positive rate van 91,54% voor driftdetectie met een lage false-alarm rate (1,23% op no-drift controles), waardoor signalen effectief naar de juiste denoising-tak werden geleid.
• Denoising Performance (SNR Verbetering): De RL-policy presteerde consequent beter dan de vaste VisuShrink-baseline in termen van SNR-verbetering ($\Delta$SNR). Opvallend genoeg werd de vaste baseline bij hoge input SNRs (20–30 dB) contraproductief (negatieve $\Delta$SNR), waarbij de signaalenergie werd vernietigd, terwijl de RL-policy gunstig bleef of slechts milde degradatie veroorzaakte.
• Anomaliedetectie: De voorgestelde methode behaalde de hoogste Area Under the Curve (AUC) voor transiënte anomaliedetectie op drie van de vier drift-typen vergeleken met alle denoising-methoden, waarbij de prestaties van de oracle (het schone signaal) benaderden. Het presteerde aanzienlijk beter dan low-pass filters, die de transiënte pieken uitvlakten.
• Capaciteitschatting: De RL-policy leverde de laagste fout in de schatting van $C_{95}$ over alle drift-typen en SNRs. Vaste shrinkage-regels neigden ofwel tot over-provisioning (door ruisinflatie) of onder-provisioning (door overmatige smoothing), terwijl de adaptieve policy de bovenste staart nauwkeuriger volgde.
• Statistische Significantie: Paired Wilcoxon signed-rank tests bevestigden dat de verbeteringen van de voorgestelde methode in zowel AUC als capaciteitsfout statistisch significant waren vergeleken met alle baselines.

Betekenis en Claims
Het artikel claimt dat het optimaliseren van denoising voor downstream task utility superieur is aan het optimaliseren voor reconstructietrouw in niet-stationaire netwerkomgevingen. De primaire betekenis ligt in de demonstratie dat een geleerd beleid dynamisch kan adapteren aan statistische drift, waardoor de "one-size-fits-all" mislukking van statische wavelet-regels wordt vermeden. Specifiek voorkomt het framework het overmatig gladstrijken van echte belastingsdynamiek bij een hoge SNR, een kritiek faalmechanisme voor vaste thresholding-methoden. De auteurs merken op dat hoewel de huidige resultaten een synthetische stand-in gebruiken voor de uiteindelijke beleusevaluatie (vanwege beperkingen in de beschikbaarheid van data op het moment van schrijven), de methodologie en de resultaten van de drift-detectie afkomstig zijn uit de originele experimentele pijplijn, en dat het framework is ontworpen om in de toekomst gevalideerd te worden op publieke real-world netwerkverkeer-telemetrie.