Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

Sintesi Tecnica: Denoising Wavelet basato su RL e consapevole del Drift per il Rilevamento di Anomalie nel Traffico di Rete

Problematica
Il monitoraggio del traffico di rete si affida a misurazioni granulari dell'utilizzo per guidare le decisioni operative, specificamente il rilevamento di anomalie (identificazione di escursioni di carico a breve durata) e la stima della capacità (quantificazione del 95° percentile dell'utilizzo, $C_{95}$). Tuttavia, i dati di telemetria sono corrotti da due fattori distinti: rumore di fondo stazionario e drift statistico. Il drift si riferisce a cambiamenti nel tempo della media, della varianza, della forma distributiva o del comportamento della coda del segnale.

I metodi tradizionali di denoising wavelet (es. VisuShrink, Sure-Shrink) si basano su soglie statiche calibrate sotto assunzioni gaussiane stazionarie e indipendenti e identicamente distribuite (i.i.d.). In presenza di drift, queste regole statiche diventano sbilanciate. A rapporti segnale-rumore (SNR) moderati o elevati, soglie fisse aggressive possono sopprimere eccessivamente la struttura utile del segnale, cancellando proprio i burst transitori necessari per il rilevamento delle anomalie e influenzando negativamente le statistiche della coda superiore necessarie per la stima della capacità. Di conseguenza, l'ottimizzazione della fedeltà di ricostruzione (minimizzazione dell'Errore Quadratico Medio) spesso degrada le prestazioni dei task a valle.

Metodologia
Gli autori propongono un framework consapevole del drift che tratta il denoising wavelet adattivo come uno strato di pre-elaborazione ottimizzato per l'utilità del task a valle piuttosto che per la fedeltà di ricostruzione del segnale. Il sistema opera in due fasi:

1. Gate di Rilevamento del Drift:
   Prima del denoising, un segnale a finestra viene analizzato da un ensemble di quattro rilevatori per determinare se il regime statistico è cambiato. I rilevatori sono:

   • Page-Hinkley (PH): rileva spostamenti della media.
   • Rapporto di Varianza (Variance-Ratio): rileva cambiamenti della varianza (eteroschedasticità).
   • Divergenza di Jensen-Shannon (JSD): rileva divergenze strutturali (cambiamenti nella forma della distribuzione).
   • Anderson-Darling (AD): rileva l'amplificazione della coda (rumore impulsivo).

   Questi rilevatori producono flag binari e statistiche continue, che vengono fuse tramite un operatore logico OR per creare un segnale di gate ($G_m$). Se non viene rilevato alcun drift, viene applicato un denoiser base fisso (VisuShrink). Se viene rilevato un drift, viene invocato un agente di Reinforcement Learning (RL).

2. Denoising Adattivo basato su RL:
   La componente adattiva è formulata come un Processo Decisionale di Markov (MDP) risolto tramite Proximal Policy Optimization (PPO).

   • Spazio degli Stati: include descrittori del segnale (media, varianza, MAD), descrittori sensibili al cambiamento (cambiamenti relativi rispetto alla cronologia) e l'intero vettore di evidenza del detector (flag e statistiche).
   • Spazio delle Azioni: uno spazio misto discreto-continuo che seleziona la configurazione wavelet: wavelet madre, profondità di decomposizione, funzione di soglia (soft/hard), strategia di selezione della soglia, un guadagno di soglia continuo e un parametro di modellazione per scala.
   • Funzione di Reward: diversamente dal lavoro precedente, il reward è guidato dall'utilità del task. È una combinazione convessa di:
     • Il guadagno nel F1 score del rilevamento anomalie (confrontando il segnale denoised rispetto al segnale raw contro i burst reali).
     • La riduzione dell'errore di stima della capacità ($| \hat{C}_{95} - C_{95} |$).

   Il target dell'anomalia è definito sul segnale pulito, e il gate del drift opera sulla corruzione, garantendo che le fasi non siano circolari.

Contributi Chiave

• Formulazione Consapevole del Task: il paper formula il denoising wavelet adattivo come un problema decisionale sequenziale ottimizzato per specifici task di monitoraggio (rilevamento e stima della capacità) piuttosto che per la generica fedeltà di ricostruzione.
• Gate di Drift Complementare: un innovativo gate a quattro rilevatori (PH, VAR, JSD, AD) permette alla policy RL di condizionarsi sulla presenza, sul tipo e sull'intensità del drift, consentendo un adattamento mirato.
• Design di Task Discriminante: definendo le anomalie come burst transitori multi-scala (che i filtri passa-basso rimuovono ma le wavelet preservano), il framework distingue esplicitamente il denoising wavelet dal semplice smoothing.
• RL con Spazio di Azione Misto: l'integrazione di PPO su uno spazio di azione misto discreto-continuo consente un controllo fine sui parametri wavelet (scelta della wavelet madre, profondità, strategia di soglia e guadagno continuo).
• Benchmarking Completo: il metodo è testato contro un filtro a media mobile passa-basso, regole di shrinkage classiche (VisuShrink, SureShrink, BayesShrink) e un filtro di Wiener attraverso quattro tipi di drift e un ampio intervallo di SNR in ingresso.

Risultati Sperimentali
Il framework è stato valutato su dati sintetici di utilizzo del traffico aumentati con quattro tipi di drift (spostamento della media, variazione della varianza, divergenza strutturale, amplificazione della coda) attraverso SNR da -10 dB a 30 dB.

• Rilevamento del Drift: il gate fuso ha raggiunto un tasso di veri positivi del 91,54% per il rilevamento del drift con un basso tasso di falsi allarmi (1,23% sui controlli senza drift), indirizzando efficacemente i segnali verso il ramo di denoising appropriato.
• Prestazioni di Denoising (Miglioramento SNR): la policy RL ha costantemente superato il baseline fisso VisuShrink in termini di miglioramento del rapporto segnale-rumore ($\Delta$SNR). In particolare, ad alti SNR in ingresso (20–30 dB), il baseline fisso è diventato controproducente ( $\Delta$SNR negativo), distruggendo l'energia del segnale, mentre la policy RL è rimasta vantaggiosa o ha causato solo un lieve degrado.
• Rilevamento Anomalie: il metodo proposto ha ottenuto l'Area Sotto la Curva (AUC) più elevata per il rilevamento di anomalie transitorie su tre dei quattro tipi di drift tra tutti i metodi di denoising, avvicinandosi alle prestazioni dell'oracle (segnale pulito). Ha superato significativamente i filtri passa-basso, che hanno smussato i burst transitori.
• Stima della Capacità: la policy RL ha prodotto l'errore più basso nella stima di $C_{95}$ in tutti i tipi di drift e SNR. Le regole di shrinkage fisse tendevano o a sovra-dimensionare (a causa dell'inflazione del rumore) o a sotto-dimensionare (a causa dell'eccessivo smoothing), mentre la policy adattiva ha tracciato con maggiore accuratezza la coda superiore.
• Significatività Statistica: i test Wilcoxon signed-rank appaiati hanno confermato che i miglioramenti del metodo proposto sia nell'AUC che nell'errore di capacità sono statisticamente significativi rispetto a tutti i baseline.

Significato e Rivendicazioni
Il paper sostiene che l'ottimizzazione del denoising per l'utilità del task a valle sia superiore all'ottimizzazione della fedeltà di ricostruzione in ambienti di rete non stazionari. La portata principale risiede nella dimostrazione che una policy appresa può adattarsi dinamicamente al drift statistico, evitando il fallimento del modello "one-size-fits-all" delle regole wavelet statiche. Nello specifico, il framework evita lo smoothing eccessivo delle dinamiche di carico reali ad alto SNR, un modo critico di fallimento per i metodi di sogliatura fissa. Gli autori osservano che, sebbene gli attuali risultati utilizzino un sostituto sintetico per la valutazione finale della policy (a causa di vincoli di disponibilità dei dati al momento della stesura), la metodologia e i risultati del rilevamento del drift derivano dall'originale pipeline sperimentale, e il framework è progettato per essere validato su telemetria di traffico reale pubblica in lavori futuri.