Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

Technisches Resümee: Drift-bewusste RL-basierte Wavelet-Entrauschung zur Anomalieerkennung im Netzwerkverkehr

Problemstellung
Die Überwachung des Netzwerkverkehrs stützt sich auf feingliedrige Auslastungsmessungen, um operative Entscheidungen zu steuern, insbesondere die Anomalieerkennung (Identifizierung kurzlebiger Lastabweichungen) und die Kapazitätsabschätzung (Quantifizierung des 95. Perzentils der Auslastung, $C_{95}$). Die Telemetriedaten sind jedoch durch zwei unterschiedliche Faktoren korrumpiert: stationäres Hintergrundrauschen und statistischen Drift. Unter Drift versteht man zeitabhängige Änderungen im Mittelwert, der Varianz, der Verteilungsform oder des Tail-Verhaltens des Signals.

Traditionelle Wavelet-Entrauschungsmethoden (z. B. VisuShrink, SureShrink) basieren auf statischen Schwellenwerten, die unter der Annahme von stationären, identisch und unabhängig verteilten (i.i.d.) Gauß-Verteilungen kalibriert sind. Unter Drift werden diese statischen Regeln inkonsistent. Bei moderaten bis hohen Signal-Rausch-Verhältnissen (SNR) können aggressive feste Schwellenwerte die nützliche Signalstruktur übermäßig unterdrücken, wodurch genau jene transienten Bursts ausgelöscht werden, die für die Anomalieerkennung erforderlich sind, und die statistischen Werte des oberen Tails, die für die Kapazitätsabschätzung benötigt werden, verzerrt werden. Folglich führt die Optimierung der Rekonstruktionstreue (Minimierung des mittleren quadratischen Fehlers, MSE) oft zu einer Verschlechterung der Leistung bei nachgeschalteten Aufgaben.

Methodik
Die Autoren schlagen ein drift-bewusstes Framework vor, das die adaptive Wavelet-Entrauschung als eine Vorverarbeitungsschicht behandelt, die auf den Nutzen für nachgeschaltete Aufgaben (Downstream Task Utility) optimiert ist, anstatt auf die Rekonstruktionstreue des Signals. Das System operiert in zwei Stufen:

1. Drift-Detection-Gate (Drift-Erkennungs-Tor):
   Vor der Entrauschung wird ein fensterbasiertes Signal durch ein Ensemble aus vier Detektoren analysiert, um zu bestimmen, ob sich das statistische Regime verschoben hat. Die Detektoren sind:

   • Page-Hinkley (PH): Erkennt Mittelwertverschiebungen.
   • Varianz-Verhältnis (Variance-Ratio): Erkennt Änderungen der Varianz (Heteroskedastizität).
   • Jensen-Shannon-Divergenz (JSD): Erkennt strukturelle Divergenzen (Änderungen der Verteilungsform).
   • Anderson-Darling (AD): Erkennt Tail-Verstärkungen (impulsives Rauschen).

   Diese Detektoren erzeugen binäre Flags und kontinuierliche Statistiken, die über ein logisches ODER zu einem Gate-Signal ($G_m$) fusioniert werden. Wenn kein Drift erkannt wird, wird ein fester Basis-Entrauscher (VisuShrink) angewendet. Wenn ein Drift erkannt wird, wird ein Reinforcement-Learning-Agent (RL) aufgerufen.

2. RL-basierte adaptive Entrauschung:
   Die adaptive Komponente wird als Markov-Entscheidungsprozess (MDP) formuliert, der mittels Proximal Policy Optimization (PPO) gelöst wird.

   • Zustandsraum (State Space): Umfasst Signaldeskriptoren (Mittelwert, Varianz, MAD), veränderungssensitive Deskriptoren (relative Änderungen aus der Historie) und den vollständigen Detektor-Evidenzvektor (Flags und Statistiken).
   • Aktionsraum (Action Space): Ein gemischter diskret-kontinuierlicher Raum zur Auswahl der Wavelet-Konfiguration: Mutter-Wavelet, Zerlegungs-Tiefe (Decomposition Depth), Thresholding-Funktion (Soft/Hard), Schwellenwert-Auswahlstrategie, ein kontinuierlicher Schwellenwert-Gain sowie ein Parameter zur Formgebung pro Skala (Per-Scale Shaping Parameter).
   • Belohnungsfunktion (Reward Function): Im Gegensatz zu bisherigen Arbeiten ist die Belohnung aufgabenorientiert (task-utility driven). Sie ist eine konvexe Kombination aus:
     • Dem Gewinn des F1-Scores der Anomalieerkennung (Vergleich des entrauschten vs. des Rohsignals gegenüber dem Ground-Truth der Bursts).
     • Der Reduktion des Fehlers der Kapazitätsabschätzung ($| \hat{C}_{95} - C_{95} |$).

   Das Anomalie-Ziel ist auf dem sauberen Signal definiert, und das Drift-Gate operiert auf der Korruption, wodurch sichergestellt wird, dass die Phasen nicht zirkulär sind.

Wesentliche Beiträge

• Aufgabenorientierte Formulierung: Die Arbeit formuliert die adaptive Wavelet-Entrauschung als sequenzielles Entscheidungsproblem, das auf spezifische nachgeschaltete Monitoring-Aufgaben (Erkennung und Kapazitätsabschätzung) optimiert ist, statt auf eine generische Rekonstruktionstreue.
• Komplementäres Drift-Gate: Ein neuartiges Vier-Detektor-Gate (PH, VAR, JSD, AD) ermöglicht es dem RL-Policy, auf das Vorhandensein, die Art und die Intensität des Drifts zu konditionieren, was eine gezielte Anpassung ermöglicht.
• Diskriminierende Aufgaben-Gestaltung: Durch die Definition von Anomalien als multiskalige transiente Bursts (die Tiefpassfilter entfernen, aber Wavelets bewahren) unterscheidet das Framework explizit zwischen Wavelet-Entrauschung und naivem Glättungsverfahren.
• RL mit gemischtem Aktionsraum: Die Integration von PPO über einen gemischten diskret-kontinuierlichen Aktionsraum ermöglicht eine feingliedrige Kontrolle über Wavelet-Parameter (Wahl des Mutter-Wavelets, Tiefe, Thresholding-Strategie und kontinuierlicher Gain).
• Umfassendes Benchmarking: Die Methode wird gegen einen Tiefpass-Gleitmittelwert-Filter, klassische Shrinkage-Regeln (VisuShrink, SureShrink, BayesShrink) und einen Wiener-Filter über vier Drift-Typen und ein breites Spektrum an Eingangs-SNRs getestet.

Experimentelle Ergebnisse
Das Framework wurde auf synthetischen Traffic-Auslastungsdaten evaluiert, die mit vier Drift-Typen (Mittelwertverschiebung, Varianzänderung, strukturelle Divergenz und Tail-Verstärkung) über SNRs von -10 dB bis 30 dB ergänzt wurden.

• Drift-Erkennung: Das fusionierte Gate erreichte eine True-Positive-Rate für die Drift-Erkennung von 91,54 % bei einer niedrigen Fehlalarmrate (1,23 % bei No-Drift-Kontrollen) und leitete Signale somit effektiv in den entsprechenden Entrauschungszweig.
• Entrauschungsleistung (SNR-Verbesserung): Die RL-Policy übertraf die feste VisuShrink-Baseline konsistent hinsichtlich der Verbesserung des Signal-Rausch-Verhältnisses ($\Delta$SNR). Bemerkenswerterweise wurde die feste Baseline bei hohen Eingangs-SNRs (20–30 dB) kontraproduktiv (negatives $\Delta$SNR) und zerstörte die Signalenergie, während die RL-Policy vorteilhaft blieb oder nur eine geringfügige Degradation verursachte.
• Anomalieerkennung: Die vorgeschlagene Methode erreichte die höchste Area Under the Curve (AUC) für die transiente Anomalieerkennung bei drei der vier Drift-Typen unter allen Entrauschungsmethoden und näherte sich der Leistung des Oracles (sauberes Signal) an. Sie übertraf Tiefpassfilter signifikant, welche die transienten Bursts verschmierten.
• Kapazitätsabschätzung: Die RL-Policy lieferte über alle Drift-Typen und SNRs hinweg den geringsten Fehler bei der Schätzung von $C_{95}$. Feste Shrinkage-Regeln neigten dazu, entweder zu überdimensionieren (aufgrund von Rauschinflation) oder zu unterdimensionieren (aufgrund von Überglättung), während die adaptive Policy den oberen Tail genauer verfolgte.
• Statistische Signifikanz: Paarige Wilcoxon-Vorzeichen-Rang-Tests bestätigten, dass die Verbesserungen der vorgeschlagenen Methode sowohl in der AUC als auch im Kapazitätsfehler im Vergleich zu allen Baselines statistisch signifikant waren.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die Optimierung der Entrauschung auf den Nutzen für nachgeschaltete Aufgaben in nicht-stationären Netzwerkumgebungen überlegen ist gegenüber der Optimierung der Rekonstruktionstreue. Die primäre Bedeutung liegt in der Demonstration, dass eine gelernte Policy dynamisch auf statistischen Drift reagieren kann, wodurch die „Einheitslösung“ (One-size-fits-all) statischer Wavelet-Regeln vermieden wird. Insbesondere verhindert das Framework das Überglätten echter Lastdynamiken bei hohem SNR, ein kritischer Fehlermodus für feste Thresholding-Methoden. Die Autoren merken an, dass die aktuellen Ergebnisse ein synthetisches Stand-in für die endgültige Evaluierung der Policy verwenden (aufgrund von Datenverfügbarkeit zum Zeitpunkt der Erstellung), die Methodik und die Ergebnisse der Drift-Erkennung jedoch aus der ursprünglichen experimentellen Pipeline stammen und das Framework darauf ausgelegt ist, in zukünftiger Arbeit an realen öffentlichen Netzwerk-Telemetriedaten validiert zu werden.