Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

Résumé Technique : Débruitage par Ondelettes sensible à la dérive basé sur l'Apprentissage par Renforcement pour la Détection d'Anomalies de Trafic Réseau

Énoncé du Problème
La surveillance du trafic réseau repose sur des mesures fines d'utilisation pour piloter les décisions opérationnelles, spécifiquement la détection d'anomalies (identification d'excursions de charge de courte durée) et l'estimation de capacité (quantification du 95e percentile de l'utilisation, $C_{95}$). Cependant, les données de télémétrie sont corrompues par deux facteurs distincts : un bruit de fond stationnaire et une dérive statistique. La dérive désigne les changements dépendants du temps dans la moyenne, la variance, la forme de la distribution ou le comportement de la queue du signal.

Les méthodes traditionnelles de débruitage par ondelettes (ex: VisuShrink, SureShrink) reposent sur des seuils statiques calibrés sous des hypothèses stationnaires et de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) gaussiennes. Sous l'effet de la dérive, ces règles statiques deviennent inadaptées. À des rapports signal sur bruit (SNR) modérés à élevés, des seuils fixes agressifs peuvent sur-supprimer la structure utile du signal, effaçant les pics transitoires nécessaires à la détection d'anomalies et biaisant les statistiques de la queue supérieure nécessaires à l'estimation de capacité. Par conséquent, l'optimisation de la fidélité de reconstruction (minimisation de l'erreur quadratique moyenne) dégrade souvent les performances des tâches en aval.

Méthodologie
Les auteurs proposent un cadre sensible à la dérive qui traite le débruitage adaptatif par ondelettes comme une couche de prétraitement optimisée pour l'utilité des tâches en aval plutôt que pour la fidélité de reconstruction du signal. Le système fonctionne en deux étapes :

1. Porte de Détection de Dérive :
   Avant le débruitage, un signal fenêtré est analysé par un ensemble de quatre détecteurs pour déterminer si le régime statistique a changé. Les détecteurs sont :

   • Page-Hinkley (PH) : Détecte les changements de moyenne.
   • Rapport de Variance : Détecte les changements de variance (hétéroscédasticité).
   • Divergence de Jensen-Shannon (JSD) : Détecte les divergences structurelles (changements de forme de la distribution).
   • Anderson-Darling (AD) : Détecte l'amplification de la queue (bruit impulsif).

   Ces détecteurs produisent des drapeaux binaires et des statistiques continues, qui sont fusionnés via un OU logique pour créer un signal de porte ($G_m$). Si aucune dérive n'est détectée, un débruiteur de base fixe (VisuShrink) est appliqué. Si une dérive est détectée, un agent d'Apprentissage par Renforcement (RL) est invoqué.

2. Débruitage Adaptatif basé sur le RL :
   La composante adaptative est formulée comme un processus de décision de Markov (MDP) résolu par Optimisation de Politique Proximale (PPO).

   • Espace d'États : Comprend des descripteurs de signal (moyenne, variance, MAD), des descripteurs sensibles au changement (changements relatifs par rapport à l'historique) et le vecteur complet de preuves des détecteurs (drapeaux et statistiques).
   • Espace d'Actions : Un espace mixte discret-continu sélectionnant la configuration de l'ondelette : ondelette mère, profondeur de décomposition, fonction de seuillage (souple/dur), stratégie de sélection de seuil, un gain de seuil continu, et un paramètre de mise en forme par échelle.
   • Fonction de Récompense : Contra-irement aux travaux antérieurs, la récompense est pilotée par l'utilité de la tâche. Elle est une combinaison convexe de :
     • Le gain de l'indice F1 de détection d'anomalies (comparant le signal débruité vs le signal brut par rapport aux rafales de référence).
     • La réduction de l'erreur d'estimation de capacité ($| \hat{C}_{95} - C_{95} |$).

   La cible d'anomalie est définie sur le signal propre, et la porte de détection de dérive opère sur la corruption, garantissant que les étapes ne sont pas circulaires.

Principales Contributions

• Formulation Sensible à la Tâche : L'article formule le débruitage adaptatif par ondelettes comme un problème de décision séquentielle optimisé pour des tâches de surveillance spécifiques (détection et estimation de capacité) plutôt que pour une fidélité de reconstruction générique.
• Porte de Détection de Dérive Complémentaire : Une nouvelle porte à quatre détecteurs (PH, VAR, JSD, AD) permet à la politique RL de se conditionner sur la présence, le type et l'intensité de la dérive, permettant une adaptation ciblée.
• Conception de Tâche Discriminante : En définissant les anomalies comme des rafales transitoires multi-échelles (que les filtres passe-bas éliminent mais que les ondelettes préservent), le cadre distingue explicitement le débruitage par ondelettes du lissage naïf.
• Espace d'Action Mixte RL : L'intégration du PPO sur un espace d'action mixte discret-continu permet un contrôle fin des paramètres de l'ondelette (choix de l'ondelette mère, profondeur, stratégie de seuillage et gain continu).
• Évaluation Exhaustive : La méthode est évaluée par rapport à un filtre de moyenne mobile passe-bas, aux règles de rétrécissement classiques (VisuShrink, SureShrink, BayesShrink) et à un filtre de Wiener à travers quatre types de dérive et une large gamme de SNR d'entrée.

Résultats Expérimentaux
Le cadre a été évalué sur des données de l'utilisation du trafic synthétique augmentées de quatre types de dérive (changement de moyenne, changement de variance, divergence structurelle et amplification de la queue) à travers des SNR allant de -10 dB à 30 dB.

• Détection de Dérive : La porte fusionnée a atteint un taux de vrais positifs de 91,54 % pour la détection de dérive avec un faible taux de fausses alarmes (1,23 % sur les contrôles sans dérive), routant efficacement les signaux vers la branche de débruitage appropriée.
• Performance de Débruitage (Amélioration du SNR) : La politique RL surpasse systématiquement la ligne de base fixe VisuShrink en termes d'amélioration du SNR ($\Delta$SNR). Notamment, à des SNR d'entrée élevés (20–30 dB), la ligne de base fixe devient contre-productive ( $\Delta$SNR négatif), détruisant l'énergie du signal, tandis que la politique RL reste bénéfique ou ne cause qu'une légère dégradation.
• Détection d'Anomalies : La méthode proposée a obtenu l'AUC la plus élevée pour la détection d'anomalies transitoires sur trois des quatre types de dérive par rapport à toutes les méthodes de débruitage, se rapprochant de la performance de l'oracle (signal propre). Elle surpasse nettement les filtres passe-bas, qui lissent les rafales transitoires.
• Estimation de Capacité : La politique RL a produit l'erreur la plus faible dans l'estimation de $C_{95}$ à travers tous les types de dérive et tous les SNR. Les règles de rétrécissement fixes ont tendance soit à sur-provisionner (en raison de l'inflation du bruit), soit à sous-provisionner (en raison du sur-lissage), tandis que la politique adaptative suit plus précisément la queue supérieure.
• Signification Statistique : Des tests de Wilcoxon signés appariés ont confirmé que les améliorations de la méthode proposée tant pour l'AUC que pour l'erreur de capacité sont statistiquement significatives par rapport à toutes les lignes de base.

Signification et Revendications
L'article affirme que l'optimisation du débruitage pour l'utilité de la tâche en aval est supérieure à l'optimisation de la fidélité de reconstruction dans des environnements réseau non stationnaires. La principale signification réside dans la démonstration qu'une politique apprise peut s'adapter dynamiquement à la dérive statistique, évitant l'échec du modèle "taille unique" des règles d'ondelettes statiques. Plus précisément, le cadre empêche le sur-lissage de la dynamique de charge réelle à SNR élevé, un mode de défaillance critique pour les méthodes de seuillage fixes. Les auteurs notent que bien que les résultats actuels utilisent un substitut synthétique pour l'évaluation finale de la politique (en raison de contraintes de disponibilité des données au moment de la rédaction), la méthodologie et les résultats de détection de dérive sont dérivés du pipeline expérimental original, et le cadre est conçu pour être validé sur de la télémétrie de trafic réelle publique dans des travaux futurs.