Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

Resumen Técnico: Denominación de Ondículas (Wavelet) con Conciencia de Deriva Basada en RL para la Detección de Anomalías en el Tráfico de Red

Planteamiento del Problema
El monitoreo del tráfico de red depende de mediciones detalladas de utilización para impulsar decisiones operativas, específicamente la detección de anomalías (identificación de excursiones de carga de corta duración) y la estimación de capacidad (cuantificación del percentil 95 de utilización, $C_{95}$). Sin embargo, los datos de telemetría están corrompidos por dos factores distintos: ruido de fondo estacionario y deriva estadística. La deriva se refiere a cambios dependientes del tiempo en la media, la varianza, la forma de la distribución o el comportamiento de la cola de la señal.

Los métodos tradicionales de eliminación de ruido mediante ondículas (por ejemplo, VisuShrink, SureShrink) dependen de umbrales estáticos calibrados bajo supuestos i.i.d. (independientes e idénticamente distribuidos) gaussianos y estacionarios. Bajo condiciones de deriva, estas reglas estáticas se desajustan. En relaciones señal-ruido (SNR) moderadas a altas, los umbrales fijos agresivos pueden suprimir excesivamente la estructura útil de la señal, borrando precisamente los estallidos transitorios necesarios para la detección de anomalías y sesgando las estadísticas de la cola superior necesarias para la estimación de capacidad. En consecuencia, optimizar la fidelidad de la reconstrucción (minimizando el Error Cuadrático Medio) suele degradar el rendimiento de las tareas posteriores.

Metodología
Los autores proponen un marco de trabajo con conciencia de deriva que trata la eliminación de ruido por ondículas adaptativa como una capa de preprocesamiento optimizada para la utilidad de la tarea posterior, en lugar de la fidelidad de la reconstrucción de la señal. El sistema opera en dos etapas:

1. Puerta de Detección de Deriva:
   Antes de la eliminación de ruido, una ventana de la señal es analizada por un conjunto de cuatro detectores para determinar si el régimen estadístico ha cambiado. Los detectores son:

   • Page-Hinkley (PH): Detecta cambios en la media.
   • Relación de Varianza (Variance-Ratio): Detecta cambios en la varianza (heterocedasticidad).
   • Divergencia de Jensen-Shannon (JSD): Detecta divergencias estructurales (cambios en la forma de la distribución).
   • Anderson-Darling (AD): Detecta amplificación de la cola (ruido impulsivo).

   Estos detectores producen indicadores binarios y estadísticas continuas, que se fusionan mediante un OR lógico para crear una señal de puerta ($G_m$). Si no se detecta deriva, se aplica un denoiser base fijo (VisuShrink). Si se detecta deriva, se invoca un agente de Aprendizaje por Refuerzo (RL).

2. Eliminación de Ruido Adaptativa Basada en RL:
   El componente adaptativo se formula como un Proceso de Decisión de Markov (MDP) resuelto mediante Optimización de Política Próxima (PPO).

   • Espacio de Estados: Incluye descriptores de la señal (media, varianza, MAD), descriptores sensibles al cambio (cambios relativos respecto al historial) y el vector de evidencia completo del detector (indicadores y estadísticas).
   • Espacio de Acciones: Un espacio mixto discreto-continuo que selecciona la configuración de la ondícula: la ondícula madre, la profundidad de descomposición, la función de umbralización (suave/dura), la estrategia de selección de umbral, una ganancia de umbral continua y un parámetro de conformación por escala.
   • Función de Recompensa: A diferencia de trabajos previos, la recompensa está impulsada por la utilidad de la tarea. Es una combinación convexa de:
     • La ganancia en el F1 score de detección de anomalías (comparando la señal con ruido frente a la señal limpia contra estallidos reales).
     • La reducción en el error de estimación de capacidad ($| \hat{C}_{95} - C_{95} |$).

   El objetivo de la anomalía se define sobre la señal limpia, y la puerta de deriva opera sobre la corrupción, asegurando que las etapas no sean circulares.

Contribuciones Clave

• Formulación Consciente de la Tarea: El artículo formula la eliminación de ruido por ondículas adaptativa como un problema de decisión secuencial optimizado para tareas de monitoreo específicas (detección y estimación de capacidad) en lugar de la fidelidad de reconstrucción genérica.
• Puerta de Deriva Complementaria: Una novedosa puerta de cuatro detectores (PH, VAR, JSD, AD) permite que la política de RL se condicione a la presencia, tipo e intensidad de la deriva, permitiendo una adaptación dirigida.
• Diseño de Tarea Discriminante: Al definir las anomalías como estallidos transitorios multiescala (que los filtros de paso bajo eliminan pero las ondículas preservan), el marco distingue explícitamente la eliminación de ruido por ondículas del suavizado ingenuo.
• RL de Espacio de Acción Mixto: La integración de PPO sobre un espacio de acción mixto discreto-continuo permite un control detallado de los parámetros de la ondícula (elección de la ondícula madre, profundidad, estrategia de umbralización y ganancia continua).
• Benchmarking Exhaustivo: El método se evalúa frente a un filtro de media móvil de paso bajo, reglas de contracción clásicas (VisuShrink, SureShrink, BayesShrink) y un filtro de Wiener a través de cuatro tipos de deriva y un amplio rango de SNRs de entrada.

Resultados Experimentales
El marco fue evaluado con datos sintéticos de utilización de tráfico aumentados con cuatro tipos de deriva (cambio de media, cambio de varianza, divergencia estructural y amplificación de cola) a través de SNRs de -10 dB a 30 dB.

• Detección de Deriva: La puerta fusionada logró una tasa de verdaderos positivos del 91.54% para la detección de deriva con una baja tasa de falsas alarmas (1.23% en controles sin deriva), enrutando eficazmente las señales a la rama de eliminación de ruido apropiada.
• Desempeño de la Eliminación de Ruido (Mejora de SNR): La política de RL superó consistentemente a la línea base fija de VisuShrink en términos de mejora de la SNR ($\Delta$SNR). Notablemente, en SNRs de entrada altas (20–30 dB), la línea base fija resultó contraproducente ( $\Delta$SNR negativa), destruyendo la energía de la señal, mientras que la política de RL se mantuvo beneficiosa o causó solo una degradación leve.
• Detección de Anomalías: El método propuesto logró el AUC más alto para la detección de anomalías transitorias en tres de los cuatro tipos de deriva entre todos los métodos de eliminación de ruido, acercándose al rendimiento del oráculo (señal limpia). Superó significativamente a los filtros de paso bajo, que difuminaban los estallidos transitorios.
• Estimación de Capacidad: La política de RL produjo el error más bajo en la estimación de $C_{95}$ en todos los tipos de deriva y SNRs. Las reglas de contracción fijas tendían a sobre-provisionar (debido a la inflación del ruido) o a sub-provisionar (debido al exceso de suavizado), mientras que la política adaptativa rastreó la cola superior con mayor precisión.
• Significancia Estadística: Las pruebas de Wilcoxon con signo de rangos pareados confirmaron que las mejoras del método propuesto tanto en AUC como en el error de capacidad fueron estadísticamente significativas en comparación con todas las líneas base.

Significancia y Reivindicaciones
El artículo sostiene que optimizar la eliminación de ruido para la utilidad de la tarea posterior es superior a optimizar la fidelidad de la reconstrucción en entornos de red no estacionarios. La principal significancia radica en la demostración de que una política aprendida puede adaptarse dinámicamente a la deriva estadística, evitando el fallo de "talla única" de las reglas de ondículas estáticas. Específicamente, el marco evita el suavizado excesivo de la dinámica de carga genuina en SNRs altas, un modo de fallo crítico para los métodos de umbralización fija. Los autores señalan que, aunque los resultados actuales utilizan un sustituto sintético para la evaluación de la política final (debido a restricciones de disponibilidad de datos al momento de escribir), la metodología y los resultados de detección de deriva se derivan de la tubería experimental original, y el marco está diseñado para ser validado con telemetría de tráfico real pública en trabajos futuros.