Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

Resumo Técnico: Denoising de Wavelet Baseado em RL com Consciência de Drift para Detecção de Anomalias em Tráfego de Rede

Declaração do Problema
O monitoramento de tráfego de rede depende de medições de utilização de granularidade fina para impulsionar decisões operacionais, especificamente a detecção de anomalias (identificação de excursões de carga de curta duração) e a estimativa de capacidade (quantificação do percentil 95 de utilização, $C_{95}$). No entanto, os dados de telemetria são corrompidos por dois fatores distintos: ruído de fundo estacionário e drift estatístico. O drift refere-se a mudanças dependentes do tempo na média, variância, forma da distribuição ou comportamento de cauda do sinal.

Métodos tradicionais de denoising de wavelet (ex: VisuShrink, SureShrink) baseiam-se em limiares estáticos calibrados sob suposições i.i.d. (independentes e identicamente distribuídas) gaussianas e estacionárias. Sob drift, essas regras estáticas tornam-se incompatíveis. Em razões sinal-ruído (SNR) de moderadas a altas, limiares fixos agressivos podem suprimir excessivamente a estrutura útil do sinal, apagando justamente os surtos transientes necessários para a detecção de anomalias e enviesando as estatísticas de cauda superior necessárias para a estimativa de capacidade. Consequentemente, otimizar para a fidelidade de reconstrução (minimização do Erro Quadrático Médio) frequentemente degrada o desempenho das tarefas subsequentes.

Metodologia
Os autores propõem um framework com consciência de drift que trata o denoising de wavelet adaptativo como uma camada de pré-processamento otimizada para a utilidade da tarefa subsequente, em vez da fidelidade de reconstrução do sinal. O sistema opera em duas etapas:

1. Portão de Detecção de Drift (Drift Detection Gate):
   Antes do denoising, um sinal em janela é analisado por um ensemble de quatro detectores para determinar se o regime estatístico sofreu um deslocamento. Os detectores são:

   • Page-Hinkley (PH): Detecta mudanças de média.
   • Razão de Variância (Variance-Ratio): Detecta mudanças de variância (heterocedasticidade).
   • Divergência de Jensen-Shannon (JSD): Detecta divergência estrutural (mudanças na forma da distribuição).
   • Anderson-Darling (AD): Detecta amplificação de cauda (ruído impulsivo).

   Esses detectores produzem flags binários e estatísticas contínuas, que são fundidos via um OR lógico para criar um sinal de portão ($G_m$). Se nenhum drift for detectado, um denoiser de linha de base fixo (VisuShrink) é aplicado. Se o drift for detectado, um agente de Aprendizado por Reforço (RL) é invocado.

2. Denoising Adaptativo Baseado em RL:
   O componente adaptativo é formulado como um Processo de Decisão de Markov (MDP) resolvido usando Otimização de Política Próxima (PPO).

   • Espaço de Estados: Inclui descritores do sinal (média, variância, MAD), descritores sensíveis a mudanças (mudanças relativas em relação ao histórico) e o vetor de evidência completo do detector (flags e estatísticas).
   • Espaço de Ações: Um espaço misto discreto-contínuo que seleciona a configuração da wavelet: wavelet mãe, profundidade de decomposição, função de thresholding (suave/duro), estratégia de seleção de threshold, um ganho de threshold contínuo e um parâmetro de modelagem por escala.
   • Função de Recompensa: Diferente de trabalhos anteriores, a recompensa é orientada pela utilidade da tarefa. É uma combinação convexa de:
     • O ganho no F1-score de detecção de anomalias (comparando o sinal denoisado vs. sinal bruto contra surtos de ground truth).
     • A redução no erro de estimativa de capacidade ($| \hat{C}_{95} - C_{95} |$).

   O alvo da anomalia é definido no sinal limpo, e o portão de drift opera sobre a corrupção, garantindo que as etapas não sejam circulares.

Principais Contribuições

• Formulação Orientada à Tarefa: O artigo formula o denoising de wavelet adaptativo como um problema de decisão sequencial otimizado para tarefas específicas de monitoramento (detecção e estimativa de capacidade) em vez de fidelidade genérica de reconstrução.
• Portão Complementar de Drift: Um novo portão de quatro detectores (PH, VAR, JSD, AD) permite que a política de RL condicione na presença, tipo e intensidade do drift, permitindo uma adaptação direcionada.
• Design de Tarefa Discriminante: Ao definir anomalias como surtos transientes multiescala (que filtros passa-baixa removem, mas wavelets preservam), o framework distingue explicitamente o denoising de wavelet do suavizamento ingênuo.
• RL de Espaço de Ações Misto: A integração do PPO sobre um espaço de ação misto discreto-contínuo permite controle refinado sobre parâmetros de wavelet (escolha da wavelet mãe, profundidade, estratégia de thresholding e ganho contínuo).
• Benchmarking Abrangente: O método é comparado contra um filtro de média móvel passa-baixa, regras de shrinkage clássicas (VisuShrink, SureShrink, BayesShrink) e um filtro de Wiener através de quatro tipos de drift e uma ampla gama de SNRs de entrada.

Resultados Experimentais
O framework foi avaliado em dados sintéticos de utilização de tráfego aumentados com quatro tipos de drift (deslocamento de média, mudança de variância, divergência estrutural e amplificação de cauda) através de SNRs de -10 dB a 30 dB.

• Detecção de Drift: O portão fundido alcançou uma taxa de verdadeiro-positivo de 91,54% para detecção de drift com uma baixa taxa de falso-alarme (1,23% em controles sem drift), roteando efetivamente os sinais para o ramo de denoising apropriado.
• Desempenho de Denoising (Melhoria de SNR): A política de RL superou consistentemente a linha de base fixa VisuShrink em termos de melhoria de SNR ($\Delta$SNR). Notavelmente, em SNRs de entrada altas (20–30 dB), a linha de base fixa tornou-se contraproducente ( $\Delta$SNR negativo), destruindo a energia do sinal, enquanto a política de RL permaneceu benéfica ou causou apenas uma degradação leve.
• Detecção de Anomalias: O método proposto alcançou o maior AUC para detecção de anomalias transientes em três dos quatro tipos de drift entre todos os métodos de denoising, aproximando-se do desempenho do oracle (sinal limpo). Superou significativamente os filtros passa-baixa, que suavizaram os surtos transientes.
• Estimativa de Capacidade: A política de RL resultou no menor erro na estimativa de $C_{95}$ em todos os tipos de drift e SNRs. Regras de shrinkage fixas tenderam a ou superprovisionar (devido à inflação de ruído) ou subprovisionar (devido ao excesso de suavização), enquanto a política adaptativa rastreou a cauda superior de forma mais precisa.
• Significância Estatística: Testes de postos sinalizados de Wilcoxon pareados confirmaram que as melhorias do método proposto tanto em AUC quanto em erro de capacidade foram estatisticamente significativas em comparação com todas as linhas de base.

Significância e Alegações
O artigo alega que otimizar o denoising para a utilidade da tarefa subsequente é superior à otimização para a fidelidade de reconstrução em ambientes de rede não estacionários. A principal significância reside na demonstração de que uma política aprendida pode adaptar-se dinamicamente ao drift estatístico, evitando a falha do modelo "tamanho único" das regras de wavelet estáticas. Especificamente, o framework evita o excesso de suavização de dinâmicas de carga genuínas em altas SNRs, um modo de falha crítico para métodos de thresholding fixos. Os autores observam que, embora os resultados atuais utilizem um substituto sintético para a avaliação da política final (devido a restrições de disponibilidade de dados no momento da escrita), a metodologia e os resultados de detecção de drift derivam do pipeline experimental original, e o framework é projetado para ser validado em telemetria de tráfego real pública em trabalhos futuros.