Weighted Contrastive Learning for Anomaly-Aware Time-Series Forecasting

Resumo Técnico: Aprendizado Contrastivo Ponderado para Previsão de Séries Temporais Consciente de Anomalias

Definição do Problema
Previsores de séries temporais profundos alcançam alta precisão em dados estacionários e rotineiros, mas frequentemente falham em ambientes de produção quando as distribuições de dados sofrem mudanças abruptas devido a anomalias (ex: crises, interrupções ou picos súbitos de demanda). Em aplicações críticas como a logística de numerário de caixas eletrônicos (ATMs), tais falhas levam a interrupções de serviço ou ineficiência de capital. O desafio central identificado é um equilíbrio entre estabilidade e sensibilidade: um modelo deve permanecer preciso sob variações rotineiras (estabilidade) enquanto responde corretamente a anomalias genuínas que alteram a trajetória da previsão (sensibilidade).

Abordagens padrão têm dificuldade em resolver isso:

• Ajuste Fino (Fine-tuning) em dados aumentados por anomalias frequentemente leva ao esquecimento catastrófico, onde o modelo recupera o desempenho em dados anômalos, mas degrada significativamente o desempenho em dados normais.
• O Aprendizado Contrastivo Padrão alinha amostras normais e aumentadas para aprender representações robustas. No entanto, impor um alinhamento estrito entre amostras normais e contrapartes aumentadas por anomalias pode suprimir os próprios sinais de anomalia necessários para uma previsão precisa durante mudanças.

Metodologia: Adaptação Consciente de Anomalias via Contraste Ponderado (WECA)
Os autores propõem o WECA, um objetivo de treinamento projetado para aprender representações que são invariantes a variações benignas, mas sensíveis a anomalias significativas. O método opera dentro de uma estrutura padrão de codificador-decodificador de previsão ($g_\phi$ e $h_\psi$) e introduz uma perda contrastiva ponderada ao objetivo de treinamento.

1. Alinhamento Ponderado: Em vez de impor invariância total entre um dado de entrada original $x_i$ e sua contraparte aumentada por anomalia $\tilde{x}_i$, o WECA escala o alinhamento contrastivo com base na severidade da perturbação.
   • Variações leves: Recebem um peso de similaridade alto ($w_{(i,t)} \approx 1$), impondo um alinhamento forte para garantir estabilidade.
   • Anomalias severas: Recebem um peso reduzido ($w_{(i,t)} < 1$), permitindo que as representações divirjam. Isso preserva o sinal de distribuição necessário para prever a trajetória deslocada com precisão.
2. Função de Perda: O método utiliza um objetivo do tipo InfoNCE onde a perda contrastiva $\ell_{WECA}$ é escalonada pelo peso $w_{(i,t)}$. O objetivo total de treinamento combina a perda de previsão padrão (MAE) com o termo contrastivo ponderado, controlado por um hiperparâmetro $\lambda$.
3. Injeção de Anomalias: O modelo é treinado em um conjunto de dados aumentado com anomalias sintéticas parametrizadas por amplitude, duração e decaimento, calibradas para replicar eventos históricos de alto impacto (ex: picos ou quedas de demanda).

Principais Contribuições

1. Formalização: O artigo formaliza a previsão consciente de anomalias como um objetivo duplo: aprender representações invariantes a variações benignas, mantendo-se sensível a anomalias.
2. Inovação Algorítmica: Introduz uma perda contrastiva ponderada que controla dinamicamente a força do alinhamento, permitindo um equilíbrio ajustável entre invariância e sensibilidade sem mudanças arquiteturais.
3. Validação Empírica: Demonstra que esta abordagem melhora a precisão sob mudanças de distribuição em dados reais de demanda de caixa sem degradar o desempenho durante a operação normal.

Resultados Experimentais
O método foi avaliado em um conjunto de dados de transações de ATM em nível nacional, cobrindo aproximadamente 1.300 locais durante dois anos. O modelo de base utilizado foi o TimesNet.

• Baselines: O estudo comparou o WECA contra:
  • NT (Normalmente Treinado): Treinado apenas em dados normais.
  • FT (Ajuste Fino): Adaptado em dados aumentados por anomalias.
  • CL-IL (Aprendizado Contrastivo Padrão): Aprendizado contrastivo ao nível de instância com pesos uniformes ($w=1$).
• Métricas de Desempenho (SMAPE):
  • Ajuste Fino (FT): Melhorou o desempenho em dados afetados por anomalias (AD) em 7,22 pontos, mas degradou o desempenho de dados normais (ND) em 2,77 pontos, confirmando o esquecimento catastrófico.
  • Contraste Padrão (CL-IL): Melhorou o desempenho em AD em 4,82 pontos, com um impacto negligível em ND (-0,11 pontos).
  • WECA: Alcançou o equilíbrio ideal. Melhorou o desempenho em AD em 6,13 pontos percentuais (reduzindo o SMAPE de 37,91% para 31,78%) enquanto deixou a precisão de ND virtualmente inalterada (mudança de SMAPE de apenas 0,03 pontos percentuais).
• Análise do Eixo Contrastivo: Os autores descobriram que o aprendizado contrastivo ao nível de Instância (alinhando sequências inteiras) forneceu um viés indutivo mais forte para esta tarefa do que o aprendizado contrastivo Temporal (alinhando passos de tempo individuais), pois este último corria o risco de suavizar excessivamente os começos abruptos de anomalias.

Significância e Alegações
O artigo afirma que o WECA resolve o equilíbrio entre estabilidade e sensibilidade no tempo de treinamento, eliminando a necessidade de adaptação pós-implantação ou modificações arquiteturais. Os resultados sugerem que a robustez à anomalia não precisa ser trocada pela confiabilidade no regime normal. Ao ponderar o alinhamento contrastivo de acordo com a severidade da perturbação, o modelo aprende a ignorar o ruído enquanto retém a capacidade de reagir a mudanças reais de distribuição. Isso é particularmente significativo para implantações industriais onde erros de previsão traduzem-se diretamente em falhas operacionais ou ineficiência de capital.

Limitações
Os autores observam que a injeção de anomalias utilizada é sintética, calibrada para eventos históricos em vez de ser extraída de falhas observadas em implantação. Sugere-se que trabalhos futuros validem o método contra anomalias do mundo real (ex: deriva gradual, falhas de sensores) e explorem esquemas de ponderação aprendidos ou adaptativos à tarefa.