Weighted Contrastive Learning for Anomaly-Aware Time-Series Forecasting

Resumen Técnico: Aprendizaje Contrastivo Ponderado para el Pronóstico de Series Temporales Consciente de Anomalías

Planteamiento del Problema
Los pronosticadores de series temporales profundos logran una alta precisión en datos estacionarios y rutinarios, pero fallan con frecuencia en entornos de producción cuando las distribuciones de los datos cambian abruptamente debido a anomalías (por ejemplo, crisis, interrupciones o picos repentinos de demanda). En aplicaciones críticas como la logística de efectivo para cajeros automáticos (ATM), tales fallos provocan interrupciones del servicio o ineficiencia de capital. El desafío central identificado es un compromiso entre estabilidad y sensibilidad: un modelo debe seguir siendo preciso bajo variaciones rutinarias (estabilidad) mientras responde correctamente a las anomalías genuinas que alteran la trayectoria del pronóstico (sensibilidad).

Los enfoques estándar tienen dificultades para resolver esto:

• El ajuste fino (fine-tuning) sobre datos aumentados con anomalías suele provocar un olvido catastrófico, donde el modelo recupera el rendimiento en datos anómalos pero degrada significativamente su desempeño en datos normales.
• El Aprendizaje Contrastivo Estándar alinea muestras normales y aumentadas para aprender representaciones robustas. Sin embargo, imponer una alineación estricta entre muestras normales y muestras aumentadas por anomalías puede suprimir las señales de anomalía necesarias para un pronóstico preciso durante los cambios.

Metodología: Adaptación Consciente de Anomalías mediante Contraste Ponderado (WECA)
Los autores proponen WECA, un objetivo de entrenamiento diseñado para aprender representaciones que sean invariantes a las variaciones benignas pero sensibles a las anomalías significativas. El método opera dentro de un marco de pronóstico estándar de codificador-decodificador ($g_\phi$ y $h_\psi$) e introduce una pérdida contrastiva ponderada al objetivo de entrenamiento.

1. Alineación Ponderada: En lugar de imponer una invariancia total entre una entrada original $x_i$ y su contraparte aumentada por anomalías $\tilde{x}_i$, WECA escala la alineación contrastiva basándose en la severidad de la perturbación.
   • Variaciones leves: Se les asigna un peso de similitud alto ($w_{(i,t)} \approx 1$), imponiendo una alineación fuerte para asegurar la estabilidad.
   • Anomalías severas: Se les asigna un peso reducido ($w_{(i,t)} < 1$), permitiendo que las representaciones diverjan. Esto preserva la señal de la distribución necesaria para pronosticar la trayectoria desplazada con precisión.
2. Función de Pérdida: El método utiliza un objetivo de tipo InfoNCE donde la pérdida contrastiva $\ell_{WECA}$ se escala mediante el peso $w_{(i,t)}$. El objetivo total de entrenamiento combina la pérdida de pronóstico estándar (MAE) con el término contrastivo ponderado, controlado por un hiperparámetro $\lambda$.
3. Inyección de Anomalías: El modelo se entrena con un conjunto de datos aumentado con anomalías sintéticas parametrizadas por amplitud, duración y decaimiento, calibradas para replicar eventos históricos de alto impacto (por ejemplo, picos o caídas de demanda).

Contribuciones Clave

1. Formalización: El artículo formaliza el pronóstico consciente de anomalías como un objetivo dual: aprender representaciones invariantes a las variaciones benignas mientras se mantiene la sensibilidad a las anomalías.
2. Innovación Algorítmica: Introduce una pérdida contrastiva ponderada que controla dinámicamente la fuerza de la alineación, permitiendo un compromiso ajustable entre invariancia y sensibilidad sin cambios arquitectónicos.
3. Validación Empírica: Demuestra que este enfoque mejora la precisión bajo cambios de distribución en datos reales de demanda de efectivo sin degradar el rendimiento durante la operación normal.

Resultados Experimentales
El método fue evaluado en un conjunto de datos de transacciones de cajeros automáticos a nivel nacional que cubre aproximadamente 1,300 ubicaciones durante dos años. El modelo base utilizado fue TimesNet.

• Líneas Base (Baselines): El estudio comparó WECA contra:
  • NT (Entrenado Normalmente): Entrenado solo con datos normales.
  • FT (Ajuste Fino): Adaptado con datos aumentados por anomalías.
  • CL-IL (Aprendizaje Contrastivo Estándar): Aprendizaje contrastivo a nivel de instancia con pesos uniformes ($w=1$).
• Métricas de Desempeño (SMAPE):
  • Ajuste Fino (FT): Mejoró el desempeño en datos afectados por anomalías (AD) en 7.22 puntos, pero degradó el desempeño de los datos normales (ND) en 2.77 puntos, confirmando el olvido catastrófico.
  • Contraste Estándar (CL-IL): Mejoró el desempeño en AD en 4.82 puntos con un impacto insignificante en ND (-0.11 puntos).
  • WECA: Logró el equilibrio óptimo. Mejoró el desempeño en AD en 6.13 puntos porcentuales (reduciendo el SMAPE del 37.91% al 31.78%) mientras que el cambio en la precisión de ND fue virtualmente nulo (cambio de SMAPE de solo 0.03 puntos porcentuales).
• Análisis del Eje Contrastivo: Los autores encontraron que el aprendizaje contrastivo a nivel de instancia (alineando secuencias completas) proporcionó un sesgo inductivo más fuerte para esta tarea que el aprendizaje contrastivo temporal (alineando pasos de tiempo individuales), ya que este último corría el riesgo de suavizar excesivamente los inicios abruptos de las anomalías.

Significancia y Reivindicaciones
El artículo afirma que WECA resuelve el compromiso entre estabilidad y sensibilidad en el tiempo de entrenamiento, eliminando la necesidad de adaptación post-despliegue o modificaciones arquitectónicas. Los resultados sugieren que la robustez ante anomalías no tiene por qué intercambiarse por la fiabilidad en el régimen normal. Al ponderar la alineación contrastiva según la severidad de la perturbación, el modelo aprende a ignorar el ruido mientras retiene la capacidad de reaccionar ante cambios genuinos en la distribución. Esto es particularmente significativo para despliegues industriales donde los errores de pronóstico se traducen directamente en fallos operativos o ineficiencia de capital.

Limitaciones
Los autores señalan que la inyección de anomalías utilizada es sintética, calibrada con base en eventos históricos en lugar de ser extraída de fallos observados en el despliegue. Se sugiere como trabajo futuro validar el método contra anomalías del mundo real (por ejemplo, deriva gradual, fallos de sensores) y explorar esquemas de ponderación aprendidos o adaptativos a la tarea.