ASTER: Latent Pseudo-Anomaly Generation for Unsupervised Time-Series Anomaly Detection

1. Planteamiento del Problema

La detección de anomalías en series temporales (TSAD) es crucial en sectores como la industria, la salud y la ciberseguridad. Sin embargo, enfrenta dos desafíos principales:

• Escasez de datos etiquetados: Las anomalías son raras y heterogéneas, lo que hace que los enfoques supervisados sean poco prácticos.
• Limitaciones de los métodos no supervisados existentes:
  • Los métodos basados en reconstrucción o predicción suelen fallar con datos complejos.
  • Los métodos basados en incrustaciones (embeddings) a menudo dependen de la síntesis de anomalías artificiales ("pseudo-anomalías") mediante transformaciones manuales (ruido, enmascaramiento, sesgo) en el espacio de datos crudo. Estas transformaciones requieren conocimiento experto del dominio, son difíciles de generalizar y a menudo no capturan la naturaleza sutil y contextual de las anomalías reales.

2. Metodología Propuesta: ASTER

El authors proponen ASTER (Anomaly Synthesis through Transformer-based Embedding Representation), un marco de trabajo no supervisado que genera pseudo-anomalías directamente en el espacio latente, evitando la manipulación manual de los datos crudos. La arquitectura consta de tres componentes principales (ver Figura 1 del artículo):

A. Extracción de Incrustaciones Contextuales (Contextual Embedding - $\Phi$)

• Utiliza un Modelo de Lenguaje Grande (LLM) pre-entrenado (como GPT-2) para codificar ventanas de series temporales.
• Proceso:
  1. Traducción: Se proyectan linealmente los pasos de tiempo individuales a un espacio de tokens.
  2. Contexto: El LLM (ajustado finamente con LoRA) incorpora el conocimiento secuencial previo, generando representaciones enriquecidas y contextualizadas ($C_t$).
• Ventaja: Esto permite capturar dependencias temporales complejas y patrones secuenciales sin necesidad de prompts de texto o definiciones manuales de contexto.

B. Perturbador (Perturbator - $P$)

Es un módulo basado en un Autoencoder Variacional (VAE) que opera en el espacio latente para generar anomalías sintéticas.

• Modelado de lo Normal ($P_n$): Una parte del VAE aprende la distribución de las ventanas normales ($p(C)$) mediante un objetivo de reconstrucción (minimizando el ELBO).
• Generación de Anomalías ($P_a$): En lugar de aprender generativamente la distribución de anomalías (ya que no hay datos reales), se utiliza un enfoque adversarial.
  • Se muestrea del espacio latente aprendido de los datos normales.
  • Un decodificador paralelo ($p_\psi$) genera pseudo-anomalías ($\tilde{C}_t$).
  • Se optimiza mediante un gradiente inverso ($\nabla P_a = -\frac{\partial L_{CE}}{\partial \tilde{C}_t}$) respecto a la pérdida de clasificación. Esto fuerza al generador a crear anomalías que sean lo suficientemente difíciles para engañar al clasificador, pero que aún sean distinguibles, creando un límite de decisión flexible.

C. Clasificador (Classifier - $\Psi$)

• Es una red Transformer (similar a BERT) que toma las incrustaciones contextuales y las pseudo-anomalías generadas.
• Utiliza un token [CLS] para producir una puntuación de anomalía.
• Se entrena para distinguir entre ventanas normales y las pseudo-anomalías generadas por el Perturbador, aprendiendo un límite de decisión no lineal y adaptativo.

3. Contribuciones Clave

1. Generación de Pseudo-Anomalías en Espacio Latente: ASTER elimina la necesidad de ingeniería de características manual o transformaciones específicas del dominio en los datos crudos, mejorando la generalización.
2. Arquitectura Híbrida Innovadora: Combina la capacidad de representación contextual de los LLMs, la modelización de distribuciones de los VAEs y la capacidad de clasificación secuencial de los Transformers.
3. Uso Eficiente de LLMs: Demuestra cómo los LLMs pre-entrenados pueden servir como extractores de características contextuales potentes para TSAD con un ajuste fino mínimo (LoRA).
4. Evaluación Rigurosa: Validación utilizando el benchmark unificado TAB, que estandariza el preprocesamiento y las métricas, permitiendo comparaciones justas y reproducibles.

4. Resultados Experimentales

El método se evaluó en cuatro conjuntos de datos multivariados de referencia: PSM, PUMP, SWaT y CATSv2.

• Rendimiento General: ASTER logró el estado del arte (SoTA) en múltiples métricas (F1-score, AUROC, AUPR, VUS) en los conjuntos de datos PSM, PUMP y SWaT.
• Comparación con LLMs: Superó significativamente a otros métodos basados en LLMs (como GPT4TS, UniTime, CALF) y a modelos pre-entrenados grandes (Timer, TimesFM).
  • Ejemplo: En el conjunto de datos PSM, ASTER obtuvo un F1-score de 0.512, superando al siguiente mejor (DAGMM con 0.403) y a los métodos LLM anteriores (GPT4TS con 0.089).
• Estudios de Ablación:
  • El uso de LoRA para ajustar el LLM fue superior al ajuste completo o al uso de LLM congelado.
  • El clasificador basado en Transformer superó ampliamente a un clasificador basado en MLP, destacando la importancia de modelar las dependencias secuenciales.

5. Significado e Impacto

ASTER representa un cambio de paradigma en la detección de anomalías no supervisada:

• Automatización: Elimina la dependencia de expertos humanos para definir qué constituye una anomalía sintética, aprendiendo automáticamente qué tipos de perturbaciones son difíciles de detectar.
• Robustez: Al generar anomalías en un espacio latente rico y contextualizado, el modelo aprende límites de decisión más robustos frente a variaciones temporales y ruido.
• Escalabilidad: La integración de LLMs pre-entrenados sugiere que el conocimiento transferido de grandes modelos puede aplicarse eficazmente a dominios de series temporales sin necesidad de grandes cantidades de datos etiquetados.

En resumen, ASTER establece un nuevo estándar para la detección de anomalías en series temporales no supervisada, demostrando que la síntesis de anomalías en el espacio latente, potenciada por LLMs y Transformers, es una estrategia superior a los métodos tradicionales de reconstrucción o aumento de datos manual.