Scalable Temporal Anomaly Causality Discovery in Large Systems: Achieving Computational Efficiency with Binary Anomaly Flag Data

Resumen Técnico: Descubrimiento de Causalidad de Anomalías Temporales Escalable en Sistemas Grandes

Planteamiento del Problema
En sistemas de monitoreo industriales y científicos a gran escala, como el experimento del Solenoide Compacto de Muones (CMS) en el CERN, el diagnóstico de fallos requiere identificar las causas raíz de las anomalías. Si bien los sistemas de detección de anomalías (AD) son efectivos para señalar fallos, determinar las relaciones causales entre variables a través de múltiples subsistemas es un desafío. Los métodos actuales de aprendizaje de Modelos Gráficos Causales (GCM), particularmente aquellos diseñados para series temporales como PCMCI (Peter-Clark Momentary Conditional Independence), enfrentan cargas computacionales significativas cuando se aplican a grandes conjuntos de datos. Además, los sistemas de monitoreo modernos suelen generar datos en forma de banderas de anomalía binarias (0 para normal, 1 para alerta). Estos conjuntos de datos binarios presentan desafíos únicos:

1. Dispersión de Datos y Multicolinealidad: Las anomalías son eventos raros, lo que conduce a largos períodos de estado uniforme (ceros). Esta dispersión causa multicolinealidad, donde las variables parecen altamente correlacionadas simplemente debido a los largos regímenes uniformes en lugar de vínculos causales reales, degradando la precisión de las pruebas de independencia condicional (CI).
2. Intratabilidad Computacional: El costo computacional de aprender grafos causales crece rápidamente con el número de variables y el tamaño de la muestra, lo que hace que la aplicación en tiempo real sea inviable para sistemas grandes.
3. Características de los Datos Binarios: Las pruebas de CI estándar a menudo fallan al distinguir la significancia de la transición de 0 a 1 (ocurrencia de la anomalía) de la asociación de los ceros, lo que genera inferencias causales espurias.

Metodología: AnomalyCD
Los autores proponen AnomalyCD, un marco escalable diseñado para generar GCM temporales a partir de datos de banderas de anomalía binarias. El enfoque integra un módulo de detección de anomalías en línea con un pipeline de descubrimiento causal especializado que aborda las características específicas de los datos de banderas binarias.

1. Detección de Anomalías en Línea (AD):

   • El sistema emplea un conjunto de algoritmos de AD no supervisados para generar banderas de anomalía binarias para las variables no cubiertas por modelos pre-entrenados.
   • Descompone los datos de series temporales en componentes de tendencia, estacionalidad y residuo.
   • Tres detectores específicos se combinan mediante unión bit a bit:
     • Transitorio Temporal ($\theta$): Utiliza un z-score deslizante sobre los residuos para detectar valores atípicos repentinos.
     • Tendencia Temporal ($\iota$): Utiliza un algoritmo de suma acumulada sobre el componente de tendencia para detectar derivas graduales.
     • Espectral ($\phi$): Utiliza la detección de saliencia de Residuos Espectrales (SR) para identificar cambios en la frecuencia o en la tasa de datos.

2. Descubrimiento de Causalidad Consciente de la Anomalía:
   El núcleo de AnomalyCD modifica el algoritmo PCMCI estándar mediante cuatro estrategias clave:

   • Prueba de CI Consciente de la Anomalía (ANAC): En lugar de pruebas estándar, los autores proponen una prueba que se enfoca en las asociaciones positivas correspondientes a las ocurrencias de anomalías (transiciones 0 $\to$ 1). Utiliza la correlación parcial con la correlación de Pearson positiva sobre los residuos, excluyendo explícitamente los vínculos con pesos de correlación no positivos para filtrar asociaciones espurias impulsadas por estados uniformes de cero.
   • Manejo de Datos Dispersos (SDH): Para reducir el tamaño de la muestra $n$ y la carga computacional, el algoritmo comprime regiones largas de estado de anomalía uniforme. Retiene los primeros $l_m$ índices de las regiones uniformes para preservar la causalidad de retardo temporal mientras descarta muestras redundantes, reduciendo significativamente el tamaño del conjunto de datos sin perder información de transición.
   • Manejo de Vínculos Dispersos (SLH): Antes de ejecutar la búsqueda causal completa, el algoritmo comprime el espacio de búsqueda inicial (suposición de vínculo previo). Excluye retardos propios y filtra pares de variables que no exhiben la co-ocurrencia temporal de banderas de anomalía por encima de un umbral, reduciendo el número de pruebas condicionales requeridas.
   • Poda y Ajuste de Aristas: Un paso de post-procesamiento elimina las aristas espurias (múltiples retardos temporales, bidireccionales o vínculos cíclicos) generadas por el PCMCI. Retiene el vínculo con el peso más alto o el retardo temporal más temprano. Para las aristas bidireccionales en el retardo de tiempo $t=0$, se emplea una prueba de chi-cuadrado para determinar la direccionalidad donde las pruebas basadas en correlación fallan.

3. Modelado de Redes Bayesianas (BN):
   El DAG temporal resultante se reformula en una Red Bayesiana para permitir la inferencia de causalidad probabilística. La serie temporal se "desenrolla" para crear nodos para retardos temporales específicos, permitiendo que la BN consulte las probabilidades condicionales de ocurrencia de anomalías dado la evidencia observada en otros sensores.

Contribuciones Clave

• Marco AnomalyCD: Un enfoque novedoso diseñado específicamente para aprender grafos causales a partir de banderas de anomalía temporales binarias, abordando las limitaciones de los métodos existentes para manejar la dispersión de datos binarios.
• Algoritmos de Compresión: La introducción de los algoritmos de Manejo de Datos Dispersos (SDH) y Manejo de Vínculos Dispersos (SLH) que reducen drásticamente la complejidad computacional del aprendizaje de GCM mediante la compresión del tamaño de los datos y el espacio de búsqueda de posibles aristas.
• Pruebas Conscientes de la Anomalía: El desarrollo de la prueba ANAC, que mejora la precisión al centrarse en la significancia causal de las transiciones de anomalía en lugar de las asociaciones estadísticas generales.
• Validación Empírica: El marco se valida en dos conjuntos de datos:
  1. CMS HCAL Readout Box (RBX): Datos de sensores reales del Calorímetro de Hadrones en el CERN, que involucran 12 sensores de diagnóstico a través de 4 módulos de lectura.
  2. EasyVista: Un conjunto de datos público de monitoreo de infraestructura de TI.

Resultados

• Eficiencia Computacional: En el conjunto de datos CMS HCAL (aprox. 400,000 muestras), el PCMCI estándar falló debido al tiempo de procesamiento. AnomalyCD, utilizando SDH, redujo los datos a ~900 muestras (una reducción del 99.8%), permitiendo la ejecución en 9 segundos con 14 MB de uso de memoria. En el conjunto de datos EasyVista, el tiempo de procesamiento se redujo en un ~91% (de ~75s a ~6.6s) con una reducción de datos del 55%.
• Mejoras en la Precisión:
  • HCAL: AnomalyCD logró una ganancia relativa del 26.2% en la puntuación F1 y una reducción del 74.9% en la Tasa de Falsos Positivos (FPR) en comparación con el baseline de PCMCI con manejo de dispersión. La Distancia de Hamming Estructural (SHD) mejoró en un 70.6%.
  • EasyVista: El enfoque mostró una ganancia relativa del 20.5% en la puntuación F1 y una reducción del 47% en la FPR en comparación con el PCMCI estándar.
• Inferencia Causal: El modelo BN cuantificó con éxito las probabilidades condicionales. Por ejemplo, la probabilidad de una anomalía en el sensor Q1T aumentó de 0.05 a >0.90 cuando los sensores relacionados (Q2-4T) mostraron anomalías, alineándose con las conexiones físicas de los circuitos del sistema HCAL.

Significancia y Reivindicaciones
El artículo afirma que AnomalyCD proporciona una solución escalable para el análisis de causa raíz en sistemas grandes y complejos donde los datos están disponibles principalmente como banderas de anomalía binarias. Al integrar pruebas conscientes de la anomalía y compresión de datos, el método logra un equilibrio entre eficiencia computacional y precisión causal que los métodos actuales de vanguardia carecen para este tipo de datos específico. Los autores afirman que las herramientas están actualmente desplegadas en el Gran Colisionador de Hadrones del CERN para proporcionar diagnósticos para los sistemas de calorímetros. El estudio enfatiza que su enfoque facilita las tareas de diagnóstico en tiempo real a través de varios subsistemas, ofreciendo una alternativa flexible, no supervisada y ligera a los modelos de aprendizaje profundo que requieren extensos datos anotados. El trabajo destaca que, mientras los métodos existentes luchan contra la "maldición de la dimensionalidad" y la dispersión de datos binarios, AnomalyCD mitiga eficazmente estos problemas para producir grafos causales consistentes con las interconexiones físicas del sistema.