Scalable Temporal Anomaly Causality Discovery in Large Systems: Achieving Computational Efficiency with Binary Anomaly Flag Data

Resumo Técnico: Descoberta de Causalidade de Anomalias Temporais Escalável em Grandes Sistemas

Definição do Problema
Em sistemas de monitoramento industrial e científico de grande escala, como o experimento do Solenoide Compacto de Múons (CMS) no CERN, o diagnóstico de falhas exige a identificação das causas raízes de anomalias. Embora os sistemas de detecção de anomalias (AD) sejam eficazes para sinalizar falhas, determinar as relações causais entre variáveis em múltiplos subsistemas é desafiador. Os métodos existentes de aprendizado de Modelos Gráficos Causais (GCM), particularmente os projetados para séries temporais como o PCMCI (Peter-Clark Momentary Conditional Independence), enfrentam cargas computacionais significativas quando aplicados a grandes conjuntos de dados. Além disso, os sistemas de monitoramento modernos frequentemente geram dados na forma de flags binárias de anomalia (0 para normal, 1 para alerta). Esses conjuntos de dados binários apresentam desafios únicos:

1. Esparsidade de Dados e Multicolinearidade: Anomalias são eventos raros, levando a longos períodos de status uniforme (zeros). Essa esparsidade causa multicolinearidade, onde variáveis parecem altamente correlacionadas simplesmente devido a longos regimes uniformes, em vez de links causais reais, degradando a precisão dos testes de independência condicional (CI).
2. Intratabilidade Computacional: O custo computacional de aprender grafos causais cresce rapidamente com o número de variáveis e o tamanho da amostra, tornando a aplicação em tempo real inviável para grandes sistemas.
3. Características de Dados Binários: Testes de CI padrão frequentemente falham em distinguir a significância da transição de 0 para 1 (ocorrência de anomalia) da associação de zeros, levando a inferências causais espúrias.

Metodologia: AnomalyCD
Os autores propõem o AnomalyCD, um framework escalável projetado para gerar GCMs temporais a partir de flags binárias de anomalia. A abordagem integra um módulo de detecção de anomalias online com um pipeline de descoberta causal especializado que aborda as características específicas dos dados de flags binárias.

1. Detecção de Anomalias Online (AD):

   • O sistema emprega um ensemble de algoritmos de AD não supervisionados para gerar flags binárias de anomalia para variáveis não cobertas por modelos pré-treinados.
   • Ele decompõe séries temporais em componentes de tendência, sazonalidade e resíduos.
   • Três detectores específicos são combinados via união bit a bit:
     • Transiente Temporal ($\theta$): Utiliza um z-score deslizante nos resíduos para detectar outliers súbitos.
     • Tendência Temporal ($\iota$): Utiliza um algoritmo de soma cumulativa no componente de tendência para detectar drifts graduais.
     • Espectral ($\phi$): Utiliza detecção de saliência de Resíduo Espectral (SR) para identificar mudanças de frequência ou de taxa de dados.

2. Descoberta Causal Consciente de Anomalias:
   O núcleo do AnomalyCD modifica o algoritmo PCMCI padrão através de quatro estratégias principais:

   • Teste de CI Consciente de Anomalia (ANAC): Em vez de testes padrão, os autores propõem um teste que foca em associações positivas correspondentes às ocorrências de anomalias (transições 0 $\to$ 1). Ele utiliza correlação parcial com correlação de Pearson positiva nos resíduos, excluindo explicitamente links com pesos de correlação não positivos para filtrar associações espúrias impulsionadas por estados uniformes de zero.
   • Tratamento de Dados Esparsos (SDH): Para reduzir o tamanho da amostra $n$ e a carga computacional, o algoritmo comprime regiões longas de status de anomalia uniforme. Ele retém os primeiros $l_m$ índices de regiões uniformes para preservar a causalidade de atraso temporal (time-lag), descartando amostras redundantes, o que reduz significativamente o tamanho do conjunto de dados sem perder informações de transição.
   • Tratamento de Links Esparsos (SLH): Antes de executar a busca causal completa, o algoritmo comprime o espaço de busca inicial (suposição de link prévia). Ele exclui auto-atrasos (self-lags) e filtra pares de variáveis que não exibem coocorrência temporal de flags de anomalia acima de um limiar, reduzindo o número de testes condicionais necessários.
   • Poda de Arestas e Ajuste: Uma etapa de pós-processamento remove arestas espúrias (múltiplos atrasos temporais, bidirecionais ou links cíclicos) geradas pelo PCMCI. Ela retém o link com o maior peso ou o menor atraso temporal. Para arestas bidirecionais no atraso temporal $t=0$, um teste qui-quadrado é empregado para determinar a direcionalidade onde testes baseados em correlação falham.

3. Modelagem de Redes Bayesianas (BN):
   O DAG temporal resultante é reformulado em uma Rede Bayesiana para permitir a inferência de causalidade probabilística. A série temporal é "desdobrada" para criar nós para atrasos temporais específicos, permitindo que a BN consulte as probabilidades condicionais de ocorrências de anomalias dado o evidência observada em outros sensores.

Principais Contribuições

• Framework AnomalyCD: Uma abordagem inovadora especificamente adaptada para aprender grafos causais a partir de flags binárias temporais de anomalia, abordando as limitações dos métodos existentes no tratamento de esparsidade de dados binários.
• Algoritmos de Compressão: A introdução dos algoritmos de Tratamento de Dados Esparsos (SDH) e Tratamento de Links Esparsos (SLH) que reduzem drasticamente a complexidade computacional do aprendizado de GCM ao comprimir o tamanho dos dados e o espaço de busca de arestas potenciais.
• Teste Consciente de Anomalia: O desenvolvimento do teste ANAC, que melhora a precisão ao focar na significância causal das transições de anomalia em vez de associações estatísticas gerais.
• Validação Empírica: O framework é validado em dois conjuntos de dados:
  1. CMS HCAL Readout Box (RBX): Dados reais de sensores do Calorímetro de Hádrons no CERN, envolvendo 12 sensores de diagnóstico em 4 módulos de leitura.
  2. EasyVista: Um conjunto de dados público de monitoramento de infraestrutura de TI.

Resultados

• Eficiência Computacional: No conjunto de dados CMS HCAL (aprox. 400.000 amostras), o PCMCI padrão falhou devido ao tempo de processamento. O AnomalyCD, utilizando SDH, reduziu os dados para ~900 amostras (redução de 99,8%), permitindo a execução em 9 segundos com 14 MB de uso de memória. No conjunto de dados EasyVista, o tempo de processamento foi reduzido em ~91% (de ~75s para ~6,6s) com uma redução de dados de 55%.
• Melhorias de Precisão:
  • HCAL: O AnomalyCD alcançou um ganho relativo de 26,2% no F1-score e uma redução de 74,9% na Taxa de Falso Positivo (FPR) em comparação com o baseline PCMCI com tratamento de esparsidade. A Distância de Hamming Estrutural (SHD) melhorou em 70,6%.
  • EasyVista: A abordagem mostrou um ganho relativo de 20,5% no F1-score e uma redução de 47% no FPR em comparação com o PCMCI padrão.
• Inferência Causal: O modelo BN conseguiu quantificar probabilidades condicionais. Por exemplo, a probabilidade de uma anomalia no sensor Q1T aumentou de 0,05 para >0,90 quando sensores relacionados (Q2-4T) apresentaram anomalias, alinhando-se com as conexões físicas de circuitos do sistema HCAL.

Significância e Alegações
O artigo afirma que o AnomalyCD fornece uma solução escalável para análise de causa raiz em sistemas grandes e complexos onde os dados estão disponíveis primariamente como flags binárias de anomalia. Ao integrar testes conscientes de anomalia e compressão de dados, o método alcança um equilíbrio entre eficiência computacional e precisão causal que os métodos de estado da arte existentes não possuem para este tipo específico de dado. Os autores afirmam que as ferramentas estão atualmente implantadas no Grande Colisor de Hádrons do CERN para fornecer diagnósticos para sistemas de calorímetros. O estudo enfatiza que sua abordagem facilita tarefas de diagnóstico em tempo real em vários subsistemas, oferecendo uma alternativa flexível, não supervisionada e leve aos modelos de deep learning que exigem extensos dados anotados. O trabalho destaca que, enquanto os métodos existentes lutam contra a "maldição da dimensionalidade" e a esparsidade de dados binários, o AnomalyCD mitiga efetivamente esses problemas para produzir grafos causais consistentes com as interconexões físicas do sistema.