Resumo Técnico: Análise de Causa Raiz de Anomalias de Medição e Mecanísticas

Declaração do Problema

Conjuntos de dados do mundo real frequentemente contêm anomalias — amostras geradas por processos que se desviam da norma. Embora os métodos existentes de Análise de Causa Raiz (RCA) visem identificar quais características são responsáveis por uma anomalia, eles geralmente falham em distinguir entre dois processos gerativos fundamentalmente diferentes:

1. Anomalias de Medição: O processo causal subjacente é normal, mas um ou mais valores são registrados incorretamente (por exemplo, mau funcionamento de sensores, erros de entrada de dados).
2. Anomalias Mecanísticas: O mecanismo causal que gera a amostra mudou genuinamente (por exemplo, uma mudança no processo físico ou na dinâmica do sistema).

Distinguir entre esses casos é crítico para aplicações práticas. Um erro de medição pode exigir correção de dados ou recalibração de sensores, enquanto uma mudança mecanística frequentemente requer intervenção no próprio sistema. Os métodos existentes obscurecem essa distinção, tratando frequentemente todos os valores atípicos como desvios nos dados observados sem modelar o estado causal latente. Além disso, muitas abordagens assumem um conjunto de treinamento limpo, enquanto, na prática, as anomalias devem frequentemente ser identificadas diretamente dentro de um conjunto de dados contaminado (configuração não supervisionada dentro da amostra).

Metodologia

Formalização Causal

Os autores propõem um framework causal que modela explicitamente ambos os tipos de anomalia como intervenções em um Modelo Causal Estrutural (MCE).

• Variáveis: O modelo distingue entre variáveis de estado causal latente ($X^*$) e suas leituras observadas ($X$).
• Processo Livre de Anomalias: Na ausência de anomalias, $X^*_j = f_j(Pa^*_j, U_j)$ e $X_j = X^*_j$, onde $f_j$ é a atribuição estrutural e $U_j$ é ruído independente.
• Anomalias Mecanísticas: Modeladas como uma intervenção dura na variável latente $X^*_j$. A atribuição estrutural é substituída por uma variável exógena de valor atípico $O^{mech}_j$. Essa perturbação se propaga para variáveis a jusante.
• Anomalias de Medição: Modeladas como uma intervenção dura apenas na variável observada $X_j$. O estado latente $X^*_j$ permanece inalterado, e a perturbação não se propaga a jusante.
• Mudança Esparsa de Mecanismo (SMS): O framework adota a hipótese SMS, postulando que explicações que exigem menos falhas de mecanismo simultâneas são mais prováveis. Isso serve como um viés indutivo para preferir explicações simples (por exemplo, um único erro de medição) em vez de mudanças complexas e concertadas de mecanismo.

Inferência e Identificabilidade

O problema é formulado como uma tarefa de estimação de máxima verossimilhança com variáveis latentes.

• Densidades Condicionais à Atribuição: A verossimilhança de uma amostra dada uma atribuição específica de anomalias (quais variáveis são intervencionadas e como) é derivada. Para anomalias de medição, isso requer marginalizar sobre os valores latentes pré-substituição não observados.
• Identificabilidade: O artigo estabelece condições sob as quais as probabilidades de intervenção reduzidas são identificáveis.
  • Para nós que não são sumidouros (sink nodes), as probabilidades mecanísticas e de medição são separadamente identificáveis.
  • Para nós sumidouros (variáveis sem descendentes no grafo latente), apenas a probabilidade de qualquer intervenção (mecanística ou de medição) é identificável, pois ambos os tipos produzem distribuições observáveis idênticas no sumidouro.
  • A identificabilidade genérica é provada para MCEs Gaussianos lineares e MCEs Gaussianos polinomiais de grau fixo.
• Otimização: Como a marginalização exata sobre todas as atribuições possíveis de anomalias é computacionalmente inviável (exponencial no número de variáveis), os autores introduzem uma aproximação de atribuição dura. Eles maximizam a verossimilhança da única atribuição mais provável em vez de somar sobre todas as atribuições. Isso é justificado quando os valores atípicos são fortes o suficiente para induzir densidades condicionais à atribuição bem separadas.

O Algoritmo CALI

Os autores desenvolvem o CALI (Localização e Inspeção de Anomalia Causal), um algoritmo prático que:

1. Estima o Modelo Limpo: Usa regressão robusta (regressão quantílica com modelos aditivos generalizados) e estimação de densidade de kernel aparada para aprender o MCE livre de anomalias e as distribuições de ruído a partir de dados contaminados.
2. Atribuição Gulosa: Atualiza iterativamente a atribuição de anomalia para cada amostra. Prioriza candidatos com baixa verossimilhança residual sob a densidade limpa, aceitando uma intervenção apenas se o ganho na verossimilhança superar o custo de esparsidade (penalidade por adicionar um valor atípico).
3. Saída: Retorna uma atribuição discreta identificando as causas raiz e seus tipos (medição vs. mecanística), juntamente com escores de confiança baseados nos ganhos de verossimilhança.

Contribuições Principais

1. Modelo Causal Formal: A primeira definição formal de anomalias de medição e mecanísticas dentro de um framework causal, tratando-as como intervenções distintas em variáveis latentes e observadas.
2. Caracterização de Identificabilidade: Uma caracterização teórica de quando as probabilidades de intervenção reduzidas podem ser recuperadas dos dados, abordando especificamente a indistinguibilidade dos tipos de anomalia em nós sumidouros.
3. Algoritmo Prático (CALI): Um procedimento de inferência eficiente que alcança desempenho de última geração tanto na localização de causas raiz quanto na classificação de tipos de anomalia em uma configuração não supervisionada, dentro da amostra.

Resultados Experimentais

Os autores avaliam o CALI em dados sintéticos e benchmarks do mundo real (sinalização de proteínas Sachs, Câmaras Causais e dados de táxi de NYC).

• Localização de Causa Raiz: O CALI alcança um Recall Top-k de última geração em dados sintéticos, correspondendo de perto ao desempenho de uma busca exaustiva de oráculo (OPT*). Em conjuntos de dados do mundo real, supera os métodos de RCA existentes (incluindo atribuição baseada em MCE, SMTR, SCOR e AE+SHAP), particularmente sob forças de valores atípicos médias a fortes.
• Classificação de Tipo de Anomalia: O CALI supera significativamente as linhas de base (como MARG, que usa atipicalidade marginal) na distinção entre anomalias de medição e mecanísticas. Mantém alta precisão mesmo com valores atípicos fracos, onde outros métodos lutam.
• Robustez: O método demonstra robustez a violações de pressupostos, incluindo causas raiz correlacionadas, intervenções suaves, má especificação de DAG, confusão e ruído heterocedástico.
• Estudo de Caso: No conjunto de dados de táxi de NYC, o CALI identificou com sucesso erros de medição plausíveis (por exemplo, distâncias de viagem impossíveis vs. tarifas) e mudanças mecanísticas (por exemplo, regras específicas de preços fixos), demonstrando insights acionáveis.

Significado e Alegações

O artigo alega que distinguir entre erros de medição e mudanças mecanísticas é uma lacuna crítica, previamente negligenciada, na análise de anomalias. Ao modelar esses fenômenos como intervenções causais distintas, o método proposto permite estratégias de remediação mais apropriadas (por exemplo, consertar um sensor vs. consertar um processo).

Os autores enfatizam que sua abordagem é modesta em relação às suas limitações:

• Requer um DAG conhecido ou aprendido; o desempenho degrada se a estrutura causal estiver severamente mal especificada.
• Assume que as anomalias são raras e que o processo "limpo" domina os dados.
• Para mudanças extremamente grandes, métodos marginais mais simples podem se tornar competitivos, pois o modelo depende de estimativas de densidade que podem extrapolar mal.
• O método é atualmente restrito a dados tabulares.

Os autores posicionam o CALI como uma ferramenta de apoio à decisão, em vez de um tomador de decisão automatizado, observando que suas conclusões dependem da validade do grafo causal assumido e dos pressupostos de modelagem. Eles sugerem que trabalhos futuros poderiam aproveitar a estrutura das anomalias para melhorar a descoberta causal em dados contaminados.