Résumé technique : Analyse des causes racines des anomalies de mesure et mécanistiques

Énoncé du problème

Les jeux de données réels contiennent fréquemment des anomalies — des échantillons générés par des processus qui s'écartent de la norme. Bien que les méthodes existantes d'analyse des causes racines (RCA) visent à identifier quelles caractéristiques sont responsables d'une anomalie, elles échouent généralement à distinguer deux processus génératifs fondamentalement différents :

1. Anomalies de mesure : Le processus causal sous-jacent est normal, mais une ou plusieurs valeurs sont enregistrées incorrectement (par exemple, dysfonctionnements de capteurs, erreurs de saisie de données).
2. Anomalies mécanistiques : Le mécanisme causal générant l'échantillon a véritablement changé (par exemple, un décalage dans le processus physique ou la dynamique du système).

Distinguer entre ces deux types est crucial pour les applications pratiques. Une erreur de mesure peut nécessiter une correction des données ou un recalibrage du capteur, tandis qu'un décalage mécanistique exige souvent une intervention sur le système lui-même. Les méthodes existantes brouillent cette distinction, traitant souvent toutes les valeurs aberrantes comme des déviations dans les données observées sans modéliser l'état causal latent. De plus, de nombreuses approches supposent un ensemble d'entraînement propre, alors que dans la pratique, les anomalies doivent souvent être identifiées directement au sein d'un jeu de données contaminé (réglage non supervisé intra-échantillon).

Méthodologie

Formalisation causale

Les auteurs proposent un cadre causal qui modélise explicitement les deux types d'anomalies comme des interventions sur un Modèle Causal Structurel (SCM).

• Variables : Le modèle distingue entre les variables d'état causal latent ($X^*$) et leurs lectures observées ($X$).
• Processus sans anomalie : En l'absence d'anomalies, $X^*_j = f_j(Pa^*_j, U_j)$ et $X_j = X^*_j$, où $f_j$ est l'affectation structurelle et $U_j$ un bruit indépendant.
• Anomalies mécanistiques : Modélisées comme une intervention dure sur la variable latente $X^*_j$. L'affectation structurelle est remplacée par une variable exogène de valeur aberrante $O^{mech}_j$. Cette perturbation se propage aux variables en aval.
• Anomalies de mesure : Modélisées comme une intervention dure uniquement sur la variable observée $X_j$. L'état latent $X^*_j$ reste inchangé, et la perturbation ne se propage pas en aval.
• Décalage de mécanisme parcimonieux (SMS) : Le cadre adopte l'hypothèse SMS, postulant que les explications nécessitant moins de défaillances de mécanismes simultanées sont plus probables. Cela sert de biais inductif pour privilégier des explications simples (par exemple, une erreur de mesure unique) par rapport à des changements de mécanisme concertés complexes.

Inférence et identificabilité

Le problème est formulé comme une tâche d'estimation du maximum de vraisemblance à variables latentes.

• Densités conditionnelles à l'affectation : La vraisemblance d'un échantillon étant donnée une affectation spécifique d'anomalies (quelles variables sont intervenues et comment) est dérivée. Pour les anomalies de mesure, cela nécessite de marginaliser sur les valeurs latentes pré-remplacement non observées.
• Identificabilité : L'article établit les conditions selon lesquelles les probabilités d'intervention réduites sont identifiables.
  • Pour les nœuds non puits, les probabilités mécanistiques et de mesure sont séparément identifiables.
  • Pour les nœuds puits (variables sans descendants dans le graphe latent), seule la probabilité de toute intervention (mécanistique ou de mesure) est identifiable, car les deux types produisent des distributions observables identiques au niveau du puits.
  • L'identificabilité générique est prouvée pour les SCM gaussiens linéaires et les SCM gaussiens polynomiaux de degré fixe.
• Optimisation : Puisque la marginalisation exacte sur toutes les affectations d'anomalies possibles est computationnellement impossible (exponentielle en fonction du nombre de variables), les auteurs introduisent une approximation d'affectation dure. Ils maximisent la vraisemblance de la seule affectation la plus probable plutôt que de sommer sur toutes les affectations. Cela est justifié lorsque les valeurs aberrantes sont suffisamment fortes pour induire des densités conditionnelles à l'affectation bien séparées.

L'algorithme CALI

Les auteurs développent CALI (Localisation et Inspection des Anomalies Causales), un algorithme pratique qui :

1. Estime le modèle propre : Utilise une régression robuste (régression par quantiles avec modèles additifs généralisés) et une estimation de densité par noyau élaguée pour apprendre le SCM sans anomalie et les distributions de bruit à partir de données contaminées.
2. Affectation gloutonne : Met à jour itérativement l'affectation d'anomalie pour chaque échantillon. Il privilégie les candidats ayant une faible vraisemblance résiduelle sous la densité propre, n'acceptant une intervention que si le gain en vraisemblance l'emporte sur le coût de parcimonie (pénalité pour l'ajout d'une valeur aberrante).
3. Sortie : Retourne une affectation discrète identifiant les causes racines et leurs types (mesure vs mécanistique), ainsi que des scores de confiance basés sur les gains de vraisemblance.

Contributions clés

1. Modèle causal formel : La première définition formelle des anomalies de mesure et mécanistiques dans un cadre causal, les traitant comme des interventions distinctes sur les variables latentes et observées.
2. Caractérisation de l'identificabilité : Une caractérisation théorique de la possibilité de récupérer les probabilités d'intervention réduites à partir des données, abordant spécifiquement l'indistinguabilité des types d'anomalies aux nœuds puits.
3. Algorithme pratique (CALI) : Une procédure d'inférence efficace qui atteint des performances de pointe à la fois dans la localisation des causes racines et la classification des types d'anomalies dans un réglage non supervisé, intra-échantillon.

Résultats expérimentaux

Les auteurs évaluent CALI sur des données synthétiques et des benchmarks réels (signalisation des protéines Sachs, Causal Chambers, et données de taxis de New York).

• Localisation des causes racines : CALI atteint un Rappel Top-k de pointe sur les données synthétiques, correspondant étroitement aux performances d'une recherche exhaustive par oracle (OPT*). Sur les jeux de données réels, il surpasse les méthodes RCA existantes (y compris l'attribution basée sur SCM, SMTR, SCOR, et AE+SHAP), en particulier sous des forces de valeurs aberrantes moyennes à fortes.
• Classification des types d'anomalies : CALI surpasse nettement les méthodes de référence (comme MARG, qui utilise l'étrangeté marginale) dans la distinction entre anomalies de mesure et mécanistiques. Il maintient une haute précision même avec des valeurs aberrantes faibles où d'autres méthodes peinent.
• Robustesse : La méthode démontre une robustesse face aux violations des hypothèses, y compris les causes racines corrélées, les interventions douces, la mauvaise spécification du DAG, la confusion et le bruit hétéroscédastique.
• Étude de cas : Sur le jeu de données NYC Taxi, CALI a identifié avec succès des erreurs de mesure plausibles (par exemple, des distances de trajet impossibles par rapport aux tarifs) et des décalages mécanistiques (par exemple, des règles spécifiques de tarification forfaitaire), démontrant des informations exploitables.

Importance et revendications

L'article affirme que la distinction entre les erreurs de mesure et les décalages mécanistiques constitue un écart critique, précédemment négligé, dans l'analyse des anomalies. En modélisant ces derniers comme des interventions causales distinctes, la méthode proposée permet des stratégies de remédiation plus appropriées (par exemple, réparer un capteur par rapport à réparer un processus).

Les auteurs soulignent que leur approche est modeste concernant ses limites :

• Elle nécessite un DAG connu ou appris ; les performances se dégradent si la structure causale est gravement mal spécifiée.
• Elle suppose que les anomalies sont rares et que le processus « propre » domine les données.
• Pour des décalages extrêmement importants, des méthodes marginales plus simples peuvent devenir compétitives, car le modèle repose sur des estimations de densité qui peuvent extrapoler mal.
• La méthode est actuellement limitée aux données tabulaires.

Les auteurs positionnent CALI comme un outil d'aide à la décision plutôt que comme un décideur automatisé, notant que ses conclusions dépendent de la validité du graphe causal supposé et des hypothèses de modélisation. Ils suggèrent que des travaux futurs pourraient exploiter la structure des anomalies pour améliorer la découverte causale dans des données contaminées.