Riepilogo Tecnico: Analisi della Causa Radice di Anomalie di Misurazione e Meccaniche

Enunciato del Problema

I dataset del mondo reale contengono frequentemente anomalie—campioni generati da processi che si discostano dalla norma. Sebbene i metodi esistenti di Analisi della Causa Radice (RCA) mirino a identificare quali caratteristiche siano responsabili di un'anomalia, essi tipicamente falliscono nel distinguere tra due processi generativi fondamentalmente diversi:

1. Anomalie di Misurazione: Il processo causale sottostante è normale, ma uno o più valori sono registrati in modo errato (ad esempio, malfunzionamenti dei sensori, errori di inserimento dati).
2. Anomalie Meccaniche: Il meccanismo causale che genera il campione è cambiato genuinamente (ad esempio, un cambiamento nel processo fisico o nella dinamica del sistema).

Distinguere tra queste due è critico per le applicazioni pratiche. Un errore di misurazione può richiedere una correzione dei dati o una ricalibrazione del sensore, mentre uno spostamento meccanico spesso necessita di un intervento sul sistema stesso. I metodi esistenti sfumano questa distinzione, trattando spesso tutti gli outlier come deviazioni nei dati osservati senza modellare lo stato causale latente. Inoltre, molti approcci assumono un set di dati di addestramento pulito, mentre nella pratica le anomalie devono spesso essere identificate direttamente all'interno di un dataset contaminato (setting in-campionamento non supervisionato).

Metodologia

Formalizzazione Causale

Gli autori propongono un quadro causale che modella esplicitamente entrambi i tipi di anomalia come interventi su un Modello Causale Strutturale (SCM).

• Variabili: Il modello distingue tra variabili di stato causale latente ($X^*$) e le loro letture osservate ($X$).
• Processo Senza Anomalie: In assenza di anomalie, $X^*_j = f_j(Pa^*_j, U_j)$ e $X_j = X^*_j$, dove $f_j$ è l'assegnazione strutturale e $U_j$ è rumore indipendente.
• Anomalie Meccaniche: Modellate come un intervento forte sulla variabile latente $X^*_j$. L'assegnazione strutturale è sostituita da una variabile esogena di outlier $O^{mech}_j$. Questa perturbazione si propaga alle variabili a valle.
• Anomalie di Misurazione: Modellate come un intervento forte sulla variabile osservata $X_j$ solamente. Lo stato latente $X^*_j$ rimane invariato e la perturbazione non si propaga a valle.
• Spostamento Sparsa del Meccanismo (SMS): Il quadro adotta l'ipotesi SMS, postulando che le spiegazioni che richiedono meno fallimenti simultanei del meccanismo siano più probabili. Questo funge da bias induttivo per preferire spiegazioni semplici (ad esempio, un singolo errore di misurazione) rispetto a cambiamenti complessi e concertati del meccanismo.

Inferenza e Identificabilità

Il problema è formulato come un compito di stima della massima verosimiglianza con variabili latenti.

• Densità Condizionate all'Assegnazione: Viene derivata la verosimiglianza di un campione data una specifica assegnazione di anomalie (quali variabili sono intervenute e come). Per le anomalie di misurazione, ciò richiede la marginalizzazione sui valori latenti pre-sostituzione non osservati.
• Identificabilità: Il documento stabilisce le condizioni in base alle quali le probabilità di intervento ridotte sono identificabili.
  • Per i nodi non-sink, le probabilità meccaniche e di misurazione sono separatamente identificabili.
  • Per i nodi sink (variabili senza discendenti nel grafo latente), è identificabile solo la probabilità di qualsiasi intervento (meccanico o di misurazione), poiché entrambi i tipi producono distribuzioni osservabili identiche al sink.
  • L'identificabilità generica è dimostrata per SCM Gaussiani lineari e SCM Gaussiani polinomiali a grado fisso.
• Ottimizzazione: Poiché la marginalizzazione esatta su tutte le possibili assegnazioni di anomalie è computazionalmente non fattibile (esponenziale nel numero di variabili), gli autori introducono un'approssimazione ad assegnazione rigida. Massimizzano la verosimiglianza della singola assegnazione più probabile invece di sommare su tutte le assegnazioni. Questo è giustificato quando gli outlier sono sufficientemente forti da indurre densità condizionate all'assegnazione ben separate.

L'Algoritmo CALI

Gli autori sviluppano CALI (Localizzazione e Ispezione Causale delle Anomalie), un algoritmo pratico che:

1. Stima il Modello Pulito: Utilizza regressione robusta (regressione quantile con modelli additivi generalizzati) e stima della densità del kernel ritagliata per apprendere l'SCM e le distribuzioni del rumore privi di anomalie dai dati contaminati.
2. Assegnazione Greedy: Aggiorna iterativamente l'assegnazione delle anomalie per ciascun campione. Priorizza i candidati con bassa verosimiglianza residua sotto la densità pulita, accettando un intervento solo se il guadagno nella verosimiglianza supera il costo di sparsità (penalità per l'aggiunta di un outlier).
3. Output: Restituisce un'assegnazione discreta che identifica le cause radice e i loro tipi (misurazione vs. meccanica), insieme a punteggi di confidenza basati sui guadagni di verosimiglianza.

Contributi Chiave

1. Modello Causale Formale: La prima definizione formale di anomalie di misurazione e meccaniche all'interno di un quadro causale, trattandole come interventi distinti su variabili latenti e osservate.
2. Caratterizzazione dell'Identificabilità: Una caratterizzazione teorica di quando le probabilità di intervento ridotte possono essere recuperate dai dati, affrontando specificamente l'indistinguibilità dei tipi di anomalia ai nodi sink.
3. Algoritmo Pratico (CALI): Una procedura di inferenza efficiente che raggiunge prestazioni allo stato dell'arte sia nella localizzazione delle cause radice che nella classificazione dei tipi di anomalia in un setting non supervisionato e in-campionamento.

Risultati Sperimentali

Gli autori valutano CALI su dati sintetici e benchmark del mondo reale (segnalazione proteica di Sachs, Causal Chambers e dati dei taxi di New York).

• Localizzazione della Causa Radice: CALI ottiene un Top-k Recall allo stato dell'arte su dati sintetici, corrispondendo da vicino alle prestazioni di una ricerca esaustiva oracolare (OPT*). Su dataset reali, supera i metodi RCA esistenti (inclusa l'attribuzione basata su SCM, SMTR, SCOR e AE+SHAP), in particolare sotto forze di outlier da medie a forti.
• Classificazione del Tipo di Anomalia: CALI supera significativamente le linee di base (come MARG, che utilizza l'outlierness marginale) nel distinguere tra anomalie di misurazione e meccaniche. Mantiene un'alta accuratezza anche con outlier deboli dove altri metodi faticano.
• Robustezza: Il metodo dimostra robustezza rispetto alle violazioni delle assunzioni, incluse cause radice correlate, interventi soft, errata specificazione del DAG, confondimento e rumore eteroschedastico.
• Studio di Caso: Sul dataset dei taxi di New York, CALI ha identificato con successo errori di misurazione plausibili (ad esempio, distanze di viaggio impossibili rispetto alle tariffe) e spostamenti meccanici (ad esempio, regole specifiche di tariffazione fissa), dimostrando intuizioni attuabili.

Significato e Affermazioni

Il documento afferma che distinguere tra errori di misurazione e spostamenti meccanici è un gap critico, precedentemente trascurato, nell'analisi delle anomalie. Modellando questi come interventi causali distinti, il metodo proposto consente strategie di rimedio più appropriate (ad esempio, riparare un sensore rispetto a riparare un processo).

Gli autori sottolineano che il loro approccio è modesto riguardo ai suoi limiti:

• Richiede un DAG noto o appreso; le prestazioni peggiorano se la struttura causale è gravemente errata.
• Assume che le anomalie siano rare e che il processo "pulito" domini i dati.
• Per spostamenti estremamente grandi, metodi marginali più semplici potrebbero diventare competitivi, poiché il modello si basa su stime di densità che potrebbero estrapolare male.
• Il metodo è attualmente limitato a dati tabellari.

Gli autori posizionano CALI come uno strumento di supporto alle decisioni piuttosto che un decisore automatizzato, notando che le sue conclusioni dipendono dalla validità del grafo causale assunto e delle assunzioni di modellazione. Suggeriscono che lavori futuri potrebbero sfruttare la struttura delle anomalie per migliorare la scoperta causale in dati contaminati.