Causal Discovery in Multivariate Extremes via Tail Asymmetry

1. Il Problema

La scoperta causale in sistemi multivariati caratterizzati da eventi estremi (code delle distribuzioni) presenta sfide uniche rispetto all'analisi statistica classica ("bulk"):

• Rarità e Dipendenza: Le osservazioni estreme sono sparse, dipendenti e spesso influenzate da shock comuni latenti (confondenti).
• Limiti dei Metodi Esistenti: Gli approcci classici (es. PC algorithm, LiNGAM, NOTEARS) sono calibrati sull'indipendenza condizionale nel corpo della distribuzione o su variazioni non-Gaussiane, non sugli eventi di coda. I metodi esistenti per gli estremi si basano spesso su grafi non diretti o richiedono restrizioni strutturali a priori (es. grafi predefiniti o sistemi piccoli), rendendoli inadatti per sistemi ad alta dimensionalità con centinaia di variabili e confondenti latenti.
• Obiettivo: Sviluppare un framework puramente guidato dai dati per la scoperta causale in sistemi multivariati pesanti (heavy-tailed), capace di gestire la latenza e di orientare gli archi senza conoscenza preesistente della struttura del grafo.

2. Metodologia: S3ME

Gli autori propongono S3ME (Sparse Structure Discovery in Multivariate Extremes), un framework a due stadi basato sul principio dell'asimmetria indotta dalla coda (tail-induced asymmetry).

Principio Fondamentale: Asimmetria di Coda

In sistemi estremi ricorsivi (governati dal principio del "single big jump"), la previsione è asimmetrica:

• Previsione in avanti (Forward): Condizionare un'estremità alla causa (genitore) riduce drasticamente l'incertezza sull'effetto. Se $X_i$ è estremo, $X_j$ (dove $i \to j$) è quasi certamente determinato da $X_i$.
• Previsione all'indietro (Backward): Condizionare un'estremità all'effetto non identifica univocamente la causa. Un'estremità in $X_j$ potrebbe derivare da uno shock in $X_i$ o da un'innovazione locale $\epsilon_j$.
• Risultato: Il rischio di previsione (tail prediction risk) è sistematicamente più basso nella direzione causale vera rispetto alla direzione inversa. Questa asimmetria rende la direzione causale identificabile.

Stadio 1: Recupero dello Scheletro (Skeleton Recovery)

L'obiettivo è identificare un grafo non diretto candidato (scheletro) che contenga tutti gli archi veri con alta probabilità, riducendo lo spazio di ricerca.

• Trasformazione: I dati vengono standardizzati a scala Pareto unitaria e trasformati in coordinate di coda logaritmiche ($Z = \log Y - \log u$).
• Gestione dei Confondenti: Per mitigare la dipendenza simmetrica indotta da shock comuni latenti, viene introdotta una variabile proxy ($P$) che cattura la variazione comune.
• Selezione del Vicinato Penalizzata: Viene applicata una regressione Lasso nodale ($\ell_1$-penalized) per ogni nodo $j$, utilizzando $Z_{-j}$ come predittori e includendo $P$ come regressore non penalizzato. Questo permette di assorbire la variazione comune senza penalizzarla, preservando la sparsità delle connessioni dirette.
• Teorema di Screening: Viene garantito che, con alta probabilità, lo scheletro vero sia contenuto nello scheletro stimato (sure screening), anche in regime ad alta dimensionalità ($p \gg k$, dove $k$ è la dimensione del campione di coda).

Stadio 2: Orientamento degli Archi (Score-Based Orientation)

Una volta ottenuto lo scheletro, gli archi vengono orientati sfruttando l'asimmetria di coda.

• Modello: Si utilizza un modello a busta max-linear nel dominio log-coda. Per ogni nodo, si stima un "envelope" che massimizza il contributo dei genitori.
• Funzione di Punteggio: Si definisce un punteggio basato sul rischio di previsione della coda (misurato come somma degli errori assoluti, SAE) combinato con una penalità di complessità (EBIC - Extended Bayesian Information Criterion).
  • La direzione che minimizza l'errore di previsione (sfruttando l'asimmetria) viene preferita.
  • La penalità EBIC rimuove i genitori spurii (overfitting) che non migliorano significativamente il fit rispetto al costo della complessità.
• Algoritmo: Una ricerca greedy esplora le orientazioni ammissibili (senza cicli) all'interno dello scheletro candidato per minimizzare il punteggio globale.

3. Contributi Chiave

1. Identificabilità Teorica: Dimostrazione che l'asimmetria nella previsione della coda (Forward vs Backward) fornisce una condizione di identificabilità per la direzione causale in modelli max-linear ricorsivi, anche in presenza di confondenti se corretti adeguatamente.
2. Framework S3ME: Sviluppo di un metodo a due stadi che combina screening robusto (con aggiustamento proxy) e orientamento basato su score, scalabile a centinaia di variabili.
3. Robustezza ai Confondenti: Introduzione di una procedura di aggiustamento proxy che sopprime i falsi positivi indotti da shock comuni, un punto debole dei metodi diretti esistenti.
4. Garanzie Teoriche: Prove di consistenza per lo screening dello scheletro e per l'orientamento degli archi in regime ad alta dimensionalità, sotto condizioni di separazione del punteggio nella popolazione.

4. Risultati Sperimentali

• Simulazioni:
  • Scalabilità: S3ME mantiene prestazioni superiori rispetto a metodi basati su dati di corpo (FGES) e metodi di orientamento estremi esistenti (EASE) all'aumentare della dimensionalità ($p$ fino a 200).
  • Robustezza: In presenza di confondenti latenti intensi, S3ME riduce drasticamente i falsi positivi causati da confusione (fino a 44-67 volte meno di EASE e FGES), mantenendo un alto F1-score.
  • Sensibilità: L'aggiustamento proxy è critico quando i confondenti sono presenti; senza di esso, le prestazioni crollano.
• Applicazioni Reali:
  • Rete Fluviale (Danubio Superiore): Su 31 stazioni di misurazione, il metodo ha recuperato la struttura di flusso fisico con un'accuratezza dell'81% nell'orientamento degli archi corretti, gestendo efficacemente le tempeste regionali (confondenti).
  • Rischio Finanziario (S&P 500): Su 103 titoli, il metodo ha identificato una rete di trasmissione del rischio di coda sparsa e interpretabile, con cluster coerenti per settore (es. Utilities come trasmettitori principali), senza alcuna struttura predefinita.

5. Significato e Implicazioni

Questo lavoro colma un divario significativo nella statistica degli estremi e nella scoperta causale.

• Superamento dei Limiti Attuali: Permette la scoperta causale in sistemi multivariati complessi e ad alta dimensionalità, un dominio finora precluso ai metodi diretti per gli estremi.
• Interpretabilità: Fornisce strutture causali interpretabili (es. propagazione di inondazioni o shock finanziari) direttamente dai dati di coda, fondamentali per la gestione del rischio e l'intervento.
• Fondamento Teorico: Stabilisce che l'asimmetria nella dinamica degli eventi estremi è una fonte di informazione causale sfruttabile, aprendo la strada a nuovi metodi di apprendimento strutturale basati sulle code.

In sintesi, S3ME rappresenta un avanzamento sostanziale verso la comprensione delle dinamiche di propagazione degli eventi rari e catastrofici in sistemi interconnessi, offrendo uno strumento robusto e teoricamente fondato per l'analisi del rischio estremo.