Riepilogo Tecnico: SC3D – Scoperta Differenziabile Dinamica Causale Stabile

1. Formulazione del Problema

Il documento affronta la sfida di scoprire strutture causali da serie temporali multivariate in cui le interazioni avvengono attraverso molteplici ritardi temporali e potenzialmente coinvolgono dipendenze istantanee. La scoperta causale tradizionale nelle serie temporali incontra due ostacoli principali:

1. Spazio di Ricerca Combinatorio: Lo spazio di ricerca per grafi dinamici che coinvolgono sia archi ritardati (inter-slice) sia istantanei (intra-slice) è combinatorio, rendendo la ricerca esaustiva non fattibile per sistemi ad alta dimensionalità.
2. Instabilità Numerica: I metodi di scoperta causale differenziabile (DCD), che formulano l'apprendimento della struttura come ottimizzazione continua, soffrono spesso di instabilità numerica quando impongono vincoli di aciclicità, in particolare all'aumentare del numero di variabili. I vincoli di aciclicità lisci esistenti (ad esempio basati sulla traccia) si deteriorano rapidamente oltre le decine di variabili.

Gli autori propongono SC3D (Stable Causal Dynamic Differentiable Discovery), un framework progettato per apprendere congiuntamente matrici di adiacenza specifiche per ritardo e un Grafo Aciclico Diretto (DAG) istantaneo all'interno di un Modello a Equazioni Strutturali (SEM) dinamico non lineare.

2. Metodologia

SC3D impiega un framework differenziabile in due fasi che colma i modelli vettoriali autoregressivi strutturali (SVAR) con la scoperta causale differenziabile stabile. Il metodo opera su serie temporali multivariate osservate $\{X_t\}_{t=1}^T$.

Fase 1: Preselezione Temporale Nodo per Nodo

La prima fase mira a ridurre lo spazio di ricerca combinatorio identificando i genitori causali candidati senza imporre vincoli di aciclicità.

• Processo: Per ogni variabile target $X_j^{t+1}$, viene adattato un modello predittivo condizionale (implementato come Perceptron Multistrato, MLP) utilizzando una finestra temporale di genitori candidati, inclusi variabili ritardate fino all'ordine $L$ e variabili contemporanee (esclusi i loop su se stessi).
• Obiettivo: Il modello massimizza una verosimiglianza logaritmica condizionale penalizzata con un termine di regolarizzazione $L_1$ per imporre la sparsità.
• Output: Le magnitudini apprese dei gruppi di input vengono soggettate a una soglia per generare maschere binarie ($M_{A_\ell}$ per gli archi ritardati e $M_B$ per gli archi istantanei).
• Garanzia Teorica: Il Teorema 3.1 stabilisce che, a livello di popolazione, questo passaggio di preselezione preserva tutti i genitori dinamici veri all'interno della finestra temporale scelta, assicurando che nessuna relazione causale vera venga scartata prima della fase di raffinamento.

Fase 2: Rifinitura della Struttura Vincolata

La seconda fase rifinisce la struttura causale utilizzando le maschere generate nella Fase 1, concentrandosi sull'imposizione del vincolo di aciclicità specificamente sul componente istantaneo.

• Ottimizzazione: I parametri del modello vengono ri-ottimizzati per minimizzare una verosimiglianza logaritmica negativa regolarizzata, limitata agli archi consentiti dalle maschere della Fase 1.
• Imposizione di Aciclicità: A differenza dei metodi precedenti che applicano vincoli lisci basati sulla traccia all'intero grafo, SC3D impone l'aciclicità solo sulla matrice di adiacenza istantanea $B$. Ciò è ottenuto tramite una penalità sul raggio spettrale $\rho(|B|)$, che è uguale a zero se e solo se il grafo è aciclico.
• Penalità per Cicli a 2 Nodi: Per affrontare l'eventuale instabilità derivante da archi reciproci che potrebbero soddisfare un piccolo raggio spettrale, viene introdotta un'ulteriore penalità $L_1$ sul prodotto elemento per elemento $B \odot B^\top$ per penalizzare direttamente i cicli a 2 nodi.
• Programmazione della Penalità: Il coefficiente della penalità spettrale $\gamma$ viene aumentato gradualmente durante l'addestramento. Una volta che il grafo istantaneo estratto soddisfa il vincolo di aciclicità e mantiene un numero sufficiente di archi, la penalità viene "congelata" per prevenire comportamenti oscillatori e stabilizzare la convergenza.
• Intuizione Teorica: La Proposizione 3.2 dimostra che se il blocco istantaneo $B$ è aciclico, l'intero grafo causale srotolato nel tempo è garantito essere aciclico, poiché gli archi ritardati si muovono inherentemente in avanti nel tempo e non possono formare cicli.

3. Contributi Chiave

Il documento delinea quattro contributi principali:

1. Formulazione Innovativa: Formula la scoperta causale per sistemi dinamici utilizzando matrici di adiacenza specifiche per ritardo e componenti DAG istantanei, colmando efficacemente i modelli VAR strutturali con la scoperta causale differenziabile stabile.
2. Approccio in Due Fasi: Introduce una strategia di screening e raffinamento vincolato. Screeningando i genitori candidati in una finestra predittiva ritardata prima di imporre l'aciclicità, il metodo evita l'instabilità numerica associata all'ottimizzazione diretta di grafi aciclici ad alta dimensionalità.
3. Garanzie Teoriche: Gli autori forniscono garanzie a livello di popolazione che dimostrano che la Fase 1 preserva tutti i genitori causali veri e che l'aciclicità delle dipendenze istantanee è sufficiente a garantire l'aciclicità del grafo srotolato nel tempo.
4. Validazione Empirica: Il framework è stato valutato su sistemi SVAR sintetici, benchmark non lineari e caotici (Lorenz-96, NC8), dinamiche non stazionarie (TVSEM) e dataset reali (CausalRivers), dimostrando stabilità e accuratezza migliorate rispetto alle linee di base esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato SC3D confrontandolo con baseline tra cui DYNOTEARS, PCMCI+, NTS-NOTEARS, TECDI, VAR-LiNGAM e NeuralGC.

• Scalabilità e Stabilità: Negli esperimenti che variavano la dimensionalità $d$ da 10 a 50, SC3D ha mostrato la più bassa distanza strutturale di Hamming totale (SHD). Mentre gli errori di altri metodi crescevano rapidamente con la dimensionalità, SC3D ha mantenuto prestazioni robuste. Ha ottenuto errori solo ritardati inferiori ($SHD_A$) rispetto a DYNOTEARS e TCDF, indicando un recupero superiore delle dipendenze temporali.
• Prestazioni di Classifica: Utilizzando le metriche AUROC e AUPRC, SC3D ha raggiunto prestazioni di primo livello nella classificazione delle relazioni causali ritardate (AUROC $\approx$ 0,91) e prestazioni competitive nella classificazione degli archi istantanei (AUPRC $\approx$ 0,715), superando le baseline specializzate in contesti di reti sparse.
• Robustezza all'Ordine di Ritardo: L'analisi di sensibilità ha mostrato che all'aumentare dell'ordine di ritardo $L$, il componente istantaneo dell'errore è rimasto stabile, confermando che il design in due fasi controlla efficacemente lo spazio di ricerca anche con dipendenze temporali più profonde.
• Sistemi Dinamici:
  • Lorenz-96 (Caotico): SC3D ha ottenuto l'errore strutturale top-$k$ più basso e il più alto AUROC/AUPRC, superando PCMCI+ e TECDI.
  • TVSEM (Non Stazionario): In un ambiente con cambio di regime, SC3D ha prodotto traiettorie di punteggio più lisce e temporalmente coerenti rispetto alle baseline, che hanno mostrato transizioni più nette ma meno stabili.
  • Reale (CausalRivers): Su dati di deflusso fluviale, SC3D ha raggiunto accuratezza strutturale e metriche di classifica competitive, mantenendo in particolare le prestazioni a dimensioni più elevate ($d=20$) dove altri metodi si degradavano significativamente.
• Studio di Ablazione: La rimozione della preselezione della Fase 1 ha causato un aumento catastrofico della SHD totale (ad esempio, da ~87 a ~637 a $d=20$), confermando che il passaggio di preselezione è critico per il controllo dello spazio di ricerca. Anche le penalità spettrale e per cicli a 2 nodi si sono rivelate essenziali per un recupero stabile in alte dimensioni.

5. Significato e Affermazioni

Il documento afferma che SC3D offre una soluzione stabile, scalabile e differenziabile per la scoperta causale in sistemi dinamici multivariati. Il suo significato risiede in:

• Superamento dell'Instabilità Numerica: Disaccoppiando la riduzione dello spazio di ricerca (Fase 1) dall'imposizione dell'aciclicità (Fase 2) e applicando vincoli spettrali solo al blocco istantaneo, evita le insidie numeriche dei vincoli basati sulla traccia lisci in alte dimensioni.
• Recupero Congiunto: È uno dei pochi metodi capaci di recuperare congiuntamente sia le strutture causali ritardate sia quelle istantanee, supportando al contempo dipendenze non lineari.
• Solidità Teorica: Il framework fornisce garanzie formali riguardo alla preservazione dei genitori veri durante lo screening e alla sufficienza dell'aciclicità istantanea per l'aciclicità globale.

Gli autori posizionano SC3D come un'alternativa robusta ai metodi esistenti che modellano le dipendenze ritardate e istantanee in modo indipendente o che faticano con scalabilità e stabilità quando le apprendono simultaneamente. Il lavoro è presentato come un passo verso un'intervento meccanicistico affidabile e un ragionamento sotto spostamenti di distribuzione in sistemi dinamici complessi.