Scalable Contrastive Causal Discovery under Unknown Soft Interventions

Il paper propone un modello scalabile per la scoperta causale che, sfruttando dati osservazionali e interventivi soft con target ignoti, integra regole di orientamento contrastive per ricostruire una struttura causale globale coerente, garantendo teoricamente il recupero asintotico del PDAG identificabile e dimostrando empiricamente migliori prestazioni di generalizzazione e scalabilità.

L'essenziale

Immagina di essere un detective che deve ricostruire la storia di un crimine, ma hai un problema: non hai mai visto il crimine accadere. Hai solo due album fotografici diversi: uno scattato in una giornata di sole (il "regime osservativo") e uno scattato durante un temporale (il "regime di intervento").

Il problema è che nel secondo album, qualcuno ha modificato segretamente le condizioni della scena (un "intervento morbido"): forse ha spostato un vaso, ha cambiato la luce o ha aperto una finestra. Non sai chi ha fatto cosa, né come l'ha fatto. Inoltre, non sai nemmeno quali sono le regole di causa ed effetto che legano gli oggetti tra loro.

Il paper che hai condiviso presenta SCONE, un nuovo metodo intelligente (un modello di intelligenza artificiale) creato da ricercatori della Columbia University per risolvere proprio questo enigma.

Ecco come funziona, spiegato con parole semplici e metafore:

1. Il Problema: L'Enigma delle Due Stanze

Immagina due stanze identiche, piene di mobili (le variabili).

• Nella prima stanza (Regime 0), tutto è normale. Osservi come i mobili si muovono o reagiscono l'uno all'altro.
• Nella seconda stanza (Regime 1), qualcuno ha dato un colpetto a certi mobili (interventi), cambiandone il comportamento, ma non ha spostato i muri (la struttura di base è la stessa).

Il problema è che guardando una sola stanza, non riesci a capire chi comanda su chi. È come guardare due persone che si muovono in sincronia: non sai se A spinge B, o se B spinge A, o se entrambi reagiscono a un terzo fattore nascosto.

2. La Soluzione: SCONE, il Detective Comparativo

SCONE è come un detective super-avanzato che non guarda le stanze separatamente, ma le confronta costantemente.

Invece di cercare di analizzare l'intera stanza gigante tutto in una volta (cosa che richiederebbe un computer enorme e molto tempo), SCONE usa una strategia intelligente:

• Guarda i pezzi piccoli: Prende piccoli gruppi di mobili (sotto-grafi) e studia come si comportano in entrambe le stanze.
• Cerca le differenze: Chiede: "Cosa è cambiato quando siamo passati dalla stanza 1 alla stanza 2?".
• Usa le differenze per capire la causa: Se un mobile cambia comportamento solo quando un altro viene toccato, SCONE capisce che c'è un legame causale.

3. I Tre Trucchi del Mestiere (Le Regole Contrastive)

SCONE ha tre trucchi magici per capire la direzione delle frecce (chi causa cosa):

• Il Trucco dell'Asimmetria (Single-Sided Invariance):
  Immagina due amici, Marco e Luca. Se Marco cambia il suo comportamento quando entra nella stanza del temporale, ma Luca rimane esattamente uguale, allora è probabile che Marco sia stato "colpito" dall'intervento e che Luca sia influenzato da Marco, non il contrario. SCONE usa questa asimmetria per orientare la freccia: da chi è stabile a chi è cambiato.

• Il Trucco del Punto d'Incontro (Contrastive V-structure):
  Immagina due persone che guardano entrambe un terzo oggetto. Se l'oggetto centrale cambia comportamento drasticamente nel temporale, ma le due persone che lo guardano rimangono calme e invariate, allora quell'oggetto centrale è probabilmente il "colpevole" o il punto di convergenza. SCONE riconosce questi schemi per capire dove le frecce devono puntare verso il centro.

• Il Trucco del Sentiero (Contrastive Discriminating Path):
  A volte le cose sono collegate da una catena lunga. SCONE guarda l'intera catena e chiede: "Dove si rompe la catena di invarianza?". Se la catena è stabile ovunque tranne che in un punto specifico, quel punto è la chiave per capire la direzione del flusso.

4. Perché è così speciale? (Scalabilità e Generalizzazione)

Fino a poco tempo fa, i metodi per fare queste indagini erano lenti e si rompevano se la stanza era troppo grande (più di 50-100 mobili). SCONE, invece, è come un'arma leggera e veloce:

• Scalabile: Riesce a gestire stanze enormi (fino a 100+ variabili) senza impazzire, perché lavora a pezzi e poi ricuce tutto insieme.
• Generalizzabile: Se addestrato su stanze con mobili in legno, riesce a capire la logica anche se gli mostri stanze con mobili in metallo. Non memorizza a memoria, ma impara le regole della causa ed effetto.

In Sintesi

SCONE è un sistema che, guardando due versioni diverse di un sistema (una normale e una "modificata" in modo misterioso), riesce a ricostruire la mappa esatta delle cause e degli effetti, anche senza sapere chi ha fatto le modifiche.

È come se avessi due mappe del metropolitano: una della città di giorno e una della stessa città di notte con alcuni semafori rotti. SCONE riesce a capire quali strade sono le vere "arterie" principali e come il traffico fluisce, semplicemente confrontando le differenze tra il giorno e la notte, senza bisogno di sapere chi ha rotto i semafori.

Questo è fondamentale per la scienza: permette di capire come funzionano le cellule, l'economia o il clima, anche quando non possiamo fare esperimenti perfetti e controllati, ma solo osservare come il mondo cambia in situazioni diverse.

Sommario tecnico

Ecco un riepilogo tecnico dettagliato del paper "Scalable Contrastive Causal Discovery under Unknown Soft Interventions" (Scoperta Causale Contrastiva Scalabile sotto Interventi Soft Sconosciuti), presentato da Zhang et al.

1. Il Problema

La scoperta causale osservativa è limitata dalla classe di equivalenza di Markov (MEC): i dati osservativi da soli non permettono di distinguere tra diverse strutture di grafi diretti aciclici (DAG) che sono statisticamente indistinguibili. Sebbene i dati interventistici possano ridurre questa ambiguità, nella pratica reale sorgono diverse sfide:

• Interventi "Soft" (Morbidi): Spesso gli interventi non sono "hard" (che cambiano completamente la distribuzione di una variabile) ma "soft" (che modificano solo il meccanismo generativo o i parametri della variabile, lasciando la struttura del grafo invariata).
• Target Sconosciuti: In molti scenari reali (es. biologia, economia), si osserva un regime interventistico ma non si conoscono le variabili target dell'intervento.
• Scalabilità e Generalizzazione: Gli algoritmi esistenti (come $\Psi$-FCI) sono teoricamente solidi ma non scalano a grafi grandi e richiedono accesso globale a tutte le indipendenze condizionali e invarianze. Inoltre, spesso falliscono nel generalizzare a strutture di grafi o meccanismi non visti durante l'addestramento (Out-of-Distribution, OOD).

L'obiettivo è sviluppare un modello scalabile che possa recuperare la struttura causale partendo da due regimi (osservazionale e interventistico) con target di intervento sconosciuti e meccanismi soft, generalizzando a nuovi grafi.

2. Metodologia: SCONE

Gli autori propongono SCONE (Scalable contrastive Causal discOv-ery under unknowN soft intervEntions), un framework che combina scoperta causale classica, apprendimento profondo e regole di orientamento contrastive.

A. Impostazione Teorica e Vincoli

Il modello opera in un regime di informazione limitata:

1. Non ha accesso all'intera distribuzione congiunta, ma solo a PDAG (Partially Directed Acyclic Graphs) a livello di sottoinsieme per sottoinsiemi ammissibili di variabili.
2. Ha accesso a un numero finito di query di invarianza testate tra i due regimi (es. "la distribuzione condizionata di $X_v$ data $Z$ è invariante tra regime 0 e 1?").

Definiscono una nuova nozione di equivalenza chiamata $\Psi$-equivalenza ristretta, basata esclusivamente sulle informazioni accessibili (sottoinsiemi e query di invarianza). L'obiettivo è recuperare il $\Psi$-grafo essenziale indotto dal test ($G_{test}$), che rappresenta la struttura massimamente orientata identificabile date queste limitazioni.

B. Architettura del Modello

SCONE utilizza un'architettura basata su Transformer con due flussi di elaborazione:

1. Flusso Marginale: Processa rappresentazioni a livello di bordo (edge) estratte da sottoinsiemi campionati di variabili. Utilizza un ensemble di algoritmi di scoperta causale classica (es. PolyBIC, GES) per generare PDAG locali.
2. Flusso Globale: Mantiene rappresentazioni dense su tutte le coppie di nodi, derivanti dalla matrice di precisione inversa media.

I due flussi sono collegati tramite attenzione assiale e passaggio di messaggi, permettendo al modello di aggregare informazioni locali in una struttura globale coerente.

C. Regole di Orientamento Contrastive

Il cuore innovativo di SCONE sono tre regole di orientamento che sfruttano le differenze tra i due regimi per orientare bordi che rimarrebbero ambigui in un singolo regime:

1. Invarianza Unilaterale (SSI): Se un bordo è non orientato in entrambi i regimi locali, ma solo uno dei due nodi mostra un cambiamento di meccanismo (invarianza rotta), il bordo viene orientato verso il nodo che cambia.
2. Struttura V Contrastiva (CVT): Estende il concetto di collider. Se una tripletta non protetta mostra un cambiamento di meccanismo nel nodo centrale ma invarianza nei nodi genitori, si deduce una struttura a V ($i \to j \leftarrow k$).
3. Percorso Discriminante Contrastivo (DPT): Utilizza percorsi discriminanti nei PDAG locali e le invarianze testate per risolvere ambiguità su orientamenti complessi.

Queste regole sono implementate come "bias head" appresi che aggiungono segnali direzionali al flusso marginale, guidati dai segnali di contrasto tra i regimi.

3. Contributi Chiave

• Modello Scalabile: SCONE è il primo framework scalabile per la scoperta causale con interventi soft a target sconosciuto, capace di gestire grafi con centinaia di nodi.
• Risultati Teorici:
  • Formalizzazione della $\Psi$-equivalenza ristretta e del grafo essenziale indotto dal test.
  • Dimostrazione della correttezza (soundness) e della consistenza asintotica delle regole di orientamento contrastive.
  • Prova che i metodi non contrastivi (che ignorano le invarianze tra regimi) non possono recuperare un sottoinsieme di bordi orientabili con SCONE (separazione teorica).
• Generalizzazione OOD: Il modello è progettato per generalizzare a grafi con meccanismi causali non visti durante l'addestramento (es. addestrato su meccanismi lineari/NN, testato su polinomiali/sigmoidali).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dati sintetici con diverse configurazioni di grafi (da 20 a 100 nodi) e meccanismi causali.

• Benchmark In-Distribution: SCONE supera gli stati dell'arte (come NOTEARS, DCDI, AVICI) ottenendo il più basso SHD (Structural Hamming Distance) e il più alto F1-score, indicando un recupero strutturale superiore.
• Generalizzazione Out-of-Distribution: SCONE dimostra una robustezza significativa quando testato su meccanismi non visti (es. da Linear/NN a Polynomial/Sigmoid), mantenendo prestazioni elevate mentre i baselines decadono drasticamente.
• Scalabilità: Su grafi di 100 nodi, SCONE mantiene prestazioni stabili, mentre metodi basati su ottimizzazione continua (NOTEARS, DCDI) falliscono o richiedono tempi di calcolo proibitivi (ore vs minuti/secondi).
• Ablation Study:
  • Rimuovere le testine di bias contrastive (SCONE-NB) peggiora significativamente le prestazioni, confermando che le regole contrastive sono essenziali per orientare bordi aggiuntivi.
  • Rimuovere le feature contrastive (SCONE-NC) riduce drasticamente l'accuratezza, dimostrando che l'invarianza/contrasto è necessario per il recupero della struttura.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti fondamentale nella scoperta causale applicata a scenari realistici dove:

1. Gli interventi non sono controllati perfettamente (soft).
2. Non si sa esattamente cosa è stato manipolato (target sconosciuti).
3. I dati sono limitati o parziali (sottoinsiemi).

SCONE supera i limiti degli approcci basati su oracoli globali (come $\Psi$-FCI) rendendo la scoperta causale scalabile e generalizzabile. La capacità di apprendere da "regimi" parziali e di generalizzare a nuovi meccanismi rende questo approccio promettente per applicazioni in biologia (es. reti di segnalazione proteica), economia e scienze climatiche, dove gli esperimenti controllati completi sono spesso impossibili da realizzare.