🤖 machine learning

Joint Causal Structure and Cluster Discovery Using Variational Inference

Questo articolo propone un nuovo framework di inferenza variazionale che inferisce simultaneamente i cluster delle variabili latenti e le loro strutture causali, affrontando il limite dei metodi esistenti che richiedono raggruppamenti predefiniti, e ne dimostra l'efficacia sia su dataset sintetici che su dataset del mondo reale.

Autori originali: Avni Rajpal, Anubhav Kumar, Rishabh Karnad, Mohammad Emtiyaz Khan, P. K. Srijith

Pubblicato 2026-08-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Avni Rajpal, Anubhav Kumar, Rishabh Karnad, Mohammad Emtiyaz Khan, P. K. Srijith

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel vasto panorama della scienza dei dati, i ricercatori cercano spesso i fili invisibili che collegano diversi pezzi di informazione. Immaginate una stanza piena di persone che parlano; alcune conversazioni avvengono tra singoli individui, mentre altre si svolgono all'interno di gruppi molto uniti. Per decenni, gli scienziati hanno sviluppato strumenti per mappare chi parla con chi, trattando ogni persona come una voce singola e indipendente. Questo approccio, noto come scoperta causale, ci aiuta a capire come una cosa ne causi un'altra, andando oltre la semplice osservazione per svelare il vero meccanismo del mondo. Tuttavia, in molti sistemi complessi, dal firing dei neuroni nel cervello ai mutamenti dei modelli meteorologici globali, le interazioni più importanti non avvengono tra individui isolati, ma tra interi gruppi che agiscono come un'unica unità. Fino ad ora, gli scienziati hanno dovuto ipotizzare dove questi gruppi iniziassero e finissero prima di poter studiare come i gruppi influenzassero gli uni gli altri, un limite che spesso oscurava il quadro generale.

Un team di ricercatori dell'Indian Institute of Technology Hyderabad e del RIKEN Center for AI Project di Tokyo ha sviluppato un nuovo metodo per risolvere questo enigma. Hanno creato un sistema in grado di individuare simultaneamente come raggruppare le variabili e mappare le connessioni causali tra tali gruppi, il tutto senza che i raggruppamenti gli venissero comunicati in anticipo. Invece di forzare i dati in scatole predefinite, il loro approccio permette ai dati di rivelare i propri cluster naturali e le linee invisibili di influenza che scorrono tra di essi. Utilizzando una tecnica chiamata inferenza variazionale, che permette al computer di apprendere dall'incertezza piuttosto che cercare solo una singola risposta fissa, i ricercatori hanno costruito un modello che tratta sia i raggruppamenti che le connessioni come segreti nascosti in attesa di essere svelati.

I ricercatori hanno testato il loro metodo sia su dati generati al computer che su dataset del mondo reale, inclusi informazioni sulle strutture proteiche e sui modelli climatici. In questi test, hanno confrontato il loro nuovo approccio con i metodi esistenti che assumono che i gruppi siano già noti o che si affidano a modi più semplici e meno flessibili per indovinare. I risultati hanno dimostrato che il loro metodo era significativamente migliore nel ricostruire la vera struttura sottostante. Ad esempio, analizzando un dataset di proteine, il loro modello ha identificato correttamente che i dati formavano due gruppi separati e non connessi, senza legami causali tra loro, mentre i metodi precedenti disegnavano erroneamente connessioni dove non esistevano. Allo stesso modo, nei dati climatici, il nuovo approccio ha scoperto con successo le relazioni non lineari tra diverse variabili meteorologiche che altri metodi avevano mancato, mappando accuratamente sia i cluster che i bordi che li connettono.

Ciò che rende questo lavoro particolarmente potente è la sua capacità di gestire l'incertezza. Invece di fornire una mappa singola e rigida, il sistema apprende una distribuzione di probabilità, il che significa che può esprimere quanto sia fiducioso riguardo a ogni connessione e ogni raggruppamento. Questo è fondamentale in campi ad alto rischio come la medicina o la scienza del clima, dove conoscere i limiti di ciò che sappiamo è importante quanto i fatti stessi. I ricercatori hanno scoperto che il loro metodo funzionava meglio quando permetteva dipendenze complesse all'interno dei gruppi e tra i bordi, piuttosto che assumere che tutto fosse indipendente. Nel caso dei dati climatici, una versione del loro modello che teneva conto di queste relazioni complesse ha raggiunto un'accuratezza quasi perfetta, suggerendo che i meccanismi reali che guidano i dati sono effettivamente non lineari e intricati.

Questo studio non pretende di aver risolto ogni problema nella scoperta causale, né pretende di funzionare perfettamente su ogni possibile dataset. I ricercatori riconoscono che il loro lavoro attuale è limitato a tipi specifici di dati e che scalare il metodo per gestire dataset estremamente grandi e ad alta dimensionalità rimane una sfida per il futuro. Tuttavia, dimostrando che è possibile apprendere sia i gruppi che le strutture causali contemporaneamente, hanno aperto una nuova strada per la comprensione dei sistemi complessi. Il loro lavoro suggerisce che, lasciando che i dati parlino da soli e abbracciando l'incertezza intrinseca nelle osservazioni del mondo reale, possiamo costruire un quadro più chiaro e accurato di come funziona il mondo, un cluster alla volta.

Sintesi Tecnica: Scoperta Concomitante di Struttura Causale e Cluster tramite Inferenza Variazionale

Definizione del Problema

La scoperta causale si concentra tradizionalmente sull'inferenza di relazioni tra singole variabili casuali, tipicamente rappresentate come un Grafo Aciclico Diretto (DAG). Tuttavia, in domini complessi come l'imaging cerebrale e la modellazione climatica, le interazioni avvengono spesso tra gruppi di variabili piuttosto che tra unità isolate. Sebbene esistano metodi per i "Cluster DAG" (C-DAG) o "Group DAG", essi generalmente assumono che il raggruppamento delle variabili in cluster sia noto a priori tramite la conoscenza del dominio.

Questo articolo affronta la lacuna in cui sia i cluster (partizioni delle variabili) sia la struttura causale (il DAG sui cluster) sono latenti e devono essere inferiti simultaneamente dai dati osservativi. Gli autori considerano i Modelli Causali Strutturali vettoriali (vSCM), che generalizzano i classici SCM per gestire output vettoriali generati da cluster di variabili, accogliendo scenari sia lineari gaussiani che a rumore additivo non lineare. Mentre Niu et al. (2022) hanno precedentemente proposto un approccio basato sul punteggio (score-based) per questa stima congiunta, questo lavoro introduce un nuovo framework di inferenza variazionale per raggiungere lo stesso obiettivo, offrendo un trattamento bayesiano per la quantificazione dell'incertezza.

Metodologia

L'approccio proposto utilizza l'Inferenza Variazionale (VI) per apprendere una distribuzione posteriore approssimata sulle assegnazioni dei cluster latenti ( $C$ ) e sulla struttura del grafo dei cluster ( $E_C$ ). Il nucleo del metodo consiste nel definire un modello generativo e nell'ottimizzare un Evidence Lower Bound (ELBO).

1. Modello Generativo

Si assume che i dati $D$ siano generati da un vSCM in cui ogni cluster $X_{C_i}$ è una funzione dei suoi cluster genitori $Pa(X_{C_i})$ e di un vettore di rumore $\epsilon_i$ :
$X_{C_i} := f_{C_i}(Pa(X_{C_i}), \epsilon_i)$
La distribuzione congiunta si fattorizza secondo la struttura C-DAG. Gli autori considerano due casi specifici:

vSCM Lineare Gaussiano: La funzione $f$ è lineare e il rumore è multivariato gaussiano. La verosimiglianza marginale può essere calcolata in forma chiusa integrando i parametri.
Modello a Rumore Additivo Non Lineare: La funzione $f$ è modellata come una rete neurale. In questo caso, la marginalizzazione sui parametri è intrattabile, quindi si utilizza la stima puntuale dei parametri insieme all'inferenza variazionale sulla struttura.

2. Approssimazione Variazionale

Poiché lo spazio delle possibili C-DAG cresce esponenzialmente, l'inferenza bayesiana esatta è impraticabile. Gli autori approssimano la vera distribuzione posteriore $P(C, E_C | D)$ utilizzando una distribuzione variazionale $Q_\phi(C, E_C)$ che si fattorizza in distribuzioni su cluster ed archi:
$Q_\phi(C, E_C) = Q_T(C) Q_Z(E_C)$

Famiglie Variazionali per i Cluster ( $C$ ):

Modello Fattorizzato: Assume l'indipendenza tra le assegnazioni delle variabili, modellata come un prodotto di distribuzioni categoriche.
Modello Autoregressivo Lineare: Cattura le dipendenze tra le assegnazioni dei cluster modellando la posteriore come un prodotto di condizionali, dove i logit per la $m$ -esima variabile dipendono dalle assegnazioni precedenti tramite un processo autoregressivo lineare.

Famiglie Variazionali per i Grafi ( $E_C$ ):

Modello Binario Indipendente: Assume che gli archi siano variabili Bernoulli indipendenti.
Modello Autoregressivo Lineare: Modella gli archi come dipendenti condizionatamente dagli archi precedenti.
Modello Condizionale: Modella esplicitamente la dipendenza degli archi dalle assegnazioni globali dei cluster ( $C$ ).
Modello Condizionale Autoregressivo: Combina le dipendenze autoregressive degli archi con la dipendenza dalle assegnazioni dei cluster.

3. Ottimizzazione

I parametri delle distribuzioni variazionali ( $\text{T}$ per i cluster e $\text{Z}$ per gli archi) e i parametri del modello ( $\Theta$ per i casi non lineari) vengono appresi massimizzando l'ELBO.

Stima del Gradiente: Poiché $C$ ed $E_C$ sono discreti, gli autori utilizzano lo stimatore della funzione di punteggio REINFORCE per approssimare i gradienti. Per mitigare l'alta varianza, viene utilizzata una media mobile esponenziale come baseline.
Addestramento: L'ottimizzazione viene eseguita tramite metodi basati sul gradiente (ad es. Adam, RMSprop) con molteplici ripartenze casuali (random restarts) per evitare ottimi locali.

Contributi Chiave

Inferenza Latente Congiunta tramite Inferenza Variazionale: Il documento propone un nuovo framework di inferenza variazionale capace di inferire simultaneamente i cluster di variabili latenti e il DAG causale su tali cluster senza conoscenza pregressa della raggruppamento. Questo completa gli approcci basati sul punteggio esistenti (ad es. Niu et al., 2022) fornendo una distribuzione posteriore bayesiana completa invece di stime puntuali.
Famiglie Variazionali Espressive: Gli autori introducono e valutano molteplici famiglie variazionali, evidenziando in particolare l'importanza dei modelli autoregressivi e condizionali. Questi permettono al modello di catturare complesse dipendenze tra le assegnazioni dei cluster e tra gli archi del grafo, che i più semplici modelli fattorizzati trascurano.
Estensione ai vSCM Non Lineari: Il framework è esteso per gestire meccanismi causali non lineari utilizzando reti neurali, consentendo la scoperta di cluster e strutture in processi di generazione dati complessi e non lineari.
Nuova Metrica di Valutazione: Gli autori introducono l'Expected Expanded-Graph Structural Hamming Distance (ExG-SHD). A differenza dello SHD standard, questa metrica tiene conto dell'errore di approssimazione sia nelle assegnazioni dei cluster che nella struttura del grafo, espandendo il C-DAG in un intero DAG a livello di variabile prima di calcolare la distanza.

Risultati Sperimentali

Il metodo è stato valutato su dataset sintetici e reali, confrontando le prestazioni contro un approccio baseline basato sul punteggio (Niu et al., 2022) tramite bootstrapping.

Dati Sintetici (Lineari): Il modello di cluster autoregressivo ha costantemente superato le varianti fattorizzate e il baseline. Ad esempio, su un dataset "fork" a 4 variabili, il modello autoregressivo ha ottenuto un ExG-SHD di 0,02 e un Expected Rand Index (E-RI) di 0,99, recuperando quasi perfettamente la verità fondamentale (ground truth).
Dati Sintetici (Non lineari): Le formulazioni basate su reti neurali hanno superato significativamente il baseline. Diverse varianti hanno raggiunto un ExG-SHD perfetto di 0,00 su dataset a 4 variabili. I risultati indicano che catturare le dipendenze topologiche tra gli archi (tramite modelli autoregressivi o condizionali) è cruciale per l'accuratezza strutturale.
Dati del Mondo Reale:
- Dataset Proteine: I modelli neurali hanno ottenuto punteggi ExG-SHD ed E-SHD quasi perfetti (0,0), identificando correttamente due cluster non connessi, mentre il baseline presentava un errore molto più elevato (ExG-SHD = 3,0).
- Dataset Climatico: Il modello di archi condizionali neurale ha raggiunto un ExG-SHD di 0,04 e un E-RI perfetto di 1,0, suggerendo che i meccanismi causali sottostanti sono intrinsecamente non lineari e che la modellazione condizionale fornisce miglioramenti significativi rispetto ad altri metodi.

Significato e Rivendicazioni

Il documento sostiene che il trattamento bayesiano dell'apprendimento delle distribuzioni su cluster e strutture offre vantaggi distinti rispetto ai metodi a stima puntuale:

Quantificazione dell'Incertezza: Imparando una distribuzione posteriore, il metodo fornisce una misura dell'incertezza sui C-DAG inferiti, il che è critico per applicazioni ad alto rischio.
Interventi Attivi: Il framework probabilistico facilita strategie di intervento attivo per comprendere meglio il modello causale sottostante.
Gestione del Confounding Latente: L'approccio affronta gli scenari in cui le assunzioni di rumore indipendente sono violate dal raggruppamento delle variabili, gestendo efficacemente il confounding latente tra variabili esogene.

Gli autori concludono che, sebbene il loro approccio attuale sia efficace per dataset a dimensionalità bassa o moderata, il lavoro futuro mira a scalare il metodo verso dati ad alta dimensionalità. Essi sottolineano che la capacità di scoprire congiuntamente cluster latenti e strutture causali senza prior del dominio rappresenta un passo significativo avanti nella scoperta causale per sistemi complessi.