Consistent Bayesian causal discovery for structural equation models with equal error variances

1. Il Problema

Il lavoro affronta il problema della scoperta della struttura causale (causal discovery) a partire da dati puramente osservazionali. Nello specifico, gli autori considerano un insieme di variabili generate da un Modello a Equazioni Strutturali (SEM) lineare aciclico.

Le caratteristiche fondamentali del modello considerato sono:

• Le relazioni causali sono rappresentate da un Grafo Aciclico Diretto (DAG) vero e proprio ($\gamma^*$).
• I termini di errore sono indipendenti.
• Ipotesi chiave: Le varianze dei termini di errore sono uguali per tutte le variabili ($\text{var}(\epsilon_j) = \sigma^2$), ma le distribuzioni degli errori non sono necessariamente Gaussiane.

Il problema centrale è che, in generale, i DAG sono identificabili solo fino alla loro classe di equivalenza di Markov (diversi DAG possono codificare le stesse indipendenze condizionali). Tuttavia, sotto l'ipotesi di varianze di errore uguali, è stato dimostrato che il DAG sottostante è univocamente identificabile. L'obiettivo di questo studio è sviluppare un metodo Bayesiano che possa recuperare consistentemente il DAG vero ($\gamma^*$) senza assumere la normalità degli errori, colmando un vuoto nella letteratura esistente che spesso richiede tale assunzione o manca di garanzie teoriche di consistenza.

2. Metodologia Proposta

Gli autori propongono un approccio di selezione del modello bayesiano basato sui seguenti pilastri:

A. Modello di Lavoro (Working Model)

Nonostante i dati reali possano avere errori non Gaussiani, il metodo assume un SEM con errori Gaussiani come "modello di lavoro".

• Per ogni DAG candidato $\gamma$, si assume che le osservazioni seguano un SEM lineare con errori $N(0, \theta_\gamma)$.
• Si impone un'ipotesi di varianze uguali anche nel modello di lavoro.

B. Priori e Likelihood Marginal

• Priori sui coefficienti: Vengono utilizzati priori $g$ indipendenti per ogni insieme di coefficienti SEM associati a un nodo. Specificamente, $b^\gamma_j | \theta_\gamma \sim N(0, g\theta_\gamma (D^\gamma_{j,n}{}^T D^\gamma_{j,n})^{-1})$.
• Priori sulla varianza: Viene utilizzato un prior di Jeffreys non informativo per la varianza degli errori ($\pi(\theta_\gamma) \propto 1/\theta_\gamma$).
• Likelihood Marginal: Grazie alla coniugazione dei prior, la likelihood marginale $m(D_n|\gamma)$ per ogni DAG ha una forma chiusa. Questa espressione dipende da una statistica chiave: la somma degli errori quadratici minimi (SSE) ottenuti dalla regressione di ogni variabile sui suoi genitori nel grafo $\gamma$.

C. Il Ruolo della Statistica $R^\gamma_n$

La likelihood marginale coinvolge una statistica $R^\gamma_n$, che è una versione empirica della somma degli errori quadratici attesi minimi. La scelta del prior $g$ (in particolare $g=n$) è cruciale per far sì che il fattore di Bayes favorisca esponenzialmente il DAG vero rispetto agli altri.

3. Contributi Chiave e Risultati Teorici

Il contributo teorico principale risiede nella dimostrazione della consistenza della selezione del DAG (Posterior DAG Selection Consistency).

A. Teorema 1: Proprietà di Minimizzazione

Gli autori forniscono una nuova dimostrazione (basata sulla fattorizzazione di Cholesky della matrice di covarianza) di un risultato fondamentale:

La somma degli errori quadratici attesi minimi, ottenuta prevedendo ogni variabile come combinazione lineare dei suoi genitori, è minimizzata se e solo se il grafo $\gamma$ è un supergrafo del DAG vero $\gamma^*$ (cioè $\gamma \supseteq \gamma^*$).
In altre parole, qualsiasi grafo che contenga tutti gli archi veri (e potenzialmente altri) raggiunge il minimo teorico della somma degli errori, che corrisponde alla somma delle varianze degli errori ($p\sigma^2$).

B. Teorema 2: Consistenza Asintotica

Il risultato principale del paper è il Teorema 2, che stabilisce che:

• Se si sceglie $g = n$ e si utilizza un prior sui DAG che assegna massa positiva a tutti i grafi (es. prior uniforme), la probabilità a posteriori del DAG vero $\pi(\gamma^* | D_n)$ converge a 1 in probabilità al crescere della dimensione del campione $n$.
• Questo risultato vale anche se i dati reali non sono generati da una distribuzione Gaussiana, purché le varianze degli errori siano uguali.
• Viene fornita una stima del tasso di convergenza, che mostra come la probabilità di errore decada esponenzialmente con $n$.

4. Studio di Simulazione

Per validare i risultati teorici, gli autori hanno condotto uno studio di simulazione:

• Setup: Un DAG vero con 3 nodi e una struttura specifica.
• Distribuzione degli errori: Gli errori sono stati generati da distribuzioni non Gaussiane (Laplace, t-Student), mantenendo però varianze uguali.
• Risultati: Al crescere della dimensione del campione ($n$), la distribuzione della probabilità a posteriori del DAG vero si concentra fortemente vicino a 1, confermando empiricamente la consistenza del metodo anche in presenza di misspecificazione del modello (errore non Gaussiano).

5. Significato e Implicazioni

Questo lavoro è significativo per diversi motivi:

1. Robustezza alla Misspecificazione: Dimostra che l'assunzione di normalità, spesso critica nei metodi bayesiani per SEM, non è necessaria per la consistenza della scoperta causale se si assume l'uguaglianza delle varianze degli errori. Questo rende il metodo applicabile a una gamma più ampia di dati reali.
2. Identificabilità Unica: Sfrutta l'ipotesi di varianze uguali per identificare il DAG esatto, superando il limite delle classi di equivalenza di Markov che affligge molti metodi basati solo sulle indipendenze condizionali.
3. Quadro Teorico Solido: Fornisce le prime garanzie di consistenza asintotica per la selezione bayesiana di DAG in questo specifico setting (SEM lineare, varianze uguali, errori non necessariamente Gaussiani), un'area in cui la letteratura precedente era carente.
4. Flessibilità Computazionale: L'uso di prior $g$ e la forma chiusa della likelihood marginale rendono il metodo computazionalmente efficiente rispetto ai metodi MCMC tradizionali che devono esplorare spazi di modelli complessi senza garanzie di convergenza.

In sintesi, il paper propone un metodo bayesiano robusto ed efficiente per la scoperta causale che combina la flessibilità dei prior $g$ con una proprietà geometrica fondamentale dei SEM a varianze uguali, garantendo il recupero corretto della struttura causale vera anche quando le assunzioni distributive standard non sono soddisfatte.