Adaptive Bayesian Structure Learning of DAGs With Non-conjugate Prior

Sintesi Tecnica: Apprendimento Adattivo della Struttura di DAG tramite Metodi Bayesiani con Prior Non Coniugato

Enunciato del Problema
Il documento affronta la sfida dell'apprendimento della struttura di Grafi Aciclici Diretti (DAG) all'interno di un quadro bayesiano, specificamente per modelli DAG gaussiani. Sebbene i DAG siano strumenti potenti per rappresentare le indipendenze condizionali e le relazioni causali, determinare la struttura ottimale del grafo è computazionalmente intensivo e statisticamente incerto. Gli approcci bayesiani tradizionali spesso si affidano a prior coniugati, come la distribuzione Normale-Inversa-Gamma (NIG), per facilitare la trattabilità analitica. Tuttavia, gli autori sostengono che tali prior coniugati potrebbero non sempre produrre la massima probabilità a posteriori o l'apprendimento strutturale più accurato, in particolare per quanto riguarda l'inclusione di nodi e archi nel modello generatore. L'obiettivo primario è sviluppare un metodo che migliori la probabilità a posteriori e l'efficienza computazionale mantenendo l'adattabilità nell'apprendimento della struttura.

Metodologia
Gli autori propongono un nuovo approccio di apprendimento della struttura bayesiana utilizzando un prior Normal-Gamma (NG) non coniugato per i parametri dei DAG gaussiani.

1. Formulazione del Modello:

   • La distribuzione congiunta delle variabili è modellata come un DAG gaussiano a media zero, ri-parametrizzato tramite una decomposizione di Cholesky modificata ($\Omega = L D^{-1} L^T$).
   • I parametri consistono negli elementi diagonali $D_{jj}$ (varianze condizionali) e nei coefficienti di regressione triangolari inferiori $L_{\prec j]}$.
   • A differenza del classico approccio NIG dove $D_{jj}$ segue una distribuzione Inversa-Gamma, il metodo proposto assegna a $D_{jj}$ una distribuzione Gamma ($\Gamma$), mantenendo una distribuzione Normale per $L_{\prec j]}$ condizionata a $D_{jj}$.

2. Derivazione Teorica:

   • Gli autori derivano la verosimiglianza marginale e le funzioni di densità a posteriori congiunta per i parametri dei nodi sotto questo prior non coniugato.
   • Un risultato teorico chiave riguarda la comparsa della funzione di Bessel di terzo tipo ($K_\nu$) nelle espressioni della densità a posteriori e marginale. Questa proprietà matematica permette di calcolare le probabilità a posteriori senza le semplificazioni analitiche tipicamente offerte dalla coniugazione.

3. Algoritmo MCMC:

   • Per eseguire l'inferenza a posteriori, viene sviluppato uno schema Markov Chain Monte Carlo (MCMC).
   • L'algoritmo esplora lo spazio dei DAG ($S_q$) utilizzando operatori locali: inserimento, cancellazione e inversione di archi diretti, garantendo che il grafo risultante rimanga aciclico.
   • La probabilità di accettazione per la transizione tra i DAG è calcolata utilizzando le verosimiglianze marginali derivate (Teorema 1) e la probabilità a priori dell'inclusione degli archi.
   • Le distribuzioni condizionali complete per i parametri vengono campionate ad ogni iterazione per aggiornare simultaneamente la struttura del grafo e i parametri.

Contributi Chiave

• Implementazione di un Prior Non Coniugato: Il documento introduce l'uso di un prior Normal-Gamma per i DAG gaussiani, allontanandosi dal framework coniugato standard Normale-Inversa-Gamma.
• Efficienza Computazionale tramite Funzioni di Bessel: Contrariamente all'intuizione che i prior non coniugati aumentino il carico computazionale, gli autori dimostrano che l'utilizzo della funzione di Bessel nel calcolo della densità a posteriori risulta in una computazione MCMC più veloce rispetto al modello NIG coniugato.
• Sparsità Adattiva: Il metodo proposto esibisce un comportamento "cauto" o conservativo riguardo all'inclusione degli archi. Tende a includere archi solo quando la probabilità di inclusione è alta, portando a DAG più sparsi quando la probabilità a priori di inclusione dell'arco è bassa.
• Probabilità a Posteriori Migliore: Lo studio afferma che il prior NG produce una probabilità a posteriori superiore per il DAG a Massima Probabilità a Posteriori (MAP) rispetto al prior NIG.

Risultati
La metodologia è stata valutata attraverso studi di simulazione e un'applicazione nel mondo reale:

1. Studi di Simulazione:

   • Metriche di Performance: Il modello NG è stato confrontato con il modello NIG attraverso vari campioni ($n=200, 300$) e conteggi di nodi ($q=40, 50$).
   • Accuratezza: Il modello NG ha dimostrato prestazioni superiori in Specificità (SP), Tasso di Falsi Negativi (FNR), Tasso di Errore di Specificazione (MISR) e Accuratezza (AC).
   • Trade-off di Sensibilità: Il modello NG ha mostrato una Sensibilità (SE) e punteggi F1 inferiori rispetto al NIG. Gli autori attribuiscono ciò alla natura conservativa del modello; con una bassa probabilità a priori di inclusione degli archi, il modello NG produce meno veri positivi, risultando in una sensibilità inferiore ma una specificità maggiore.
   • Tempo Computazionale: Il tempo di calcolo per iterazione del modello NG è stato generalmente inferiore a quello del modello NIG, anche all'aumentare del numero di variabili e della dimensione del campione. L'inclusione della funzione di Bessel non ha introdotto ritardi computazionali significativi.

2. Analisi dei Dati AML:

   • Il metodo è stato applicato a un dataset di pazienti con Leucemia Mieloide Acuta (AML) ($n=68, q=18$ proteine).
   • Convergenza: I grafici di traccia (trace plots) hanno indicato un buon mixing e convergenza dell'MCMC.
   • Probabilità a Posteriori: La probabilità a posteriori del DAG MAP stimata dal modello NG è stata di 0,769, significativamente superiore allo 0,0016 ottenuto dal modello NIG.
   • Stime Strutturali: Sono stati generati sia il Modello a Probabilità Mediana (MPM) che le stime MAP, mostrando capacità coerenti di apprendimento strutturale.

Significatività e Rivendicazioni
Il documento sostiene che il proposto approccio di apprendimento della struttura bayesiana adattiva offre un'alternativa robusta ai tradizionali prior coniugati. Utilizzando un prior Normal-Gamma non coniugato, il metodo ottiene:

• Maggiore Probabilità a Posteriori: Il DAG MAP risultante ha una probabilità a posteriori sostanzialmente più alta, suggerendo un migliore adattamento al processo generatore dei dati.
• Vantaggio Computazionale: Nonostante la complessità teorica della non-coniugazione, il metodo è computazionalmente più veloce dell'approccio NIG coniugato.
• Adattabilità: Il modello si adatta alla struttura reale essendo conservativo nell'inclusione degli archi, filtrando efficacementamente le relazioni spurie quando il prior suggerisce una bassa densità di archi.

Gli autori concludono che questa tecnica ha potenziali applicazioni nella scoperta e stima causale, fornendo uno strumento più accurato ed efficiente per scoprire le dipendenze tra variabili in scenari multivariati.