Incorporating Expert Knowledge into Bayesian Causal Discovery of Mixtures of Directed Acyclic Graphs

1. Enunciato del Problema

La scoperta causale mira a inferire relazioni causali (Grafi Aciclici Diretti o DAG) da dati osservazionali. Sebbene i metodi bayesiani siano potenti per gestire l'incertezza e incorporare conoscenze a priori, gli approcci esistenti affrontano due limitazioni critiche:

1. Assunzione di un Singolo Grafo: La maggior parte dei metodi assume che un singolo grafo causale sottostante spieghi tutti i dati. Ciò fallisce in domini eterogenei (ad esempio, biologia, medicina) dove i dati derivano da multiple sottopopolazioni distinte con meccanismi causali differenti (miscele di DAG).
2. Mancanza di Integrazione Esperta: Sebbene gli esperti di dominio possiedano conoscenze preziose, le attuali strategie di elicita sono progettate per grafi singoli e non gestiscono efficacemente le miscele. Inoltre, i prior esistenti spesso si basano su vincoli "rigidi" (forzando l'esistenza o la non esistenza di archi) piuttosto che su vincoli probabilistici "morbidi", il che limita la flessibilità.

Il documento affronta la sfida di apprendere miscele di Reti Bayesiane Causali (CBN) integrando efficientemente la conoscenza esperta attraverso una strategia di interrogazione fondata su principi.

2. Metodologia

Gli autori propongono un quadro unificato che combina l'Apprendimento Strutturale di Miscele Variational (VaMSL) con la Progettazione Sperimentale Bayesiana (BED) per l'elicita esperta.

A. Apprendimento Strutturale di Miscele Variational (VaMSL)

Il motore di inferenza centrale estende il metodo Differentiable Bayesian Structure Learning (DiBS) per gestire le miscele.

• Embedding di Grafi Latenti: Invece di cercare direttamente nello spazio discreto dei DAG, il metodo utilizza uno spazio latente continuo $Z = [U, V]$ per rappresentare le strutture del grafo. Un grafo morbido (matrice di probabilità degli archi) è derivato da $Z$ utilizzando una funzione logistica.
• Modello di Miscela: I dati sono modellati come una miscela di $K$ componenti, dove ogni componente $k$ possiede il proprio grafo $G_k$, parametri $\Theta_k$ e peso di miscelazione $\pi_k$.
• Inferenza Variational: Il posterior è approssimato utilizzando la Discesa del Gradiente Variational di Stein (SVGD) per gli embedding latenti e i parametri, e l'Inferenza Variational di Ascesa delle Coordinate (CAVI) per i pesi di miscelazione e le assegnazioni ai cluster. Ciò consente un'ottimizzazione basata sul gradiente nello spazio del grafo.
• Differenziabilità: Rilassando lo spazio discreto del grafo in uno continuo e utilizzando un regolarizzatore di ciclicità (che penalizza i cicli), il metodo consente una discesa del gradiente efficiente per trovare DAG.

B. Elicita Esperta tramite Progettazione Sperimentale Bayesiana (BED)

Per incorporare la conoscenza esperta senza interrogare ogni possibile arco (il che è non fattibile), gli autori propongono una strategia di apprendimento attivo:

• Selezione delle Interrogazioni: Il sistema seleziona gli archi più "informativi" da interrogare utilizzando il Guadagno di Informazione Atteso (EIG). L'EIG misura quanto una potenziale risposta esperta ridurrebbe l'incertezza nella distribuzione posterior dei grafi.
• Simulatore Esperto: Un simulatore modella la risposta dell'esperto basandosi sul posterior corrente del grafo latente $p(Z|D)$. La credenza dell'esperto è modellata come una distribuzione Beta, dove la moda corrisponde alla probabilità dell'arco interrogato.
• Prior Informativo del Grafo:
  • Vincoli Rigidi: Gli archi esplicitamente vietati o richiesti dall'esperto sono mascherati (0/1) nello spazio latente.
  • Vincoli Morbidi: Per le credenze probabilistiche, gli autori utilizzano il dispositivo delle "Osservazioni Immaginarie". Mappano la risposta probabilistica dell'esperto su un set ipotetico di prove (successi/fallimenti) che porterebbero a tale credenza. Ciò crea un termine di verosimiglianza che orienta gli embedding del grafo latente verso le credenze dell'esperto senza fissarli rigidamente.

C. Il Ciclo Iterativo

Il metodo opera in un ciclo iterativo:

1. Inferire la miscela corrente di CBN.
2. Utilizzare la BED per selezionare i primi $M$ archi che massimizzano l'EIG.
3. Interrogare l'esperto sulle credenze relative a questi archi.
4. Aggiornare il posterior variational utilizzando il nuovo prior informativo derivato dalle risposte dell'esperto.
5. Ripetere fino all'esaurimento del budget di interrogazioni.

3. Contributi Chiave

1. Nuovo Prior Informativo del Grafo: Un metodo per incorporare sia vincoli rigidi che morbidi dell'esperto nello spazio del grafo latente di un modello di miscela, utilizzando il concetto di osservazioni immaginarie per tradurre le credenze probabilistiche in una funzione di verosimiglianza.
2. Strategia di Elicita Basata su BED: Un approccio fondato su principi per selezionare interrogazioni ottimali che massimizzano il guadagno di informazione, riducendo significativamente il numero di interrogazioni necessarie rispetto a interrogazioni casuali o esaustive.
3. Algoritmo VaMSL: Il primo metodo per eseguire inferenza bayesiana congiunta su miscele di CBN sia lineari che non lineari integrando la conoscenza esperta. Estende DiBS per gestire strutture di dati eterogenee.
4. Gestione dell'Eterogeneità: Dimostra che modellare i dati come una miscela di DAG produce un migliore apprendimento strutturale e clustering rispetto all'assunzione di un singolo grafo, specialmente quando la conoscenza esperta è utilizzata per guidare la separazione delle sottopopolazioni.

4. Risultati Sperimentali

Gli autori hanno valutato il loro metodo su dati sintetici e su un dataset reale di cancro al seno.

• Dati Sintetici (Lineari e Non Lineari):

  • Apprendimento Strutturale: VaMSL con informazioni esperte ha superato significativamente le linee di base (DiBS standard, Modelli di Miscele Gaussiane, Causal k-means) in termini di Distanza di Hamming Strutturale Attesa (ESHD).
  • Clustering: Il metodo ha raggiunto un'alta accuratezza di classificazione nell'assegnare i punti dati alla corretta sottopopolazione causale, eguagliando le prestazioni di un "oracolo" che conosceva le etichette vere.
  • Efficienza delle Interrogazioni: La strategia BED ha superato l'interrogazione casuale, ottenendo risultati migliori con meno interazioni con l'esperto.
  • Robustezza: Il metodo è rimasto efficace anche quando l'esperto è stato simulato con affidabilità imperfetta (ad esempio, 90% di accuratezza).

• Applicazione nel Mondo Reale (Dataset di Cancro al Seno):

  • Applicato al dataset diagnostico del cancro al seno di Wisconsin dell'UCI.
  • Il metodo ha identificato con successo strutture causali distinte associate a diverse classi di tumori (maligne vs benigne) in modo non supervisionato.
  • VaMSL + Esperto ha raggiunto la più alta accuratezza di classificazione e la più bassa ESHD rispetto ad altri metodi, dimostrando l'utilità pratica dell'integrazione della conoscenza di dominio in dati medici complessi ed eterogenei.

5. Significato e Impatto

• Colmare il Divario: Questo lavoro colma il divario tra scenari a bassa quantità di dati/alta competenza esperta e la scoperta causale moderna. Fornisce un meccanismo formale per sfruttare l'intuizione umana in contesti complessi ed eterogenei dove i dati da soli sono insufficienti.
• Scalabilità all'Eterogeneità: Superando l'assunzione del singolo grafo, il metodo affronta una limitazione maggiore nella modellazione causale del mondo reale, dove le popolazioni sono raramente omogenee.
• Efficienza: La componente di apprendimento attivo garantisce che il costo dell'interazione con l'esperto sia minimizzato, rendendo l'approccio fattibile per esperti di dominio costosi.
• Flessibilità: La capacità di gestire relazioni sia lineari che non lineari, nonché vincoli rigidi e morbidi, rende il quadro ampiamente applicabile in vari domini scientifici.

In sintesi, il documento presenta un quadro robusto, scalabile e con l'esperto nel ciclo per la scoperta di strutture causali in dati eterogenei, avanzando significativamente lo stato dell'arte nella scoperta causale bayesiana.