Sintesi Tecnica: Causal Preference Elicitation (CaPE)

Definizione del Problema

L'apprendimento della struttura causale da dati osservazionali è intrinsecamente difficile a causa delle classi di equivalenza di Markov, delle superfici di verosimiglianza multimodali e dell'incapacità dei metodi puramente guidati dai dati di risolvere gran parte della struttura del grafo. Sebbene gli esperti di dominio possiedano conoscenze qualitative riguardanti meccanismi plausibili, archi proibiti o direzioni di influenza attese, i metodi esistenti per incorporare tale conoscenza sono tipicamente statici. Essi codificano l'input dell'esperto come vincoli rigidi o prior fissi, ignorando l'incertezza dell'esperto, il bias sistematico e la scarsità di tempo dell'esperto. Al contrario, i metodi di scoperta causale attiva che ottimizzano le interazioni sperimentali spesso falliscono nel modellare i giudizi soggettivi dell'esperto o nel trattarli come deterministici.

Questo articolo affronta il divario introducendo la Causal Preference Elicitation (CaPE), un framework probabilistico di "expert-in-the-loop" per la scoperta causale. L'obiettivo è interrogare attivamente un esperto riguardo alle relazioni locali degli archi (esistenza e direzione) per concentrare una distribuzione a posteriori sui Directed Acyclic Graphs (DAG) in modo più efficiente rispetto ad approcci casuali o statici, in particolare sotto budget di query ristretti.

Metodologia

1. Panoramica del Framework

CaPE opera come un processo di apprendimento attivo bayesiano sequenziale. Assume l'accesso a un posteriore osservazionale iniziale $q_0(W | X)$ derivato da qualsiasi metodo di scoperta causale black-box (ad esempio, MCMC, bootstrap aggregation o inferenza variazionale). Il learner seleziona iterativamente coppie di variabili $(i, j)$ da sottoporre a un esperto, osserva una risposta categorica rumorosa $Y_{ij} \in \{0, 1, 2\}$ (che rappresenta $j \to i$, $i \to j$, o assenza di un arco) e aggiorna il posteriore sui DAG pesati.

2. Modello di Verosimiglianza dell'Esperto

L'innovazione centrale è un modello logistico gerarchico flessibile dell'esperto $p_\theta(Y_{ij} | W)$ che mappa un DAG pesato candidato $W$ verso una risposta categorica a tre vie.

• Punteggi di Direzione Locale: Per una coppia $(i, j)$, il modello calcola un punteggio di direzione $s_{i \to j}(W)$ basato sull'entità del peso dell'arco e su caratteristiche strutturali opzionali (ad esempio, supporto v-structure, rischio di ciclo).
• Probabilità Gerarchiche:
  • Esistenza dell'Arco: La probabilità che un arco esista è modellata tramite una funzione logistica della massima evidenza assoluta tra le due direzioni.
  • Direzione: Condizionata all'esistenza, la probabilità di un'orientazione specifica è modellata tramite una funzione logistica della differenza nei punteggi di direzione.
• Parametri: Il modello include iperparametri ($\beta_{edge}, \beta_{dir}$) che controllano l'affidabilità e la decisa decisione dell'esperto, permettendo comportamenti dell'esperto eterogenei e incerti.

3. Inferenza a Posteriori tramite Approssimazione a Particelle

Data la crescita sovraesponenziale dello spazio dei DAG, il calcolo esatto del posteriore è intrattabile. CaPE impiega un approccio Sequential Monte Carlo (SMC):

• Rappresentazione: Il posteriore è approssimato da un insieme di particelle pesate (DAG candidati).
• Aggiornamento: Al ricevimento di una risposta dell'esperto, i pesi delle particelle vengono aggiornati tramite reweighting per importanza utilizzando la verosimiglianza dell'esperto.
• Resampling: Per prevenire la degenerazione dei pesi, le particelle vengono campionate nuovamente quando la Dimensione del Campione Effettivo (ESS) scende sotto una soglia.
• Rejuvenation: Per mantenere la diversità dopo il resampling, viene applicato un kernel Metropolis-Hastings leggero, che propone piccole modifiche al grafo (flip di archi, aggiunte, rimozioni) rispettando rigorosamente l'aciclicità.

4. Strategia di Selezione delle Query

Il framework seleziona le query per massimizzare il Guadagno di Informazione Atteso (EIG) riguardo alla latente struttura del DAG.

• Funzione di Acquisizione: L'EIG è formulato come l'informazione mutua tra il DAG $W$ e la risposta dell'esperto $Y_{ij}$. Ciò equivale all'obiettivo BALD (Bayesian Active Learning by Disagreement).
• Computazione: Sotto l'approssimazione a particelle, l'EIG è computato efficientemente confrontando l'entropia della distribuzione predittiva marginale (incertezza epistemica + aleatoria) contro l'entropia condizionale mediata sul posteriore (incertezza aleatoria).
• Screening: Per ridurre il costo computazionale, uno step di screening seleziona prima le top-$k$ coppie con la più alta incertezza marginale sull'esistenza dell'arco prima di calcolare il pieno EIG per la selezione finale.

Contributi Chiave

1. Framework Generale: Un framework modulare per la scoperta causale con l'esperto nel loop che combina arbitrari posteri osservazionali con feedback sequenziali dell'esperto, estendendo il lavoro precedente sulla scoperta aumentata dall'esperto e l'apprendimento strutturale attivo.
2. Modello di Esperto Probabilistico: Un modello logistico gerarchico che assegna etichette categoriche a tre vie basate su punteggi di direzione locale, modellando esplicitamente il rumore, l'incertezza e il bias dell'esperto, invece di trattare l'input dell'esperto come vincoli deterministici.
3. Aggiornamento basato su Particelle: Uno schema di aggiornamento bayesiano per i posteri dei DAG che integra le risposte dell'esperto tramite reweighting per importanza, resampling innescato dall'ESS e rejuvenazione Metropolis-Hastings, garantendo l'aciclicità e la diversità.
4. Acquisizione Trattabile: Una derivazione di un obiettivo EIG in stile BALD operante su distribuzioni categoriche a bassa dimensionalità, rendendo computabilmente fattibile l'apprendimento attivo efficiente in termini di informazione sullo spazio dei DAG.
5. Validazione Empirica: Dimostrazioni su dati sintetici, sulla rete di segnalazione proteica di Sachs e sul benchmark di perturbazione genica umana CausalBench, che mostrano un'accelerazione della concentrazione del posteriore e un miglioramento del recupero strutturale rispetto a baseline casuali o statiche.

Risultati Sperimentali

L'articolo valuta CaPE attraverso tre setting:

• DAG Sintetici: CaPE supera significativamente il campionamento casuale (RND), l'incertezza (UNC) e una baseline statica EIG (STE) nella riduzione dell'entropia predittiva, della Distanza di Hamming Strutturale (SHD) e nell'aumento della Probabilità di Classe Vera Attesa (ETCP).
• Robustezza: Gli esperimenti con modelli di esperto mal specificati (affidabilità eterogenea, bias direzionale, astensione e alto rumore) mostrano che CaPE rimane competitivo, indicando che il metodo è robusto a deviazioni realistiche e non avversarie dal modello dell'esperto assunto.
• Segnalazione Proteica di Sachs: Utilizzando solo dati osservazionali (853 campioni) e una rete di riferimento come oracle, CaPE riduce la SHD di circa 14 archi rispetto al posteriore iniziale dopo 40 query e migliora l'F1 di orientamento di oltre 0.38.
• CausalBench (K562): Su un dataset di perturbazione di 50 geni, CaPE raggiunge prestazioni superiori in AUPRC diretta e precisione Top-K rispetto alle baseline, dimostrando guadagni monotoni all'aumentare del budget di query, mentre le baseline statiche si saturano rapidamente.
• Prior DAG-GFlowNet: Inizializzare CaPE con un forte prior osservazionale (addestrato tramite GFlowNet) migliora ulteriormente le prestazioni, evidenziando la modularità del framework.

Significato e Rivendicazioni

L'articolo sostiene che CaPE fornisce un approccio rigoroso per trasformare le intuizioni qualitative degli esperti in una sequenza attentamente pianificata di domande mirate. Posiziona l'elicitazione dell'esperto come un paradigma complementare al design di interventi sperimentali, particolarmente prezioso in domini in cui gli interventi sono costosi, eticamente vincolati o già fissati.

Gli autori sottolineano che il loro metodo non pretende di risolvere la scoperta causale in assenza di assunzioni, ma piuttosto di concentrare la massa del posteriore sul grafo reale sotto il modello causale assunto (ad esempio, condizioni di sufficienza causale, Markov e fedeltà). Il lavoro dimostra che un'interazione con l'esperto attentamente pianificata può accelerare sostanzialmente la concentrazione del posteriore attraverso sinteticamente e benchmark reali, anche sotto forme realistiche di misspecificazione del modello dell'esperto. Il framework è presentato come un passo verso la chiusura del cerchio tra l'inferenza causale probabilistica e il giudizio umano esperto, migliorando l'efficienza e la trasparenza della generazione di ipotesi scientifiche in campi come la biologia e la medicina.