Untangling Sample and Population Level Estimands in Bayesian Causal Inference

1. Il Problema

Il paper affronta un problema fondamentale e spesso sottovalutato nell'inferenza causale bayesiana: la confusione tra stimoli a livello di campione (sample-level estimands) e stimoli a livello di popolazione (population-level estimands).

Nonostante la crescente popolarità dell'inferenza bayesiana basata su modelli per gli stimoli causali, molti errori di implementazione derivano dalla fusione di questi due concetti. Le differenze sono concettualmente sottili ma hanno conseguenze pratiche sostanziali:

• Stimoli a livello di campione: Confrontano i potenziali esiti di un sottoinsieme specifico di soggetti nei dati osservati (es. Individual Treatment Effect - ITE, Sample Average Treatment Effect - SATE). L'incertezza deriva dalla mancanza di conoscenza dei controfattuali specifici per quei soggetti.
• Stimoli a livello di popolazione: Confrontano gli esiti potenziali medi (o altre sintesi) rispetto alla distribuzione della popolazione da cui il campione è stato estratto (es. Population Average Treatment Effect - PATE, Conditional Average Treatment Effect - CATE). L'incertezza deriva dalla mancanza di conoscenza dei parametri che governano la distribuzione della popolazione.

L'autore evidenzia che errori comuni includono l'assunzione implicita di dipendenze "cross-world" (tra mondi controfattuali) quando non necessarie, o la presentazione di stime campionarie come stime di popolazione, portando a inferenze errate e intervalli di credibilità inaccurati.

2. Metodologia

Il paper si basa sul Modello Causale di Rubin (RCM) e sull'inferenza bayesiana classica. La metodologia si articola nei seguenti punti chiave:

• Distribuzione Posteriore Congiunta: L'inferenza parte dalla distribuzione congiunta di tutti gli sconosciuti (controfattuali $Y^M$ e parametri $\omega$) dati i dati osservati $D_O$.
  $$f(y^M, \omega | D_O) \propto f(D_C; \omega)f(\omega)$$
  dove $D_C$ sono i dati completi (osservati + controfattuali).
• Marginalizzazione Corretta: La distinzione cruciale risiede in quale margine della distribuzione congiunta viene calcolato per lo stimolo desiderato:
  • Per gli stimoli di popolazione (PATE, CATE), si integrano fuori i controfattuali specifici ($y^M$) e si lavora sui parametri del modello ($\omega$). Non è necessaria l'imputazione dei controfattuali mancanti per ogni soggetto.
  • Per gli stimoli di campione (ITE, SATE), l'obiettivo è la distribuzione marginale dei controfattuali mancanti ($y^M$). Questo richiede spesso l'imputazione esplicita dei controfattuali dal loro posteriore congiunto.
• Assunzioni Cross-World:
  • Gli stimoli di popolazione (come PATE) richiedono solo assunzioni sulle distribuzioni marginali di ciascun potenziale esito.
  • Gli stimoli di campione (come ITE) richiedono spesso assunzioni "cross-world" (es. indipendenza condizionale tra $Y(1)$ e $Y(0)$ dato $L$), che sono non identificabili e non falsificabili.
• Implementazione Computazionale (Stan): L'autore utilizza il linguaggio probabilistico Stan per dimostrare le differenze computazionali.
  • Per gli stimoli di campione, i controfattuali mancanti devono essere dichiarati nel blocco parameters e aggiornati tramite MCMC (simile all'imputazione).
  • Per gli stimoli di popolazione, è sufficiente avere la distribuzione dei parametri; l'integrazione sulla distribuzione dei covariati può essere fatta tramite simulazione Monte Carlo (MC) sui parametri, senza aggiornare i singoli controfattuali.
• Modelli Non Parametrici: Vengono utilizzati modelli flessibili come le Misture di Processi di Dirichlet Truncati (Truncated DPM) per catturare forme funzionali complesse, dimostrando come le differenze tra stimoli di campione e popolazione persistano anche in contesti non parametrici.
• Bootstrap Bayesiano (BB): Viene discusso l'uso del BB per modellare la distribuzione dei covariati, contrapponendolo all'uso della distribuzione empirica fissa (che porta a stimoli come il MATE - Mixed Average Treatment Effect), sottolineando che il BB propaga correttamente l'incertezza sulla distribuzione dei covariati.

3. Contributi Chiave

Il paper offre quattro contributi principali, supportati da quattro esempi dettagliati con codice Stan:

1. Chiarezza Concettuale e Computazionale: Dimostra che l'incertezza posteriore per un ITE è tipicamente molto più ampia di quella per un CATE, anche se le medie sono simili. Confondere le due distribuzioni porta a intervalli di credibilità errati.
2. Esempi di Implementazione:
   • Esempio 1: Confronto tra ITE e CATE con modelli flessibili (DPM), mostrando come l'integrazione Monte Carlo sia necessaria per il PATE ma non per l'ITE (che usa i controfattuali imputati).
   • Esempio 2: Un caso in cui uno stimolo di popolazione (es. probabilità congiunta di esiti in entrambi i mondi) richiede assunzioni cross-world, sfatando il mito che solo gli stimoli di campione ne abbiano bisogno.
   • Esempio 3: Un scenario con $K > 2$ trattamenti, dove il numero di parametri di dipendenza cross-world cresce polinomialmente ($K(K-1)/2$), rendendo l'inferenza di campione estremamente complessa e sensibile alle assunzioni.
3. Critica alla "G-Formula Bayesiana" di Keil et al. (2018): L'autore smaschera un errore comune nell'implementazione della g-formula bayesiana. Keil et al. calcolano una media su $n$ simulazioni (dove $n$ è la dimensione del campione) trattando i covariati come fissi empiricamente. Questo produce in realtà una stima del MATE o di un effetto finito, non del PATE, e fallisce nel propagare l'incertezza sulla distribuzione dei covariati. L'autore mostra come gli autori stessi abbiano riconosciuto questo errore in commit successivi del codice, passando a simulazioni con $M > n$.
4. Guida Pratica: Fornisce linee guida per scegliere tra stimoli di campione e popolazione in base alla sostanza scientifica (es. se l'interesse è su un singolo soggetto o su una popolazione definita) e come implementare correttamente l'inferenza seguendo la logica rigorosa del teorema di Bayes.

4. Risultati

• Visualizzazione delle Differenze: Le figure (es. Fig. 1 e Fig. 3) mostrano chiaramente che, mentre le medie posteriori di SATE e PATE possono coincidere, le loro distribuzioni posteriori (e quindi l'incertezza) sono drasticamente diverse. L'ITE ha intervalli di credibilità molto più ampi del CATE.
• Impatto dei Modelli di Covariati: L'uso della distribuzione empirica fissa (MATE) sottostima l'incertezza rispetto al Bootstrap Bayesiano o a modelli parametrici corretti per la distribuzione dei covariati.
• Sensibilità alle Assunzioni Cross-World: Negli esempi con trattamenti multipli (Esempio 3), l'inferenza per gli stimoli di campione diventa estremamente sensibile ai parametri di correlazione non identificabili, rendendo spesso preferibile l'inferenza a livello di popolazione o l'uso di approcci che evitano esplicitamente le assunzioni cross-world (come i grafi SWIG).
• Correzione di Errori di Implementazione: Il paper dimostra come procedure che sembrano corrette (come quella di Keil et al.) producano in realtà stime di quantità diverse da quelle dichiarate (PATE vs MATE/effetto finito).

5. Significato

Il lavoro è significativo perché:

• Migliora la Riproducibilità: Fornisce codice e spiegazioni dettagliate per evitare errori comuni nell'implementazione bayesiana, un campo dove la complessità computazionale spesso nasconde errori concettuali.
• Definisce il "Pensiero dai Primi Principi": Incoraggia i ricercatori a iniziare sempre chiedendosi quale margine della distribuzione congiunta è di interesse scientifico, piuttosto che applicare formule standard senza comprendere le implicazioni probabilistiche.
• Risoluzione di Dibattiti: Chiarisce il ruolo delle assunzioni cross-world, mostrando che non sono necessarie per tutti gli stimoli di popolazione, ma sono inevitabili per gli stimoli di campione, e che la loro natura non identificabile richiede una gestione esplicita della sensibilità.
• Guida per la Scelta dello Stimolo: Aiuta i ricercatori a decidere se un approccio di popolazione (PATE) o di campione (SATE/ITE) è appropriato in base al contesto (es. politiche pubbliche su una popolazione definita vs. effetti su un singolo individuo o gruppo specifico), evitando l'uso improprio di modelli che non corrispondono alla domanda scientifica.

In sintesi, il paper funge da manuale tecnico essenziale per chiunque utilizzi l'inferenza causale bayesiana, sottolineando che la correttezza dell'implementazione dipende dalla rigorosa distinzione tra ciò che si vuole inferire sulla popolazione e ciò che si vuole inferire sul campione osservato.