The Illusion of Learning from Observational Data: An Empirical Bayes Perspective

1. Il Problema: L'Illusione dell'Apprendimento dai Dati Osservazionali

Il lavoro affronta una sfida fondamentale nell'inferenza causale: come combinare studi sperimentali (randomizzati) con studi osservazionali per stimare un effetto causale $\theta^*$.

• Contesto: Gli studi randomizzati (RCT) sono lo standard aureo ma sono spesso costosi o non etici. Gli studi osservazionali sono abbondanti ed economici, ma soffrono di bias di selezione (confondimento).
• Il Paradosso (Gerber, Green, Kaplan, 2004a): Se un ricercatore è completamente incerto sulla distribuzione del bias degli studi osservazionali (prior piatto), l'aggiunta di dati osservazionali a un esperimento non migliora la stima dell'effetto causale. In un approccio Bayesiano, se il prior sul bias è piatto, la media a posteriori dell'effetto rimane identica a quella dello studio sperimentale puro, e la varianza non diminuisce in modo significativo. Questo fenomeno è definito "illusione di apprendimento": i dati osservazionali sembrano rilevanti ma non contribuiscono all'inferenza.
• L'Obiettivo: Superare questa illusione senza fare assunzioni irrealistiche (come il fatto che i bias medi siano zero) e senza ignorare l'incertezza sulla distribuzione del bias.

2. Metodologia: Una Prospettiva Empirical Bayes

Gli autori propongono un framework gerarchico Bayesiano e utilizzano l'approccio Empirical Bayes (EB) per stimare la distribuzione dei bias a partire dai dati stessi.

Modello Gerarchico

Il modello assume:

1. Uno studio sperimentale: $y_e \sim N(\theta, \sigma_e^2)$.
2. $J$ studi osservazionali: $y_{o,j} \sim N(\theta + b_j, \sigma_{o,j}^2)$, dove $b_j$ è il bias dello studio $j$.
3. Il bias $b_j$ proviene da una distribuzione latente $p(b)$ (es. $N(\mu, \gamma^2)$).

Analisi delle Strategie

Gli autori analizzano tre scenari distinti:

1. Prior Piatto sul Bias (L'Illusione): Se si assume un prior non informativo su $b$, la stima a posteriori di $\theta$ è semplicemente $y_e$. I dati osservazionali vengono ignorati.
2. EB con Bias a Media Zero (Assunzione Irrealistica): Se si assume che i bias abbiano media zero ($\mu=0$) ma varianza incognita $\gamma^2$, l'EB stima $\gamma^2$ e "shrinka" le stime osservazionali verso l'esperimento. In questo caso, l'illusione si rompe e l'errore tende a zero. Tuttavia, l'assunzione che i bias medi siano zero è spesso falsa nelle scienze sociali.
3. EB con Media e Varianza Incognite (Il Ritorno dell'Illusione): Se si tenta di stimare sia la media $\mu$ che la varianza $\gamma^2$ dei bias utilizzando solo gli studi osservazionali, l'illusione ritorna. Il modello stima un $\hat{\mu}$ tale che la media a posteriori di $\theta$ torna a essere $y_e$. Peggio ancora, la varianza a posteriori diminuisce artificialmente, creando una fiducia eccessiva (overconfidence) nei risultati sperimentali, pur non migliorando l'accuratezza.

La Soluzione: Studi di Calibrazione

Per rompere l'illusione senza assumere che $\mu=0$, gli autori introducono gli studi di calibrazione (o controlli negativi).

• Definizione: Sono studi osservazionali su interventi il cui vero effetto causale è noto a priori (tipicamente zero).
• Meccanismo: Poiché l'effetto vero è zero, qualsiasi stima non nulla in uno studio di calibrazione è attribuibile interamente al bias ($y_{c,k} \sim N(b_k, \sigma_{c,k}^2)$).
• Procedura Calibrated EB:
  1. Si utilizzano gli studi di calibrazione per stimare i parametri della distribuzione del bias ($\hat{\mu}, \hat{\gamma}^2$) tramite massima verosimiglianza marginale o momenti.
  2. Questi parametri stimati vengono poi inseriti nel modello completo per combinare lo studio sperimentale e gli studi osservazionali target.
  3. Risultato: La distribuzione del bias viene identificata correttamente, permettendo agli studi osservazionali di correggere e migliorare la stima di $\theta$.

3. Contributi Chiave

1. Formalizzazione dell'Illusione: Dimostrano matematicamente (Teorema 3) che l'uso dell'Empirical Bayes su media e varianza dei bias, senza dati di calibrazione, porta a una stima dell'effetto che ignora i dati osservazionali ma riduce artificialmente l'incertezza.
2. Soluzione Teorica: Propongono l'uso di studi di calibrazione per identificare la distribuzione del bias. Dimostrano (Teorema 4) che con un numero crescente di studi osservazionali e di calibrazione, il rischio dell'estimatore converge a zero.
3. Analisi Empirica e Simulazioni:
   • Simulazioni: Confermano che l'estimatore Calibrated EB (CEB) raggiunge un errore quadratico medio (MSE) che decresce come $O(J^{-1})$, superando significativamente l'estimatore sperimentale puro.
   • Applicazione Semi-Sintetica: Utilizzano i dati di un esperimento sul consumo idrico (Ferraro e Miranda, 2013). Costruiscono dataset osservazionali simulati con bias indotto e studi di calibrazione (pseudo-trattamento).
   • Risultati Reali: Il modello "Illusion" produce stime centrate sull'esperimento ridotto con intervalli di credibilità troppo stretti (copertura del 0.68% vs il 95% atteso). Il modello Calibrated EB produce una stima vicina al vero effetto (calcolato sull'intero dataset sperimentale come "oracolo") con un'incertezza ben calibrata (copertura del 96%).

4. Risultati Principali

• Riduzione del Rischio: L'approccio Calibrated EB riduce il rischio quadratico medio (MSE) man mano che aumentano il numero di studi osservazionali ($J$) e di calibrazione ($K$).
• Correzione dell'Overconfidence: A differenza del modello che ignora l'illusione, il CEB non riduce la varianza a posteriori in modo ingannevole; mantiene un'incertezza realistica che riflette la qualità dei dati osservazionali.
• Robustezza: La metodologia funziona anche quando l'assunzione di media zero del bias è violata, purché si disponga di studi di calibrazione sufficienti.

5. Significato e Implicazioni

Questo lavoro ha profonde implicazioni per la ricerca nelle scienze sociali, politiche e biomediche:

• Valore dei Controlli Negativi: Ribadisce che i controlli negativi (o studi di calibrazione) non sono solo strumenti diagnostici per rilevare bias, ma sono essenziali per quantificare la distribuzione del bias e rendere utilizzabili i dati osservazionali su larga scala.
• Superamento del Dilemma Osservazionale: Fornisce un metodo rigoroso per integrare dati osservazionali abbondanti ma distorti con esperimenti costosi ma precisi, trasformando l'"illusione" in un reale guadagno informativo.
• Guida alla Progettazione della Ricerca: Suggerisce che per sfruttare appieno i dati osservazionali, i ricercatori dovrebbero progettare studi di calibrazione specifici (es. assegnando placebo o interventi noti per avere effetto nullo) che condividano la stessa struttura di confondimento degli studi target.

In sintesi, il paper dimostra che l'apprendimento dai dati osservazionali è possibile solo se si ha un modo per "calibrare" la distribuzione dei loro errori sistematici, trasformando l'Empirical Bayes da un metodo che può generare falsa sicurezza in uno strumento potente per l'inferenza causale robusta.