Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes

Riepilogo Tecnico: Inferenza Calibrata per il CATE nel Regime con Pochi Placebo tramite Processi Gaussiani

Enunciato del Problema
Il documento affronta la sfida di stimare l'Effetto Medio Condizionale del Trattamento (CATE), $\tau(x) = E[Y(1) - Y(0) | X=x]$, con intervalli di incertezza calibrati nel "regime con pochi placebo". Tale regime è definito da uno squilibrio severo nelle dimensioni del campione tra i bracci di trattamento ($N_0 \ll N_1$), uno scenario comune in trial clinici con allocazione diseguale, test A/B vincolati da budget e studi su regimi rari.

Sebbene lo X-Learner sia il meta-apprenditore standard per bracci sbilanciati, fornisce solo una stima puntuale. Gli autori investigano l'estensione naturale di rendere la seconda fase dello X-Learner bayesiana per generare intervalli credibili. Dimostrano che questo approccio fallisce nel fornire una copertura calibrata (ovvero, gli intervalli contengono l'effetto reale meno frequentemente del loro livello nominale), specificamente nel regime con pochi placebo.

Diagnosi del Fallimento
Il documento identifica una causa strutturale per la sottocopertura degli intervalli dello X-Learner bayesiano:

1. Bias di Disturbo del Primo Ordine: Lo X-Learner costruisce pseudo-outcome (ad es. $D_1 = Y - \hat{\mu}_0(X)$) per stimare l'effetto del trattamento. Poiché i modelli di disturbo di machine learning (come alberi regolarizzati) scambiano il bias con la varianza, la stima $\hat{\mu}_0$ non è condizionatamente non distorta. Di conseguenza, la media condizionale del pseudo-outcome è $\tau(x) - b_0(x)$, dove $b_0(x)$ è il bias di regolarizzazione del modello di disturbo adattato sul piccolo braccio di controllo.
2. Spostamento del Posteriore: Una regressione bayesiana su questi pseudo-outcome distorti produce un posteriore centrato sull'obiettivo distorto ($\tau - b_0$) piuttosto che sull'effetto reale. Poiché il bias è uno spostamento di posizione, aumentare la varianza del posteriore (allargando l'intervallo) non corregge la copertura; l'intervallo rimane spostato dalla verità.
3. Fallimento dei Punteggi Ortogonali: Il rimedio standard per il bias di disturbo è la regressione di un punteggio Neyman-ortogonale, a doppia robustezza (DR). Gli autori dimostrano che anche questo fallisce nel regime con pochi placebo. Il regime induce intrinsecamente una scarsa sovrapposizione (piccola propensione per il braccio di controllo, $1-\pi \approx 0$). Il termine "di secondo ordine" del punteggio DR è amplificato da un fattore $1/(1-\pi)^2$, rendendo il termine residuo non trascurabile. Inoltre, applicare una ponderazione inversa alla varianza per stabilizzare l'alta varianza del braccio di controllo interrompe il meccanismo di cancellazione tra i bracci che garantisce l'non distorsione, revertendo efficacemente lo stimatore alla forma distorta dello X-Learner.

Metodologia: GP-CATE
Per risolvere questi problemi, gli autori propongono GP-CATE, che abbandona il paradigma di stima puntuale più varianza post-hoc a favore di un approccio pienamente bayesiano per le stesse funzioni di disturbo.

• Modellazione: Invece di adattare stime puntuali $\hat{\mu}_0$ e $\hat{\mu}_1$, GP-CATE modella la superficie dell'esito per ciascun braccio ($\mu_0$ e $\mu_1$) utilizzando Processi Gaussiani (GP) indipendenti.
• Costruzione del Posteriore: Il GP restituisce una distribuzione posteriore completa sulla funzione, composta da una media $m_w(x)$ e una deviazione standard puntuale $s_w(x)$. L'incertezza $s_w(x)$ è naturalmente grande dove i dati sono scarsi (il braccio di controllo) e piccola dove i dati sono densi.
• Inferenza CATE: Il posteriore CATE è derivato come la differenza dei posteriori dei due bracci:
  $$\tau(x) | D \sim \mathcal{N}(m_1(x) - m_0(x), s_1(x)^2 + s_0(x)^2)$$
  Questa costruzione garantisce che l'incertezza del piccolo braccio di controllo entri nel posteriore CATE direttamente come varianza, piuttosto che come un bias non modellato.
• Strategia Computazionale: Sebbene i GP esatti siano $O(N^3)$, gli autori notano che nel regime con pochi placebo, il braccio di controllo ($N_0$) è piccolo, rendendo il suo adattamento esatto computazionalmente trascurabile. Per il grande braccio di trattamento ($N_1$), un surrogato scalabile (ad es. GP con punti sparsi/induttori) è sufficiente perché l'incertezza del braccio di controllo domina la varianza totale del CATE.

Contributi Chiave

1. Diagnosi: Il documento stabilisce che la sottocopertura negli X-Learner bayesiani per dati sbilanciati è causata dal bias di disturbo del primo ordine derivante da pseudo-outcome non ortogonali, che spostano la media del posteriore.
2. Risultato Negativo: Dimostra che il rimedio basato su punteggio a doppia robustezza/ortogonale fallisce in questo regime a causa dell'amplificazione della sovrapposizione e di un conflitto fondamentale tra ponderazione per l'efficienza e non distorsione, anche quando la funzione di propensione è nota.
3. Analisi della Causa Radice: Gli autori sostengono che associare una varianza a una stima puntuale di un disturbo "difficile da apprendere" (uno adattato su dati scarsi) è strutturalmente difettoso perché il bias di regolarizzazione è invisibile alle stime di varianza post-hoc.
4. Metodo e Validazione Empirica: GP-CATE è proposto come soluzione, sostituendo le stime puntuali con posteriori bayesiani. I risultati empirici mostrano che è l'unico metodo testato che raggiunge una copertura calibrata attraverso benchmark lineari, non lineari e semi-sintetici (IHDP) nel regime con pochi placebo.

Risultati Sperimentali
Gli autori hanno valutato GP-CATE contro Causal Forest, BART e meta-apprenditori standard (X-Learner, DR-Learner) su tre disegni:

• Copertura: Nel regime con pochi placebo ($N_0=30$), gli stimatori di intervallo standard sottocoprono severamente. La copertura di Causal Forest è scesa fino a 0,34 sul benchmark IHDP, e BART è sceso a 0,59. Al contrario, GP-CATE ha mantenuto una copertura tra 0,94 e 0,99 su tutti i disegni e dimensioni del campione.
• Larghezza dell'Intervallo: Gli intervalli calibrati prodotti da GP-CATE sono significativamente più ampi di quelli delle alternative in impostazioni ad alta dimensionalità con pochi controlli. Gli autori sostengono che questo è una caratteristica, non un difetto: gli intervalli ampi riflettono correttamente l'alta incertezza intrinseca nella stima di una superficie da dati scarsi, mentre gli intervalli più stretti di altri metodi sono miscalibrati.
• Accuratezza Puntuale: GP-CATE rimane competitivo nell'accuratezza della stima puntuale (misurata da $\sqrt{\epsilon PEHE}$), spesso superando o eguagliando Causal Forest e BART, in particolare all'aumentare di $N_0$.

Significato e Affermazioni
Il documento afferma che il regime con pochi placebo rappresenta un confine strutturale dove le proprietà asintotiche standard dell'oracolo (che assumono una sovrapposizione fissa) collassano. Il significato del lavoro risiede nell'identificare che l'inferenza calibrata in questo regime richiede un modello di disturbo pienamente bayesiano piuttosto che una stima puntuale con una varianza corretta.

Gli autori inquadrano modestamente il loro contributo non come un'architettura di stimatore innovativa (notando che un T-learner bayesiano con GP è simile a lavori precedenti di Alaa e van der Schaar, 2017), ma come un'insight diagnostico: il fallimento dei meta-apprenditori in questo regime è dovuto alla separazione della stima del bias e della varianza. GP-CATE è presentato come lo stimatore che l'analisi della causa radice rende necessario. Il documento conclude che i praticanti dovrebbero preferire GP-CATE in impostazioni sbilanciate, accettando intervalli più ampi come la riflessione onesta della scarsità dei dati, piuttosto che affidarsi a intervalli più stretti e miscalibrati provenienti da metodi standard.