Bayesian X-Learner: Calibrated Posterior Inference for Heterogeneous Treatment Effects under Heavy-Tailed Outcomes

1. Enunciato del Problema

La stima degli Effetti Medi Condizionati del Trattamento (CATE), indicati come $\tau(x)$, nelle applicazioni reali affronta una triade critica di requisiti che gli strumenti esistenti non riescono a soddisfare simultaneamente:

1. Eterogeneità: La capacità di stimare effetti del trattamento che variano tra gli individui ($\tau(x)$).
2. Incertezza Calibrata: La fornitura di una quantificazione dell'incertezza statisticamente valida (intervalli credibili) per questi effetti eterogenei.
3. Robustezza alle Code Pesanti: Robustezza contro distribuzioni di esito "a code pesanti", comuni in ambiti come gli studi clinici (eventi gravi rari), il marketing (clienti "balena" per fatturato) e l'economia.

Limiti dei Metodi Attuali:

• Meta-learner (S/T/X-Learner): Forniscono eterogeneità ma tipicamente producono stime puntuali senza incertezza calibrata.
• Foreste Causali: Forniscono eterogeneità e un'approssimazione dell'incertezza tramite bootstrap, ma gli intervalli bootstrap spesso falliscono nel mantenere la copertura sotto contaminazione a code pesanti.
• Modelli Bayesiani Classici (es. Causal BART, BCF): Forniscono posteriori bayesiani completi ma si basano su assunzioni di verosimiglianza Gaussiana. Un singolo outlier estremo ("balena") può distorcere la media posteriore e inflazionare la varianza a causa dell'influenza illimitata dei residui al quadrato.
• Metodi Frequentisti Robusti: Spesso forniscono stime puntuali o intervalli frequentisti ma mancano dell'oggetto posteriore completo richiesto per processi decisionali downstream complessi (es. integrazione sull'incertezza).

2. Metodologia: Il Bayesian X-Learner

Il paper propone il Bayesian X-Learner, un framework a tre fasi progettato per fornire una posteriore MCMC calibrata su $\tau(x)$ anche quando gli esiti sono fortemente contaminati.

Fase 1: Quarantena Incrociata delle Funzioni Nuisance

• Obiettivo: Stimare le funzioni nuisance ($\hat{\mu}_0, \hat{\mu}_1, \hat{\pi}$) in modo robusto per impedire che la contaminazione si propaghi ai pseudo-esiti.
• Meccanismo: Utilizza un cross-fitting a $K$ pieghe.
• Robustezza: Invece della classica perdita per errore quadratico, impiega CatBoost con una perdita Huber parametrizzata da $\delta$. Il valore di $\delta$ è mappato da un enumeratore definito dall'utente contamination_severity (es. "severe" $\to$ $\delta=0.5$) basato sulla teoria minimax di Huber.
• Standardizzazione: Per dati su scala estrema, un passo opzionale di pre-standardizzazione ($Y \to Y/\text{MAD}(Y)$) assicura che il parametro Huber $\delta$ operi su una scala unitaria, preservando la sua ottimalità teorica.

Fase 2: Pseudo-Esiti Doppio-Robusti (DR)

• Obiettivo: Costruire una variabile target coerente per $\tau(x)$ anche se i modelli nuisance sono imperfetti.
• Meccanismo: Seguendo Kennedy (2020), il metodo costruisce pseudo-esiti DR ($D_i$) per ogni unità:
  $$D_i = \hat{\mu}_1(X_i) - \hat{\mu}_0(X_i) + \frac{W_i(Y_i - \hat{\mu}_1(X_i))}{\hat{\pi}(X_i)} - \frac{(1-W_i)(Y_i - \hat{\mu}_0(X_i))}{1-\hat{\pi}(X_i)}$$
• Questi pseudo-esiti servono come target di regressione per il livello bayesiano finale.

Fase 3: Aggiornamento Bayesiano con Pseudo-Verosimiglianza Welsch

• Obiettivo: Inferire la distribuzione posteriore dei parametri CATE $\beta$ (dove $\tau(x) = \phi(x)^\top \beta$).
• Innovazione: Sostituisce la verosimiglianza Gaussiana standard con una pseudo-verosimiglianza Welsch ridiscendente.
  • Funzione di Perdita: $\rho_W(r) = \frac{c^2}{2}(1 - \exp(-r^2/c^2))$.
  • Funzione di Influenza: $\psi_W(r) = r \exp(-r^2/c^2)$.
  • Proprietà Chiave: La funzione di influenza è limitata e ridiscende a zero per residui grandi. Ciò significa che gli outlier estremi hanno un'influenza decrescente sulla media posteriore, a differenza delle verosimiglianze Gaussiana o Student-t dove l'influenza rimane alta o decade lentamente.
• Inferenza: Utilizza NUTS (No-U-Turn Sampler) tramite NumPyro per campionare dalla posteriore generalizzata (Gibbs).
• Calibrazione: Poiché la perdita Welsch non è una vera log-verosimiglianza, la posteriore è una "posteriore generalizzata". Il paper introduce una calibrazione tramite tasso di apprendimento $\eta$ (tramite matching delle tracce o matching specifico per funzione) per garantire che gli intervalli credibili abbiano una corretta copertura frequentista.
• Bayes Modulare: Per tenere conto dell'incertezza nelle stime nuisance, il metodo supporta un approccio Bayes modulare in cui i parametri nuisance sono estratti tramite bootstrap bayesiano, e la loro incertezza viene propagata nella posteriore finale.

3. Distinzioni Chiave: Contaminazione vs Segnale

Un contributo teorico cruciale è la distinzione operativa tra due regimi a code pesanti:

1. Code come Contaminazione: Gli outlier sono rumore (es. errori di misurazione, clienti balena per fatturato). La soluzione è il sotto-pesatura tramite verosimiglianza Welsch + nuisance Huber.
2. Code come Segnale: Un sottogruppo specifico ha genuinamente un effetto del trattamento diverso. La soluzione è la rappresentazione tramite una funzione di base consapevole delle code (es. $\phi(x) = [1, \mathbb{I}(|x| > c)]$).

• Avvertenza: Il paper dimostra che l'uso del ridimensionamento a livello di dati (come la normalizzazione con stimatore di Hill) per gestire le "code come segnale" è attivamente dannoso, poiché tratta l'eterogeneità genuina come rumore.

4. Contributi Chiave

1. Algoritmo: Un nuovo Bayesian X-Learner che combina pseudo-esiti DR con una verosimiglianza ridiscendente Welsch, fornendo il primo strumento ampiamente applicabile per la stima CATE eterogenea, calibrata e robusta.
2. Quadro Teorico: Formalizza la separazione tra gestione della contaminazione (livello di verosimiglianza) e gestione del segnale (livello di base) e fornisce risultati di calibrazione asintotica (Proposizione 1) per la posteriore generalizzata.
3. Validazione Empirica:
   • Benchmark IHDP: Su dati puliti, la configurazione predefinita raggiunge una media $\sqrt{\epsilon_{PEHE}} = 0.56$, superando o pareggiando S/T/X-learners, Causal BART e Foreste Causali, con la dispersione più stretta.
   • DGP Balena: Su dati sintetici con fino al 20–25% di contaminazione, la configurazione "severe" recupera un RMSE $\approx 0.13$ e mantiene intervalli credibili al 95% calibrati, mentre le baseline Gaussiana e Student-t falliscono catastroficamente.
   • Dati Reali: Validato sull'RCT di marketing via email di Hillstrom ($N=42.613$), dimostrando che gli stimatori naive sono guidati dagli outlier (suggerendo un aumento di $0.77), mentre il robusto Bayesian X-Learner identifica correttamente un effetto vicino allo zero per la maggior parte dei clienti con intervalli stretti e calibrati.
4. Analisi dei Confini: Mappa sei confini empirici (soffitto di contaminazione, costo di efficienza, sensibilità della base, dimensione del campione, tipo di trattamento, calcolo) per guidare i praticanti su quando utilizzare questo strumento rispetto alle alternative.

5. Riepilogo dei Risultati

• Robustezza: Il metodo mantiene una copertura valida (circa 83–100% a seconda della configurazione) sotto una densità di contaminazione del 20%, un regime in cui i metodi bayesiani e frequentisti standard collassano.
• Costo di Efficienza: Esiste un costo strutturale di efficienza su dati perfettamente puliti quando si utilizzano impostazioni robuste aggressive (es. $\delta=0.5$), ma questo è mitigato passando a "nessuna" (Gaussiana) quando la contaminazione è assente.
• Calibrazione: L'uso del pooling Bayes modulare (propagazione dell'incertezza nuisance) si è dimostrato critico per ripristinare la copertura nominale in scenari ad alta contaminazione dove le posteriori a singolo cross-fit sottocoprono.
• Qualità Decisionale: Nelle simulazioni di policy, la posteriore calibrata porta a zero rimorso nelle decisioni di trattamento sotto contaminazione, mentre i metodi non robusti portano a errori di policy significativi.

6. Significato

Questo paper affronta un divario critico nell'apprendimento automatico causale. Sebbene la statistica robusta e l'inferenza bayesiana esistano da tempo separatamente, la loro intersezione nel contesto degli effetti eterogenei del trattamento era precedentemente inesplorata.

• Impatto Pratico: Permette ai praticanti in ambiti come studi clinici e marketing di prendere decisioni basate su effetti di sottogruppo con limiti di incertezza affidabili, anche quando i dati sono pieni di outlier.
• Avanzamento Teorico: Va oltre la robustezza della stima puntuale verso la robustezza della posteriore, dimostrando che il Bayes generalizzato con perdite ridiscendenti può produrre inferenza calibrata.
• Guida: Fornisce indicazioni chiare e azionabili su come distinguere tra "rumore" e "segnale" nelle code pesanti, prevenendo l'errore comune di livellare effetti eterogenei genuini.

Il codice e i benchmark sono rilasciati come open-source, facilitando la riproducibilità e l'adozione in compiti reali di inferenza causale a code pesanti.