Bayesian X-Learner: Calibrated Posterior Inference for Heterogeneous Treatment Effects under Heavy-Tailed Outcomes

1. Probleemstelling

De schatting van Conditional Average Treatment Effects (CATE), aangeduid als $\tau(x)$, in real-world toepassingen staat voor een kritieke drietal aan eisen die bestaande hulpmiddelen niet gelijktijdig kunnen vervullen:

1. Heterogeniteit: Het vermogen om behandelingseffecten te schatten die variëren per individu ($\tau(x)$).
2. Gecalibreerde Onzekerheid: Het bieden van statistisch valide onzekerheidskwantificatie (credibele intervallen) voor deze heterogene effecten.
3. Robuustheid tegen Zware Staarten: Robuustheid tegen "heavy-tailed" uitkomstverdelingen, die veel voorkomen in domeinen zoals klinische trials (zeldzame ernstige gebeurtenissen), marketing (omzet-"walvissen") en economie.

Beperkingen van Huidige Methoden:

• Meta-learners (S/T/X-Learners): Bieden heterogeniteit maar leveren doorgaans punt-schattingen zonder gecalibreerde onzekerheid.
• Causal Forests: Bieden heterogeniteit en benaderde onzekerheid via bootstrapping, maar bootstrap-intervallen slagen er vaak niet in om dekking te behouden onder zware staart-vervuiling.
• Klassieke Bayesiaanse Modellen (bijv. Causal BART, BCF): Bieden volledige Bayesiaanse posteriors maar vertrouwen op Gaussische likelihood-aannames. Een enkele extreme outlier ("walvis") kan de posterior-middelpuntwaarde verstoren en de variantie opblazen door de onbegrensde invloed van gekwadrateerde residuen.
• Robuuste Frequentistische Methoden: Bieden vaak punt-schattingen of frequentistische intervallen maar missen het volledige posterior-object dat vereist is voor complexe downstream-besluitvorming (bijv. integratie over onzekerheid).

2. Methodologie: De Bayesian X-Learner

Het artikel stelt de Bayesian X-Learner voor, een drie-fasenkader dat is ontworpen om een gecalibreerde MCMC-posterior over $\tau(x)$ te leveren, zelfs wanneer uitkomsten zwaar vervuild zijn.

Fase 1: Cross-Fitted Nuisance Quarantine

• Doel: Nuisance-functies ($\hat{\mu}_0, \hat{\mu}_1, \hat{\pi}$) robuust schatten om te voorkomen dat vervuiling zich voortplant naar de pseudo-uitkomsten.
• Mechanisme: Gebruik van $K$-fold cross-fitting.
• Robuustheid: In plaats van standaard kwadratische verliesfunctie, wordt CatBoost met een Huber-verlies gebruikt, geparametriseerd door $\delta$. De waarde van $\delta$ wordt afgeleid van een door de gebruiker gedefinieerde contamination_severity-enum (bijv. "severe" $\to$ $\delta=0.5$) gebaseerd op Huber's minimax-theorie.
• Standaardisatie: Voor data met extreme schaal is een optionele voor-standaardisatiestap ($Y \to Y/\text{MAD}(Y)$) opgenomen om ervoor te zorgen dat de Huber $\delta$-parameter op een eenheidsschaal werkt, waardoor zijn theoretische optimaliteit behouden blijft.

Fase 2: Doubly Robust (DR) Pseudo-Outcomes

• Doel: Een doelvariabele construeren die consistent is voor $\tau(x)$, zelfs als nuisance-modellen imperfect zijn.
• Mechanisme: Volgend op Kennedy (2020) construeert de methode DR pseudo-uitkomsten ($D_i$) voor elke eenheid:
  $$D_i = \hat{\mu}_1(X_i) - \hat{\mu}_0(X_i) + \frac{W_i(Y_i - \hat{\mu}_1(X_i))}{\hat{\pi}(X_i)} - \frac{(1-W_i)(Y_i - \hat{\mu}_0(X_i))}{1-\hat{\pi}(X_i)}$$
• Deze pseudo-uitkomsten dienen als regressiedoelen voor de uiteindelijke Bayesiaanse laag.

Fase 3: Bayesiaanse Update met Welsch Pseudo-Likelihood

• Doel: De posteriorverdeling van de CATE-parameters $\beta$ infereren (waarbij $\tau(x) = \phi(x)^\top \beta$).
• Innovatie: Vervanging van de standaard Gaussische likelihood door een Welsch redescending pseudo-likelihood.
  • Verliesfunctie: $\rho_W(r) = \frac{c^2}{2}(1 - \exp(-r^2/c^2))$.
  • Invloedfunctie: $\psi_W(r) = r \exp(-r^2/c^2)$.
  • Kernkarakteristiek: De invloedfunctie is begrensd en daalt terug naar nul voor grote residuen. Dit betekent dat extreme outliers een afnemende invloed hebben op de posterior-middelpuntwaarde, in tegenstelling tot Gaussische of Student-t-likelihoods waarbij de invloed hoog blijft of langzaam afneemt.
• Inferentie: Gebruik van NUTS (No-U-Turn Sampler) via NumPyro om te bemonsteren uit de gegeneraliseerde (Gibbs) posterior.
• Calibratie: Aangezien de Welsch-verliesfunctie geen echte log-likelihood is, is de posterior een "generalized posterior". Het artikel introduceert een leersnelheid $\eta$-calibratie (via trace-matching of functie-specifiek matching) om ervoor te zorgen dat de credibele intervallen de correcte frequentistische dekking hebben.
• Modulaire Bayes: Om rekening te houden met onzekerheid in de nuisance-schattingen, ondersteunt de methode een modulaire-Bayes-aanpak waarbij nuisance-parameters worden getrokken via Bayesiaanse bootstrap, en hun onzekerheid wordt doorgegeven naar de uiteindelijke posterior.

3. Belangrijkste Onderscheidingen: Vervuiling versus Signaal

Een cruciale theoretische bijdrage is de operationele onderscheiding tussen twee zware staart-regimes:

1. Staarten als Vervuiling: Outliers zijn ruis (bijv. meetfouten, omzetwalvissen). De oplossing is downweighting via Welsch-likelihood + Huber-nuisance.
2. Staarten als Signaal: Een specifieke subgroep heeft oprecht een ander behandelingseffect. De oplossing is representatie via een staart-bewust basisfunctie (bijv. $\phi(x) = [1, \mathbb{I}(|x| > c)]$).

• Waarschuwing: Het artikel demonstreert dat het gebruik van rescaling op datalaag (zoals Hill-estimator-normalisatie) om "staarten als signaal" te behandelen, actief schadelijk is, omdat het oprechte heterogeniteit als ruis behandelt.

4. Belangrijkste Bijdragen

1. Algoritme: Een nieuwe Bayesian X-Learner die DR pseudo-uitkomsten combineert met een Welsch redescending likelihood, en zo het eerste breed toepasbare hulpmiddel biedt voor heterogene, gecalibreerde en robuuste CATE-schatting.
2. Theoretisch Kader: Formaliseert de scheiding van vervuilingbehandeling (likelihood-laag) versus signaalbehandeling (basislaag) en biedt asymptotische calibratieresultaten (Propositie 1) voor de gegeneraliseerde posterior.
3. Empirische Validatie:
   • IHDP Benchmark: Op schone data bereikt de standaardconfiguratie een gemiddelde $\sqrt{\epsilon_{PEHE}} = 0.56$, wat beter presteert dan of gelijkstaat aan S/T/X-learners, Causal BART en Causal Forests, met de strakste spreiding.
   • Whale DGP: Op synthetische data met tot 20–25% vervuiling herstelt de "severe"-configuratie een RMSE $\approx 0.13$ en behoudt gecalibreerde 95% credibele intervallen, terwijl Gaussische en Student-t-baselines catastrofaal falen.
   • Real-World Data: Geverifieerd op de Hillstrom e-mailmarketing RCT ($N=42.613$), waarbij wordt aangetoond dat naïeve schatters worden gedreven door outliers (wat een lift van $0,77 suggereert), terwijl de robuuste Bayesian X-Learner correct een effect dicht bij nul identificeert voor de meerderheid van de klanten, met strakke, gecalibreerde intervallen.
4. Grensanalyse: Koppelt zes empirische grenzen (vervuilingplafond, efficiëntiekost, basisgevoeligheid, steekproefomvang, behandelingstype, rekenkracht) om praktijkspecialisten te begeleiden over wanneer dit hulpmiddel te gebruiken versus alternatieven.

5. Samenvatting Resultaten

• Robuustheid: De methode behoudt valide dekking (ongeveer 83–100%, afhankelijk van configuratie) onder 20% vervuilingsdichtheid, een regime waarin standaard Bayesiaanse en frequentistische methoden instorten.
• Efficiëntiekost: Er is een structurele efficiëntiekost op perfect schone data bij het gebruik van agressieve robuuste instellingen (bijv. $\delta=0.5$), maar dit wordt gemitigeerd door over te schakelen naar "none" (Gaussisch) wanneer vervuiling afwezig is.
• Calibratie: Het gebruik van modulaire-Bayes pooling (doorgeven van nuisance-onzekerheid) blijkt cruciaal om nominale dekking te herstellen in scenario's met hoge vervuiling, waar posteriors met enkele cross-fit onderdekken.
• Besluitkwaliteit: In beleidssimulaties leidt de gecalibreerde posterior tot nul regret in behandelingsbeslissingen onder vervuiling, terwijl niet-robuste methoden leiden tot significante beleidsfouten.

6. Betekenis

Dit artikel adresseert een kritieke kloof in causaal machine learning. Hoewel robuuste statistiek en Bayesiaanse inferentie lang apart hebben bestaan, was hun kruising in de context van heterogene behandelingseffecten eerder onontgonnen terrein.

• Praktische Impact: Het stelt praktijkspecialisten in domeinen zoals klinische trials en marketing in staat om beslissingen te nemen op basis van subgroep-effecten met betrouwbare onzekerheidsmarges, zelfs wanneer data vol zit met outliers.
• Theoretische Vooruitgang: Het gaat verder dan robuustheid van punt-schattingen naar robustheid van de posterior, en bewijst dat Generalized Bayes met redescending losses gecalibreerde inferentie kan opleveren.
• Richtlijnen: Het biedt duidelijke, actieerbare richtlijnen voor het onderscheiden tussen "ruis" en "signaal" in zware staarten, waardoor de veelvoorkomende valkuil wordt voorkomen om oprechte heterogene effecten glad te strijken.

De code en benchmarks zijn als open-source vrijgegeven, wat reproduceerbaarheid en adoptie in real-world causale inferentietaken met zware staarten faciliteert.