Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes

Technische Samenvatting: Gekalibreerde Inferentie voor de CATE in het Regime met Weinig Placebo via Gaussische Processen

Probleemstelling
Het artikel adresseert de uitdaging om de Conditionele Gemiddelde Treatment Effect (CATE), $\tau(x) = E[Y(1) - Y(0) | X=x]$, te schatten met gekalibreerde onzekerheidsintervallen in het "regime met weinig placebo". Dit regime wordt gedefinieerd door een ernstige onbalans in steekproefgroottes tussen behandelingsarmen ($N_0 \ll N_1$), een scenario dat veel voorkomt bij klinische trials met ongelijke allocatie, A/B-tests met budgetbeperkingen en studies in zeldzame regimes.

Hoewel de X-Learner de standaard meta-learner is voor onbalans tussen behandelingsarmen, levert deze slechts een puntsschatting op. De auteurs onderzoeken de natuurlijke uitbreiding om de tweede fase van de X-Learner Bayesiaans te maken om geloofwaardige intervallen te genereren. Zij tonen aan dat deze aanpak faalt in het bieden van gekalibreerde dekking (d.w.z. de intervallen bevatten het ware effect minder vaak dan hun nominale niveau), specifiek in het regime met weinig placebo.

Diagnose van het Falen
Het artikel identificeert een structurele oorzaak voor de onderdekking van Bayesiaanse X-Learner-intervallen:

1. Bias van Eerste Orde Nuisance: De X-Learner construeert pseudo-uitkomsten (bijv. $D_1 = Y - \hat{\mu}_0(X)$) om het treatment effect te schatten. Omdat machine learning nuisance-modellen (zoals geregulariseerde bomen) bias inwisselen voor variantie, is de schatting $\hat{\mu}_0$ niet conditioneel onbevooroordeeld. Bijgevolg is het conditionele gemiddelde van de pseudo-uitkomst $\tau(x) - b_0(x)$, waarbij $b_0(x)$ de regularisatiebias is van het nuisance-model dat is gefit op de kleine controlearm.
2. Posteriore Verschuiving: Een Bayesiaanse regressie op deze bevooroordeelde pseudo-uitkomsten produceert een posterior die gecentreerd is rond het bevooroordeelde doel ($\tau - b_0$) in plaats van het ware effect. Aangezien de bias een locatieshift is, corrigeert het vergroten van de posteriorvariantie (het verbreden van het interval) de dekking niet; het interval blijft verschoven ten opzichte van de waarheid.
3. Falende Orthogonale Scores: Het standaardmiddel tegen nuisance-bias is het regresseren van een Neyman-orthogonale, dubbel robuuste (DR) score. De auteurs tonen aan dat dit ook faalt in het regime met weinig placebo. Het regime induceert inherent slechte overlap (kleine propensiteit voor de controlearm, $1-\pi \approx 0$). De "tweede-orde" restterm van de DR-score wordt versterkt met een factor $1/(1-\pi)^2$, waardoor de restterm niet-verwaarloosbaar wordt. Bovendien verstoort het toepassen van inverse-variantie-gewichting om de hoge variantie van de controlearm te stabiliseren het kruis-arm annulatiemechanisme dat onbevooroordeeldheid garandeert, waardoor de schatter effectief terugkeert naar de bevooroordeelde vorm van de X-Learner.

Methodologie: GP-CATE
Om deze problemen op te lossen, stellen de auteurs GP-CATE voor, dat het paradigma van puntsschatting plus post-hoc-variantie verlaat ten gunste van een volledig Bayesiaanse aanpak voor de nuisance-functies zelf.

• Modellering: In plaats van puntsschattingen $\hat{\mu}_0$ en $\hat{\mu}_1$ te fiten, modelleert GP-CATE de uitkomstoppervlakken voor elke arm ($\mu_0$ en $\mu_1$) met onafhankelijke Gaussische Processen (GP's).
• Posterior Constructie: De GP levert een volledige posteriorverdeling over de functie op, bestaande uit een gemiddelde $m_w(x)$ en een puntsgewijze standaardafwijking $s_w(x)$. De onzekerheid $s_w(x)$ is van nature groot waar data schaars is (de controlearm) en klein waar data dicht is.
• CATE Inferentie: De CATE-posterior wordt afgeleid als het verschil tussen de posteriors van de twee armen:
  $$\tau(x) | D \sim \mathcal{N}(m_1(x) - m_0(x), s_1(x)^2 + s_0(x)^2)$$
  Deze constructie zorgt ervoor dat de onzekerheid van de kleine controlearm direct als variantie in de CATE-posterior terechtkomt, in plaats van als een niet-gemodelleerde bias.
• Berekeningsstrategie: Hoewel exacte GP's $O(N^3)$ zijn, merken de auteurs op dat in het regime met weinig placebo de controlearm ($N_0$) klein is, waardoor de exacte fit daarvan computationeel verwaarloosbaar is. Voor de grote behandelingsarm ($N_1$) is een schaalbaar surrogaat (bijv. een sparse/inducing-point GP) voldoende, omdat de onzekerheid van de controlearm de totale CATE-variantie domineert.

Belangrijkste Bijdragen

1. Diagnose: Het artikel stelt vast dat onderdekking in Bayesiaanse X-Learners voor onbalansdata wordt veroorzaakt door bias van eerste orde nuisance uit niet-orthogonale pseudo-uitkomsten, wat de posterior-mean verschuift.
2. Negatief Resultaat: Het toont aan dat het middel van dubbel robuuste/orthogonale scores faalt in dit regime door overlapversterking en een fundamenteel conflict tussen efficiency-gewichting en onbevooroordeeldheid, zelfs wanneer de propensiteitsscore bekend is.
3. Oorzaakanalyse: De auteurs betogen dat het koppelen van een variantie aan een puntsschatting van een "moeilijk te leren" nuisance (een die is gefit op schaarse data) structureel gebrekkig is, omdat regularisatiebias onzichtbaar is voor post-hoc variantieschattingen.
4. Methode en Empirische Validatie: GP-CATE wordt voorgesteld als de oplossing, waarbij puntsschattingen worden vervangen door Bayesiaanse posteriors. Empirische resultaten tonen aan dat het de enige geteste methode is die gekalibreerde dekking bereikt over lineaire, niet-lineaire en semi-synthetische (IHDP) benchmarks in het regime met weinig placebo.

Experimentele Resultaten
De auteurs evalueerden GP-CATE tegenover Causal Forest, BART en standaard meta-learners (X-Learner, DR-Learner) op drie ontwerpen:

• Dekking: In het regime met weinig placebo ($N_0=30$) onderdekken standaard interval-schatters ernstig. De dekking van Causal Forest daalde tot wel 0,34 op de IHDP-benchmark, en BART daalde tot 0,59. Daarentegen behield GP-CATE een dekking tussen 0,94 en 0,99 over alle ontwerpen en steekproefgroottes.
• Intervallengte: De gekalibreerde intervallen geproduceerd door GP-CATE zijn aanzienlijk breder dan die van de alternatieven in hoogdimensionele settings met weinig controles. De auteurs betogen dat dit een eigenschap is, geen bug: de brede intervallen reflecteren correct de hoge onzekerheid inherent aan het schatten van een oppervlak vanuit schaarse data, terwijl smallere intervallen van andere methoden miscalibreerd zijn.
• Puntnauwkeurigheid: GP-CATE blijft concurrerend in nauwkeurigheid van puntsschatting (gemeten door $\sqrt{\epsilon PEHE}$), vaak presterend beter dan of gelijkend aan Causal Forest en BART, met name naarmate $N_0$ toeneemt.

Betekenis en Claims
Het artikel claimt dat het regime met weinig placebo een structurele grens vertegenwoordigt waar standaard asymptotische orakel-eigenschappen (die vaste overlap aannemen) bezwijken. De betekenis van het werk ligt in het identificeren dat gekalibreerde inferentie in dit regime een volledig Bayesiaans nuisance-model vereist in plaats van een puntsschatting met een gecorrigeerde variantie.

De auteurs formuleren hun bijdrage bescheiden niet als een nieuw schatter-architectuur (opmerkend dat een Bayesiaanse T-learner met GP's vergelijkbaar is met eerder werk van Alaa en van der Schaar, 2017), maar als een diagnostisch inzicht: het falen van meta-learners in dit regime is te wijten aan de scheiding van bias- en variantieschatting. GP-CATE wordt gepresenteerd als de schatter die de oorzaakanalyse noodzakelijk maakt. Het artikel concludeert dat practitioners GP-CATE moeten prefereren in onbalanssettings, waarbij bredere intervallen worden geaccepteerd als de eerlijke reflectie van datatekorten, in plaats van te vertrouwen op smallere, miscalibreerde intervallen van standaardmethoden.