Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes

Technisches Fazit: Kalibrierte Inferenz für den CATE im Few-Placebo-Regime mittels Gaußscher Prozesse

Problemstellung
Der Beitrag adressiert die Herausforderung, den Conditional Average Treatment Effect (CATE), $\tau(x) = E[Y(1) - Y(0) | X=x]$, mit kalibrierten Unsicherheitsintervallen im „Few-Placebo-Regime" zu schätzen. Dieses Regime ist definiert durch ein starkes Ungleichgewicht in den Stichprobengrößen zwischen den Behandlungsarmen ($N_0 \ll N_1$), ein Szenario, das bei klinischen Studien mit ungleicher Zuteilung, budgetbeschränkten A/B-Tests und Studien in seltenen Regimen häufig vorkommt.

Während der X-Learner der Standard-Meta-Lerner für unausgewogene Arme ist, liefert er lediglich eine Punktschätzung. Die Autoren untersuchen die natürliche Erweiterung, die zweite Stufe des X-Learners bayesianisch zu gestalten, um glaubwürdige Intervalle zu generieren. Sie zeigen, dass dieser Ansatz speziell im Few-Placebo-Regime keine kalibrierte Abdeckung liefert (d. h., die Intervalle enthalten den wahren Effekt seltener als ihrem nominalen Niveau entspricht).

Diagnose des Versagens
Der Beitrag identifiziert eine strukturelle Ursache für die Unterabdeckung der Intervalle des bayesianischen X-Learners:

1. Verzerrung durch Störgrößen erster Ordnung: Der X-Learner konstruiert Pseudo-Outcomes (z. B. $D_1 = Y - \hat{\mu}_0(X)$), um den Behandlungseffekt zu schätzen. Da maschinelle Lernmodelle für Störgrößen (wie regularisierte Bäume) Verzerrung gegen Varianz tauschen, ist die Schätzung $\hat{\mu}_0$ nicht bedingt erwartungstreu. Folglich ist der bedingte Erwartungswert des Pseudo-Outcomes $\tau(x) - b_0(x)$, wobei $b_0(x)$ die Regularisierungsverzerrung des Störgrößenmodells ist, das auf dem kleinen Kontrollarm angepasst wurde.
2. Posterior-Verschiebung: Eine bayesianische Regression auf diesen verzerrten Pseudo-Outcomes erzeugt einen Posterior, der um das verzerrte Ziel ($\tau - b_0$) zentriert ist und nicht um den wahren Effekt. Da die Verzerrung eine Verschiebung des Ortes darstellt, korrigiert eine Erhöhung der Posterior-Varianz (Verbreiterung des Intervalls) die Abdeckung nicht; das Intervall bleibt vom wahren Wert verschoben.
3. Versagen orthogonaler Scores: Das Standardmittel gegen Verzerrung durch Störgrößen ist die Regression eines Neyman-orthogonalen, doppelt robusten (DR) Scores. Die Autoren zeigen, dass dies auch im Few-Placebo-Regime versagt. Das Regime induziert inhärent eine schlechte Überlappung (kleine Propensität für den Kontrollarm, $1-\pi \approx 0$). Der „zweite Ordnung" verbleibende Term des DR-Scores wird um einen Faktor $1/(1-\pi)^2$ verstärkt, wodurch der Restterm nicht mehr vernachlässigbar ist. Darüber hinaus stört die Anwendung einer Gewichtung nach Inverser Varianz zur Stabilisierung der hohen Varianz des Kontrollarms den Mechanismus der kreuzarmigen Aufhebung, der die Erwartungstreue sicherstellt, und führt den Schätzer effektiv zurück zur verzerrten Form des X-Learners.

Methodik: GP-CATE
Um diese Probleme zu lösen, schlagen die Autoren GP-CATE vor, das das Paradigma der Punktschätzung plus nachträglicher Varianz zugunsten eines vollständig bayesianischen Ansatzes für die Störgrößenfunktionen selbst aufgibt.

• Modellierung: Anstatt Punktschätzungen $\hat{\mu}_0$ und $\hat{\mu}_1$ anzupassen, modelliert GP-CATE die Outcome-Oberfläche für jeden Arm ($\mu_0$ und $\mu_1$) mittels unabhängiger Gaußscher Prozesse (GPs).
• Konstruktion des Posteriors: Der GP liefert eine vollständige Posterior-Verteilung über die Funktion, bestehend aus einem Mittelwert $m_w(x)$ und einer punktweisen Standardabweichung $s_w(x)$. Die Unsicherheit $s_w(x)$ ist dort natürlich groß, wo Daten spärlich sind (der Kontrollarm), und klein, wo Daten dicht sind.
• CATE-Inferenz: Der CATE-Posterior wird als Differenz der beiden Arm-Posteriors abgeleitet:
  $$\tau(x) | D \sim \mathcal{N}(m_1(x) - m_0(x), s_1(x)^2 + s_0(x)^2)$$
  Diese Konstruktion stellt sicher, dass die Unsicherheit des kleinen Kontrollarms direkt als Varianz in den CATE-Posterior eingeht und nicht als nicht modellierter Bias.
• Rechenstrategie: Während exakte GPs $O(N^3)$ Komplexität haben, stellen die Autoren fest, dass im Few-Placebo-Regime der Kontrollarm ($N_0$) klein ist, was seine exakte Anpassung rechnerisch vernachlässigbar macht. Für den großen Behandlungsarm ($N_1$) ist ein skalierbarer Surrogat (z. B. ein GP mit dünnbesetzten/induzierenden Punkten) ausreichend, da die Unsicherheit des Kontrollarms die gesamte CATE-Varianz dominiert.

Hauptbeiträge

1. Diagnose: Der Beitrag stellt fest, dass die Unterabdeckung bei bayesianischen X-Learnern für unausgewogene Daten durch Verzerrung durch Störgrößen erster Ordnung aus nicht-orthogonalen Pseudo-Outcomes verursacht wird, die den Posterior-Mittelwert verschieben.
2. Negatives Ergebnis: Es wird gezeigt, dass das Mittel der doppelt robusten/orthogonalen Scores in diesem Regime aufgrund der Verstärkung der Überlappung und eines fundamentalen Konflikts zwischen Effizienzgewichtung und Erwartungstreue versagt, selbst wenn die Propensität bekannt ist.
3. Ursachenanalyse: Die Autoren argumentieren, dass das Anhängen einer Varianz an eine Punktschätzung einer „schwer zu lernenden" Störgröße (eine, die an spärlichen Daten angepasst wurde) strukturell fehlerhaft ist, da Regularisierungsverzerrung für nachträgliche Varianzschätzungen unsichtbar bleibt.
4. Methode und empirische Validierung: GP-CATE wird als Lösung vorgeschlagen, die Punktschätzungen durch bayesianische Posteriors ersetzt. Empirische Ergebnisse zeigen, dass es die einzige getestete Methode ist, die eine kalibrierte Abdeckung über lineare, nicht-lineare und semi-synthetische (IHDP) Benchmarks im Few-Placebo-Regime erreicht.

Experimentelle Ergebnisse
Die Autoren bewerteten GP-CATE gegen Causal Forest, BART und Standard-Meta-Lerner (X-Learner, DR-Learner) an drei Designs:

• Abdeckung: Im Few-Placebo-Regime ($N_0=30$) unterdecken Standard-Intervallschätzer stark. Die Abdeckung von Causal Forest sank auf dem IHDP-Benchmark auf bis zu 0,34, und BART sank auf 0,59. Im Gegensatz dazu hielt GP-CATE die Abdeckung zwischen 0,94 und 0,99 über alle Designs und Stichprobengrößen hinweg.
• Intervallbreite: Die kalibrierten Intervalle, die von GP-CATE produziert werden, sind in hochdimensionalen Settings mit wenigen Kontrollen signifikant breiter als die der Alternativen. Die Autoren argumentieren, dies sei ein Feature und kein Bug: Die breiten Intervalle spiegeln korrekt die hohe Unsicherheit wider, die inhärent in der Schätzung einer Oberfläche aus spärlichen Daten liegt, wohingegen schmalere Intervalle anderer Methoden falsch kalibriert sind.
• Punktgüte: GP-CATE bleibt in der Genauigkeit der Punktschätzung (gemessen durch $\sqrt{\epsilon PEHE}$) wettbewerbsfähig, übertrifft oder gleicht oft Causal Forest und BART, insbesondere wenn $N_0$ zunimmt.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass das Few-Placebo-Regime eine strukturelle Grenze darstellt, an der die Standard-asymptotischen Orakel-Eigenschaften (die eine feste Überlappung annehmen) zusammenbrechen. Die Bedeutung der Arbeit liegt in der Identifizierung, dass kalibrierte Inferenz in diesem Regime ein vollständig bayesianisches Störgrößenmodell erfordert und nicht eine Punktschätzung mit einer korrigierten Varianz.

Die Autoren rahmen ihren Beitrag bescheiden nicht als eine neuartige Schätzerarchitektur (unter Hinweis, dass ein bayesianischer T-Learner mit GPs der vorherigen Arbeit von Alaa und van der Schaar, 2017, ähnelt), sondern als eine diagnostische Einsicht: Das Versagen von Meta-Lernern in diesem Regime ist auf die Trennung von Verzerrungs- und Varianzschätzung zurückzuführen. GP-CATE wird als der Schätzer präsentiert, den die Ursachenanalyse erfordert. Der Beitrag schließt, dass Praktiker GP-CATE in unausgewogenen Settings bevorzugen sollten und breitere Intervalle als ehrliche Reflexion der Datenknappheit akzeptieren sollten, anstatt sich auf schmalere, falsch kalibrierte Intervalle aus Standardmethoden zu verlassen.