Causal Gaussian Processes for Robust Treatment Effect Evaluation with Unobserved Confounding

Technische Samenvatting: Causale Gaussische Processen voor Robuuste Evaluatie van Behandelingseffecten met Ongeobserveerde Confounding

Probleemstelling

De centrale uitdaging die in dit artikel wordt aangepakt, is de evaluatie van causale behandelingseffecten vanuit observationele data die gecontamineerd zijn door ongeobserveerde confounding. In veel praktische scenario's zijn de doel-causale effecten (bijv. $E_x[Y]$) niet-identificeerbaar uit louter observationele data, omdat niet-gemeten confounders leiden tot spuriële correlaties tussen behandelingen ($X$) en uitkomsten ($Y$).

Hoewel standaard Gaussische Proces (GP) regressie uitblinkt in het modelleren van complexe functionele mappingen in continue domeinen, is het kwetsbaar voor het leren en versterken van biases die aanwezig zijn in observationele data. Bijgevolg falen standaard GP's vaak in het generaliseren naar interventionele distributies (wat er zou gebeuren als $X$ op een specifieke waarde $x$ zou worden ingesteld), wat leidt tot incorrecte beleidsevaluaties. Bestaande robuuste strategieën vertrouwen vaak op sterke parametrische aannames, gedetailleerde voorkennis van de omgeving, of zijn beperkt tot discrete behandelings- en uitkomstruimtes, wat hun toepasbaarheid in complexe, continue domeinen beperkt.

Methodologie

De auteurs stellen een nieuw framework voor dat de kloof tussen niet-parametrische causale inferentie en Gaussische procesmodellering overbrugt via drie belangrijke methodologische stappen:

1. Universele Discretisering van Exogene Domeinen
Het artikel introduceert een universele discretiseringsprocedure voor de exogene variabelen ($U$) in elke Structurele Causale Model (SCM) met continue behandelings- en uitkomstdomeinen.

• De auteurs definiëren een Causal Canonical Model (CCM) waarbij de structurele functies die covariaten ($Z$), acties ($X$) en beloningen ($Y$) bepalen, eenvoudige functies zijn (lineaire combinaties van indicatorfuncties over disjuncte deelverzamelingen van het exogene domein).
• Theorem 3.3 stelt vast dat de verzameling van deze Causal Canonical Models dens is in de ruimte van alle SCM's met betrekking tot de $L_1$-norm. Dit betekent dat voor elk willekeurig causaal model en elke gewenste nauwkeurigheid $\epsilon$, er een CCM bestaat die zowel de observationele distributie $P(X, Y, Z)$ als de interventionele behandelingseffecten $E_x[Y|z]$ binnen $\epsilon$ benadert.

2. Reparametrisatie naar Causale Generatieve Modellen (CGM)
Om leren te vergemakkelijken, worden de discrete eenvoudige functies van de CCM gereparametriseerd naar Causale Generatieve Modellen (CGM) met behulp van continue functies.

• In een CGM wordt de populatie gestratificeerd in een eindig aantal latente toestanden (strata) $u \in \{1, \dots, d\}$.
• Binnen elk stratum is de beloningsfunctie $h_u(x, z)$ een continue functie die behandeling en covariaten naar de uitkomst mapt.
• Theorem 4.2 bevestigt dat deze familie van CGM's de causale benaderingseigenschap behoudt, waardoor zij effectief elke SCM's observationele en interventionele distributies kan representeren.

3. Causale Gaussische Processen (CGP) en Variational Inference
De auteurs instantiëren de CGM-familie met behulp van Gaussische Processen om de continue aard van de beloningsfuncties $h_u$ te hanteren.

• Modelstructuur: De exogene distributie $P(u)$ wordt gemodelleerd via een afgekapte Dirichlet-proces (stick-breaking proces). Voor elk latent stratum $u$ worden de covariaten $Z$ en de behandeling $X$ getrokken uit conditionele multivariate normale distributies. De uitkomst $Y$ wordt gegenereerd door een functie $h_u(x, z)$ getrokken uit een Gaussisch Proces met een specifieke kernel (bijv. Radial Basis Function).
• Leren: Omdat exacte posterieure inferentie onhandelbaar is, gebruiken de auteurs Variational Inference (VI) met een mean-field benadering. Het model leert een posterieure distributie over de latente stratum-toewijzingen en de parameters van de Gaussische processen.
• Inferentie: Het doelstelling behandelingseffect $E_x[Y|z]$ wordt berekend door de geleerde beloningsfuncties $h_u(x, z)$ te middelen, gewogen door de posterieure waarschijnlijkheid van de latente strata $P(u|z)$. Dit stelt het model in staat om te "zoeken" over potentiële partities van het exogene domein om een robuuste verklaring van de data te vinden die rekening houdt met ongeobserveerde confounding.

Belangrijkste Bijdragen

1. Universele Discretisering: Het artikel levert een formeel bewijs dat exogene domeinen in continue causale modellen gediscretiseerd kunnen worden zonder verlies van algemeenheid om elke causale model's observationele en interventionele distributies met willekeurige nauwkeurigheid te benaderen.
2. Causale Gaussische Proces (CGP) Familie: De auteurs ontwikkelen een nieuwe familie van generatieve modellen die de canonieke discretisering herparametriseren naar een vorm die compatibel is met standaard Bayesiaanse inferentie en deep learning frameworks.
3. Robuuste Partiële Identificatie: Het framework maakt de afleiding van robuuste posterieure distributies over causale effecten mogelijk vanuit geconfondeerde observationele data, waarbij effectief partiële identificatie wordt uitgevoerd in continue domeinen zonder dat hiervoor sterke parametrische aannames over de onderliggende structurele functies nodig zijn.

Experimentele Resultaten

De auteurs evalueerden het voorgestelde CGP tegenover standaard Gaussische Proces regressie op synthetische datasets met verschillende beloningsfuncties (Polynoom, Logistiek, Fase, Lineair) en een real-world dataset van de International Stroke Trial (IST).

• Metriek: Prestaties werden gemeten met behulp van de Negative Log Predictive Likelihood (NLPL) op interventionele data (data van gerandomiseerde trials of gesimuleerde interventies).
• Bevindingen:
  • Standaard GP's overfitten consistent de geconfondeerde observationele data, wat resulteert in hoge NLPL-scores en een falen om te generaliseren naar interventionele distributies.
  • Causale GP's behaalden consistent significant lagere NLPL-scores over alle synthetische en real-world experimenten.
  • De posterieure distributies geleerd door CGP slaagden erin de ware behandelingseffecten te vangen, terwijl standaard GP's significant afweken door ongeobserveerde confounding.

Betekenis en Claims

Het artikel claimt dat dit werk de canonieke partitie van structurele causale modellen (voorheen vastgesteld voor discrete domeinen) generaliseert naar continue domeinen. Door een universele discretiseringseigenschap te introduceren, tonen de auteurs aan dat het mogelijk is om complexe, onbekende causale mechanismen te benaderen met een eindig aantal latente toestanden.

De betekenis ligt in het bieden van een robuuste, data-gedreven aanpak voor causale inferentie in situaties waar:

• Ongeobserveerde confounding aanwezig is.
• Variabelen continu zijn.
• Gedetailleerde parametrische kennis van het generatieve proces niet beschikbaar is.

De auteurs stellen dat hun methode de "robuuste partiële identificatie" van causale effecten mogelijk maakt, waardoor leerders in staat zijn om behandelingseffecten te extraheren die generaliseren naar interventionele scenario's, zelfs wanneer de observationele data biased is. Het werk positioneert CGP's als een instrument dat de discretisering van latente ruimtes automatiseert, waardoor robuuste causale inferentie haalbaar wordt in complexe, real-world continue omgevingen.