Technische Samenvatting: Interventionele Processen voor Causale Onzekerheidskwantificatie

Probleemstelling

Betrouwbare onzekerheidskwantificatie (Uncertainty Quantification, UQ) voor causale effecten is cruciaal in domeinen met een hoog risico, zoals de gezondheidszorg en beleidsvorming. Hoewel frequentistische methoden geldige betrouwbaarheidsintervallen bieden voor scalaire gemiddelde behandelingseffecten (Average Treatment Effects, ATEs), blijft het uitbreiden van deze garanties naar functiewaarde-georiënteerde causale targets (bijv. conditionele gemiddelde behandelingseffecten (CATEs) of continue dosis-respons-curven) een grote uitdaging.

Bestaande benaderingen kampen met aanzienlijke hindernissen:

1. Frequentistische beperkingen: Standaard gedebiaste schatters vertrouwen op Riesz-representers, die mogelijk niet bestaan voor functiewaarde-georiënteerde targets zonder sterke parametrische of gladheidseisen. Deze methoden zijn ook gevoelig voor zwakke overlap in eindige steekproeven.
2. Bayesiaanse beperkingen: Het plaatsen van priors op de conditionele wetmatigheden die interventionele functies identificeren, leidt vaak tot computationeel onhandelbare posterieure inferentie.
3. Gaussian Process (GP) beperkingen: Hoewel GPs de standaard zijn voor functionele UQ, is het construeren van priors specifiek voor functies binnen een Reproducing Kernel Hilbert Space (RKHS) niet triviaal. Eerdere pogingen (bijv. BayesIMP) die gebruikmaken van op maat gemaakte covariantieconstructies, lijden aan pathologieën, waaronder onderfitting door niet-stationaire kernels en variantie-instorting buiten de ondersteuning van de trainingsdata.

Methodologie: IMPSPEC

De auteurs stellen IMPSPEC (Interventional Mean Process via Spectral representation) voor, een GP-gebaseerd raamwerk dat de onzekerheid over causale functies kwantificeert door gebruik te maken van hun RKHS-representaties. De kerninnovatie ligt in het versoepelen van strikte RKHS-beperkingen om het gebruik van standaard GP-machinerie mogelijk te maken, terwijl de theoretische garanties van de onderliggende kernel-schatters behouden blijven.

1. Het versoepelen van RKHS-beperkingen via spectrale representatie

In plaats van de oorspronkelijke RKHS-beperkingen direct op de regressie-objecten af te dwingen, breidt de methode de functieklassen uit:

• Voor de uitkomstregressie ($f$): De auteurs plaatsen een eenvoudige lineaire-kernel GP-prior direct op de functionele $f$, in plaats van een op maat gemaakte prior te construeren om begrensdheid af te dwingen. Dit vergroot de functieklasse, maar maakt gesloten vorm posterieure updates mogelijk.
• Voor de conditionele embedding ($\mu$): Omdat $\mu(z) = E[\psi_V(V) | Z=z]$ een oneindig-dimensionale RKHS-waardige functie is, zijn standaard GPs hier niet op van toepassing. De auteurs maken gebruik van Mercer's stelling om de feature map $\psi_V$ te ontbinden in een spectrale reeks eigenfuncties. Dit reduceert $\mu$ tot een reeks scalaire conditionele verwachtingen ($\mu_i$), waarop onafhankelijk van elkaar standaard scalaire GP-priors kunnen worden geplaatst.

2. Het interventionele proces

De causale functie $\gamma(w, z)$ wordt gerepresenteerd als een inwendig product in de RKHS: $\gamma(w, z) = f(\psi_W(w) \otimes \mu(z))$. Door de GP-priors op $f$ en de spectrale coördinaten $\mu$ te combineren, definiëren de auteurs een Interventioneel Proces.

• Posterieur Gemiddelde: De constructie zorgt ervoor dat het posterieure gemiddelde van $\gamma$ exact de kernel causale schatter van Singh et al. (2024) herstelt, waardoor het gericht is op de onzekerheid rond dit gevestigde punt-schatting.
• Posterieer Variantie: De auteurs leiden gesloten vorm expressies af voor de posterieure variantie, die drie termen ($S_1, S_2, S_3$) bevatten die de onzekerheid in $f$, de onzekerheid in $\mu$ en de interactie tussen beide verklaren.

3. Hyperparameter Training en Kalibratie

• Training: Hyperparameters (kernel lengteschalen, ruisvariantie) worden geoptimaliseerd door de marginale likelihood te maximaliseren. Voor de spectrale componenten aggregeren de auteurs coördinaat-gebaseerde likelihoods tot een enkele hanteerbare gewogen doelfunctie.
• Kalibratie: Om mogelijke dekkingsfouten aan te pakken die voortkomen uit surrogaat-likelihoods en moment-gematchte Gaussische benaderingen, introduceren de auteurs een kalibratieprocedure. Deze stemt de spectrale maat $\nu$ (een vrije parameter) af om de discrepantie tussen nominale betrouwbaarheidsniveaus en empirische dekking te minimaliseren, gebruikmakend van een bootstrap-gebaseerde verliesfunctie.

Belangrijkste Bijdragen

1. Nieuw GP-raamwerk: Introductie van een GP-gebaseerde benadering voor de UQ van interventionele functies die de pathologieën van eerdere RKHS-beperkte GP-constructies vermijdt.
2. Inference in Gesloten Vorm: Afleiding van posterieure momenten in gesloten vorm (gemiddelde en variantie) voor het interventionele proces, wat hanteerbare training en inferentie mogelijk maakt zonder Monte Carlo-sampling van de posterieur.
3. Consistentie met Punt-schatters: Het posterieure gemiddelde herstelt exact de kernel causale schatter van Singh et al. (2024), waardoor de UQ gecentreerd is op een state-of-the-art punt-schatting.
4. Kalibratieprocedure: Een praktisch algoritme voor posterieure dekkingkalibratie via spectrale maat-afstemming, wat de betrouwbaarheid van de betrouwbaarheidsintervallen verbetert.
5. Empirische Validatie: Demonstratie van verbeterde onzekerheidskwantificatie over synthetische benchmarks, causale Bayesiaanse optimalisatie-taken en een grootschalige real-world dataset (401(k)), terwijl een concurrerende prestatie in effect-schatting behouden blijft.

Experimentele Resultaten

De auteurs evalueren IMPSPEC tegen verschillende baselines, waaronder BayesIMP, Sampling GPs, Orthogonal Random Forests (ORF) en doubly robust estimators.

• Toy Example: IMPSPEC behaalde de laagste Root Mean Squared Error (RMSE) en kalibratiefout. Opvallend genoeg vertoonde BayesIMP systematisch onderfitting van de causale functie, wat wordt toegeschreven aan de niet-stationariteit van de kernelconstructie.
• Synthetische Benchmark: IMPSpec presteerde beter dan alle methoden in RMSE, kalibratiefout en interval score. Cruciaal is dat, in tegenstelling tot BayesIMP, IMPSPEC geen last had van variantie-instorting buiten de ondersteuning van de trainingsdata, waardoor betrouwbare onzekerheidsschattingen in out-of-distribution regio's behouden bleven.
• Causale Bayesiaanse Optimalisatie (CBO): In taken gericht op het vinden van optimale interventies, convergeerde IMPSPEC het snelst en behaalde het de laagste cumulatieve regret. In één geval was het de enige methode die het benaderde optimum binnen de iteratiegrens vond, wat het nut van de onzekerheidsschattingen voor besluitvorming benadrukt.
• Real-World Data (401(k)): Toegepast op een dataset van 9.915 observaties, produceerde IMPSPEC plausibele, onzekerheid-bewuste schattingen van de inkomensafhankelijke CATE van 401(k)-gerechtigdheid op financiële activa. De methode bewees computationele haalbaarheid, waarbij deze ongeveer één minuut draaide op een GPU met beheersbaar geheugengebruik.

Betekenis en Claims

Het artikel claimt dat IMPSPEC een hanteerbare en betrouwbare oplossing biedt voor onzekerheidskwantificatie in causale inferentie waar de target een functie is in plaats van een scalar. Door de kloof te overbruggen tussen niet-parametrische kernel-schatters en Gaussische processen, biedt de methode:

• Robuustheid: Vermijden van variantie-instorting en onderfitting die worden gezien bij eerdere RKHS-beperkte GP-constructies.
• Praktische Bruikbaarheid: Inferentie in gesloten vorm en efficiënte hyperparameter-tuning geschikt voor grootschalige datasets.
• Betrouwbaarheid: Verbeterde kalibratie van de betrouwbaarheidsintervallen, wat essentieel is voor besluitvorming met hoge inzet waar overmoed gevaarlijk kan zijn.

De auteurs benadrukken dat hoewel de methode de UQ verbetert, de betrouwbaarheid in situaties met een hoog risico uiteindelijk afhangt van de geschiktheid van de onderliggende identificatie-aannames (bijv. de geldigheid van de causale graaf) en de kwaliteit van de kalibratieprocedure. Ze positioneren IMPSPEC als een instrument dat gebruikt kan worden naast domeinexpertise en sensitiviteitsanalyse.