Instrumental and Proximal Causal Inference with Gaussian Processes

Dit paper introduceert een Deconditional Gaussian Process-framework dat betrouwbare epistemische onzekerheidskwantificering mogelijk maakt voor instrumentele en proximale causale inferentie bij niet-geobserveerde verstorende factoren, terwijl het tegelijkertijd hoge voorspellingsnauwkeurigheid en systematische modelselectie garandeert.

De kern

Stel je voor dat je een detective bent die probeert uit te vinden of een bepaald medicijn (de behandeling) echt helpt tegen een ziekte (het resultaat). Je hebt een hoop patiëntgegevens, maar er is een groot probleem: er zijn verborgen factoren, zoals de levensstijl of genetische aanleg van de patiënt, die je niet kunt meten. Deze verborgen factoren beïnvloeden zowel of iemand het medicijn krijgt als of ze genezen.

In de statistische wereld noemen we dit verwarring (confounding). Als je dit negeert, trek je de verkeerde conclusies. Het lijkt alsof het medicijn werkt, terwijl het eigenlijk de levensstijl was die hielp.

Dit artikel introduceert een slimme nieuwe manier om deze detective-werk te doen, zelfs als je die verborgen factoren niet ziet. Ze gebruiken twee oude, vertrouwde gereedschappen uit de statistiek, maar geven ze een moderne, "zekerheidsbewuste" upgrade.

Hier is de uitleg in simpele taal:

1. De Twee Gereedschappen: De "Instrument" en de "Proxy"

De auteurs gebruiken twee methoden om de verborgen factoren te omzeilen:

• Het Instrument (IV): Stel je voor dat je wilt weten of een medicijn werkt, maar je ziet niet of mensen gezond leven. Je gebruikt echter een instrument: een loterij. Mensen die een prijs winnen, krijgen gratis toegang tot het medicijn. Of ze nu gezond leven of niet, de loterij is willekeurig. Omdat de loterij niets te maken heeft met hun levensstijl, kun je via de loterij zien wat het echte effect van het medicijn is.
• De Proxy (Proxy): Soms heb je geen loterij. Dan gebruik je proxies (tussenpersonen). Stel je voor dat je de echte levensstijl niet kent, maar je hebt wel een dagboek (een proxy voor de behandeling) en een gezondheidsverslag van een vriend (een proxy voor het resultaat). Als deze twee goed samenwerken, kunnen ze je vertellen wat de verborgen levensstijl waarschijnlijk was, zodat je de echte oorzaak kunt vinden.

2. Het Probleem: "Ik denk dat het werkt, maar hoe zeker ben ik?"

Tot nu toe konden deze methoden wel een antwoord geven (bijvoorbeeld: "Het medicijn verlaagt de bloeddruk met 10 punten"), maar ze konden niet goed zeggen: "Hoe zeker zijn we hierover?"

Stel je voor dat een weersvoorspeller zegt: "Morgen regent het." Maar hij zegt niet of het een lichte motregen is of een orkaan. Als je een paraplu moet meenemen voor een belangrijke vergadering, wil je weten hoe zeker die voorspelling is. In de medische wereld is dit levensbelangrijk: wil je een risicovolle operatie doen als de zekerheid laag is?

De oude methoden waren als een weerman die alleen de temperatuur noemt, maar nooit de onzekerheid.

3. De Oplossing: De "Gauwse Proces-Detective"

De auteurs bouwen een nieuw systeem op basis van Gaussian Processes (GP). Je kunt dit zien als een super-intelligente, flexibele detective die niet alleen een antwoord geeft, maar ook een zekerheidsmarge tekent.

• De "Gauwse" detective: Deze detective tekent niet één lijn door de data, maar een hele wolk van mogelijke lijnen. De dikte van die wolk vertelt je hoe zeker ze is.
  • Dikke wolk: "Ik weet het niet zeker, er zijn te veel verborgen factoren."
  • Dunne wolk: "Ik ben er vrij zeker van, de data sluit goed aan."
• De "Deconditioning" truc: Dit is de technische kern. Stel je voor dat je een foto hebt die erg wazig is door een raam (de verborgen factoren). De oude methoden probeerden de foto te scherpen door te gissen. De nieuwe methode gebruikt een wiskundige "spiegel" (een deconditioning operator) om de wazigheid van het raam te verwijderen en de echte foto te reconstrueren.

4. Waarom is dit zo belangrijk?

Deze nieuwe methode (die ze GPIV en GPProxy noemen) heeft drie grote voordelen:

1. Betrouwbare zekerheid: Ze kunnen niet alleen zeggen wat het effect is, maar ook hoe zeker ze zijn. Dit helpt artsen en beleidsmakers om betere beslissingen te nemen. Als de zekerheid te laag is, kunnen ze zeggen: "We weten het nog niet genoeg, we moeten meer onderzoek doen" in plaats van een slechte beslissing te nemen.
2. Slimmer leren: Omdat het systeem weet waar het onzeker is, kan het zelf beslissen welke nieuwe data het nodig heeft om slimmer te worden. Het is als een student die weet welke onderwerpen hij niet kent en daar extra tijd aan besteedt.
3. Geen gissen meer: Oude methoden hadden vaak veel handmatige instellingen nodig (zoals het kiezen van de juiste "lengte" van een meetlat). Dit nieuwe systeem zoekt die instellingen automatisch en wetenschappelijk correct uit, waardoor het resultaat veel nauwkeuriger is.

Samenvatting in één zin

Dit artikel introduceert een slimme, moderne detective die niet alleen het verband tussen oorzaak en gevolg ontmaskert, zelfs als er verborgen daders zijn, maar die ook eerlijk toegeeft: "Ik weet het niet met 100% zekerheid," en precies aangeeft waar die twijfel zit.

Dit maakt het mogelijk om in de echte wereld (zoals in ziekenhuizen of bij overheidsbeleid) veiliger en slimmer te beslissen, gebaseerd op data die anders te rommelig zou zijn om te gebruiken.

Technische samenvatting

Titel: Instrumentele en Proximale Causale Inferentie met Gaussian Processes

Auteurs: Yuqi Zhang, Krikamol Muandet, Dino Sejdinovic, Edwin Fong, en Siu Lun Chau.
Datum: 3 maart 2026 (voorgesteld)

---

1. Het Probleem

Het schatten van causale effecten uit observationele data is fundamenteel voor besluitvorming in vele domeinen. Een groot obstakel is de aanwezigheid van niet-geobserveerde verstorende variabelen (unobserved confounders). Deze kunnen standaard schatters vertekenen en de geldigheid van causale conclusies ondermijnen.

Twee veelgebruikte raamwerken om dit aan te pakken zijn:

1. Instrumentele Variabelen (IV): Gebruikt een instrument $Z$ dat de behandeling $X$ beïnvloedt maar niet direct het resultaat $Y$, om de causale relatie te identificeren.
2. Proximale Causale Leer (Proxy): Gebruikt een behandelingsproxy $Z$ en een uitkomstproxy $W$ die informatie bevatten over de niet-geobserveerde verstorende variabele $U$.

Hoewel er aanzienlijke methodologische vooruitgang is geboekt (bijvoorbeeld met kernel-methoden zoals KIV en KNC), missen bestaande benaderingen vaak een betrouwbare kwantificering van epistemische onzekerheid (EU). Bestaande methoden focussen voornamelijk op punt-schattingen. Onzekerheidsschattingen zijn vaak heuristisch (bijv. via bootstrapping), gebrek aan een coherente probabilistische interpretatie, of vereisen zware computationele middelen en sterke parametrische aannames. Dit maakt het moeilijk om risico's in te schatten of beslissingen te nemen op basis van de betrouwbaarheid van de schattingen.

2. Methodologie: Deconditional Gaussian Process (DGP)

De auteurs stellen een unificerend Bayesiaans niet-parametrisch raamwerk voor op basis van Gaussian Processes (GP) voor zowel IV- als Proxy-scenario's.

Kernconcepten:

• Fredholm Integralvergelijkingen: Zowel IV als Proxy-problemen kunnen worden geformuleerd als het oplossen van een Fredholm integralvergelijking van de eerste soort om de structurele functie $f$ (het gemiddelde causale effect) te vinden.
• Deconditionering: Het artikel maakt gebruik van de theorie van deconditional kernel embeddings (DME). Deze fungeren als pseudo-inversen van operators voor conditionele verwachtingen.
• GP-Formulering:
  • Er wordt een GP-prior $GP(0, k)$ geplaatst op de onbekende structurele functie $f$.
  • Voor IV wordt een additief ruismodel gebruikt waarbij de observaties $y$ afhankelijk zijn van de conditionele verwachting $E[f(X)|Z]$.
  • Voor Proxy wordt eerst een "bridge function" $h$ geschat via een vergelijkbaar proces, waarna $f$ wordt verkregen door te marginaliseren over de proxy $W$.
• Posterior Distributie: Door de lineaire aard van de integralen en de eigenschappen van GPs, blijft de posterior van $f$ gegeven de data een Gaussian Process. Dit resulteert in gesloten-formule uitdrukkingen voor de posterior mean (de schatting) en de posterior variance (de onzekerheid).

Belangrijke Eigenschappen:

1. Herstel van Frequentistische Schatters: De posterior mean van de voorgestelde methoden (GPIV en GPProxy) is wiskundig equivalent aan bestaande, populaire frequentistische kernel-schatters (respectievelijk Kernel IV en Kernel Negative Control). Dit garandeert dat de methoden de sterke asymptotische eigenschappen van deze bestaande methoden erven.
2. Principiële Onzekerheid: In tegenstelling tot bootstrapping, levert de posterior variance een principieel en goed gekalibreerd maatstaf voor epistemische onzekerheid op.
3. Modelselectie: Het Bayesiaanse raamwerk maakt modelselectie mogelijk via optimalisatie van de marginal log-likelihood. Dit elimineert de noodzaak voor ad-hoc data-splitsing (zoals vaak nodig is bij tweestaps-regressie) en handmatige hyperparameter-tuning via cross-validatie.

3. Belangrijkste Bijdragen

• Unificatie: Een enkel GP-raamwerk voor zowel IV als Proxy-inferentie onder niet-geobserveerde verstoring.
• Theoretische Connectie: Het aantonen dat de posterior mean van dit Bayesiaanse model exact overeenkomt met de schatters van KIV en KNC, maar nu met toegevoegde onzekerheidskwantificering.
• Efficiënte Onzekerheid: Het bieden van een manier om onzekerheid te kwantificeren zonder de zware computationele last van MCMC (Markov Chain Monte Carlo) of de beperkingen van heuristische bootstrapping.
• Geavanceerde Evaluatie: Het introduceren van Accuracy-Rejection Curves (ARC) en $\delta$-ARC om de bruikbaarheid van de onzekerheidsschattingen te testen voor selectieve inferentie (het afwijzen van voorspellingen met hoge onzekerheid).

4. Resultaten

De auteurs evalueren hun methoden (GPIV en GPProxy) op synthetische data en realistische "airline demand" datasets, vergeleken met state-of-the-art baselines (zoals KIV, MMRIV, QBIV, KNC, etc.).

• Voorspellende Prestaties: GPIV en GPProxy bereiken consistent de laagste of op één na laagste Mean Squared Error (MSE) in vergelijking met bestaande methoden. Dit wordt toegeschreven aan het vermogen om de volledige dataset te gebruiken voor modelselectie via marginal likelihood, in plaats van data te splitsen.
• Onzekerheidskwaliteit:
  • Coverage: De voorgestelde methoden leveren betrouwbaardere 95% betrouwbaarheidsintervallen op dan bootstrapped versies of QBIV, die vaak te optimistisch (te smalle intervallen) zijn.
  • Selectieve Inferentie (ARC): De onzekerheidsschattingen zijn zeer informatief. Wanneer het model voorspellingen met de hoogste variantie verwijdert (afwijst), verbetert de nauwkeurigheid op de resterende data monotoon. Dit bevestigt dat de onzekerheid de echte "twijfel" van het model weerspiegelt.
• Hyperparameter Sensitiviteit: De studie toont aan dat het optimaliseren van alle hyperparameters via marginal likelihood superieur is aan het gebruik van heuristieken (zoals de mediaan-richtlijn) en cross-validatie, vooral bij kleinere datasets.

5. Betekenis en Conclusie

Dit werk biedt een geïntegreerde, praktische oplossing voor causale inferentie in aanwezigheid van niet-geobserveerde verstoring. Door de kracht van Gaussian Processes te combineren met de theorie van deconditionering, overbrugt het de kloof tussen sterke frequentistische schatters en robuuste Bayesiaanse onzekerheidskwantificering.

Implicaties:

• Betrouwbaarheid: Het maakt causale inferentie veiliger voor toepassing in kritieke domeinen (zoals gezondheidszorg of beleid) door expliciet te communiceren wanneer een schatting onzeker is.
• Besluitvorming: Het stelt onderzoekers en practitioners in staat om "risk-aware" beslissingen te nemen, bijvoorbeeld door interventies alleen toe te passen waar de causale schatting betrouwbaar is.
• Toekomstige Toepassingen: De methode vormt een basis voor geavanceerde taken zoals causale datafusie, actief leren voor causale schattingen, en het vinden van optimale behandelingen.

Kortom, het artikel transformeert bestaande kernel-methoden voor causale inferentie naar een volledig probabilistisch raamwerk dat zowel nauwkeurig als betrouwbaar is in zijn onzekerheidsschattingen.