Causal generalized linear models via Pearson risk invariance

Dit paper introduceert een methode voor het identificeren van causale generalized linear models via Pearson-risicoinvariantie, die zelfs met data uit één omgeving mogelijk is en geïmplementeerd is in het R-pakket causalreg.

De kern

Causaal zoeken zonder veel data: Een nieuwe manier om de waarheid te vinden

Stel je voor dat je een detective bent die probeert uit te zoeken wie de dader is in een complex misdrijf. Vaak kijken we naar patronen: "Als het regent, wordt de straat nat." Maar dat betekent niet dat de regen de oorzaak is van de natte straat in de zin dat je de regen kunt stoppen om de straat droog te houden (misschien is er een lekkende kraan). In de echte wereld willen we vaak weten: Wat is de echte oorzaak? Als we dat weten, kunnen we betere beslissingen nemen, bijvoorbeeld in de gezondheidszorg of bij het besturen van een zelfrijdende auto.

Deze paper introduceert een slimme nieuwe methode om die oorzaken te vinden, zelfs als je maar één set gegevens hebt. Dat is een groot vooruitgang, want meestal heb je data nodig uit heel verschillende situaties (zoals verschillende landen of tijden) om de waarheid te vinden.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het probleem: De "Valse Vrienden"

Stel je voor dat je probeert uit te vinden wat een plant doet. Je ziet dat als je de plant water geeft, hij bloeit. Maar je ziet ook dat als de zon schijnt, de plant bloeit.

• De oude methode: Kijk naar alle data die je hebt. Als je maar één dag hebt, is het lastig om te weten of de zon of het water de echte oorzaak is. Vaak hebben onderzoekers data nodig van 100 verschillende dagen met verschillende weeromstandigheden om het verschil te zien.
• Het probleem: Soms heb je die 100 dagen niet. Misschien heb je maar één experiment of één dataset.

2. De nieuwe oplossing: De "Onveranderlijke Balans"

De auteurs (Alice, Veronica en Ernst) hebben een slimme truc bedacht die werkt met een concept dat ze de "Pearson-risico" noemen. Laten we dit vergelijken met een weegschaal.

Stel je voor dat je een perfecte weegschaal hebt die altijd in evenwicht is als je de juiste ingrediënten gebruikt.

• Als je de echte oorzaak (bijvoorbeeld de zon) gebruikt om een voorspelling te maken, blijft de weegschaal perfect in evenwicht, ongeacht hoe je de andere variabelen (zoals de wind of de luchtvochtigheid) verandert. De "fout" op de weegschaal is precies wat je zou verwachten: niet te groot, niet te klein.
• Als je een valse oorzaak gebruikt (bijvoorbeeld een vlag die wappert als de wind waait, maar die de plant niet beïnvloedt), dan zal de weegschaal uit balans raken als je de omstandigheden verandert. De fout wordt te groot of te klein.

De kern van hun methode is: Zoek het model dat de weegschaal perfect in evenwicht houdt.

3. De twee geheimen van de detective

Om de echte dader te vinden, gebruiken ze twee regels:

1. De Beste Voorspeller: Het model moet de data zo goed mogelijk voorspellen (zoals een detective die de beste theorie heeft).
2. De Onveranderlijke Balans: Het model moet zo stabiel zijn dat de "fout" (de afwijking van de voorspelling) precies hetzelfde blijft, zelfs als de wereld om je heen verandert.

Als een model aan beide regels voldoet, is het bijna zeker de echte oorzaak.

4. Waarom is dit zo speciaal? (De "Magische" Eigenschap)

Bij de meeste oude methoden moest je data hebben uit verschillende werelden (bijvoorbeeld: data uit een droog jaar én een nat jaar) om te zien welk model stabiel bleef.

Deze nieuwe methode heeft een magische eigenschap voor bepaalde soorten data (zoals tellingen van dingen, zoals het aantal kinderen, of ja/nee vragen, zoals "is de patiënt genezen?").

• Voor deze soorten data weten we van tevoren hoe de "weegschaal" eruit moet zien.
• Het gevolg: Je hebt niet meer data uit verschillende werelden nodig! Je kunt de echte oorzaak vinden met één enkele dataset. Dat is als een detective die de dader vindt op basis van één foto, terwijl anderen dachten dat ze 100 foto's nodig hadden.

5. Hoe vinden ze het? (De Slimme Zoektocht)

Stel je voor dat je 100 mogelijke verdachten hebt. Je kunt niet iedereen één voor één ondervragen; dat duurt te lang.

• De oude manier: Probeer elke mogelijke combinatie van verdachten (dit is als een computer die miljarden combinaties uitrekent).
• De nieuwe manier (Stap-voor-stap): Begin met niemand. Voeg één verdachte toe. Werkt het? Ja? Voeg er nog één toe. Werkt het niet? Haal hem weer weg.
  • Ze gebruiken een slim algoritme dat stap voor stap de beste combinatie bouwt, net als het opbouwen van een legpuzzel, maar dan heel snel.

6. Wat hebben ze bewezen?

Ze hebben hun methode getest in drie situaties:

1. Simulaties: Ze maakten nep-data aan met computers. Hun methode vond de juiste oorzaken veel vaker dan de oude methoden (zoals de PC-algoritme).
2. Een lichtexperiment: Ze keken naar data van een lichttunnel. Ze konden precies voorspellen welke knoppen en lampen de lichtintensiteit bepaalden.
3. Echte wereld:
   • Vruchtbaarheid: Ze keken naar data van vrouwen in de VS. Ze vonden dat opleiding, leeftijd en ras echte oorzaken zijn van het aantal kinderen, en ze zagen precies hoe deze factoren het beïnvloedden (bijvoorbeeld: meer opleiding leidt tot minder kinderen, maar niet op een rechte lijn, maar in een kromme lijn).
   • Inkomen: Ze keken naar wie veel geld verdient. Ze vonden dat leeftijd, opleiding en het beroep (bijvoorbeeld witte kraan vs. blauwe kraan) de echte oorzaken zijn.

Samenvatting

Dit paper is als het vinden van een nieuwe kompasnaald voor onderzoekers.

• Vroeger: "We hebben data uit 100 verschillende landen nodig om te weten wat de oorzaak is."
• Nu: "Met deze nieuwe 'weegschaal-methode' kunnen we de oorzaak vinden met data uit slechts één land, zolang het maar gaat over tellingen of ja/nee-vragen."

Het maakt het mogelijk om sneller en betrouwbaarder causale verbanden te vinden in de gezondheidszorg, economie en sociale wetenschappen, zonder dat we eindeloos moeten wachten op meer data.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Causal generalized linear models via Pearson risk invariance" in het Nederlands.

Titel: Causale gegeneraliseerde lineaire modellen via Pearson-risico-invariantie

1. Het Probleem

Causale inferentie richt zich op het vaststellen van causale relaties tussen variabelen, wat essentieel is voor generalisatie buiten de trainingsverdeling (out-of-distribution generalization) en voor het nemen van robuuste beslissingen in domeinen zoals gezondheidszorg en autonome voertuigen.

Bestaande methoden voor causale ontdekking, zoals Invariant Causal Prediction (ICP) van Peters et al. (2016), maken gebruik van het principe van causale invariantie: de conditionele verdeling van een doelvariabele gegeven haar directe oorzaken blijft stabiel onder interventies op andere variabelen. Echter, deze methoden hebben een groot nadeel:

• Ze vereisen data uit meerdere, voldoende verschillende omgevingen (environments) om invariantie te kunnen testen. Dergelijke data is in de praktijk zelden beschikbaar.
• Ze zijn voornamelijk ontwikkeld voor lineaire structurele vergelijkingen met Gaussische fouten.
• Voor niet-lineaire modellen of andere verdelingen (zoals tellingsdata of binaire uitkomsten) zijn de bestaande methoden vaak beperkt of vereisen ze instrumentele variabelen die niet altijd bekend zijn.

Het doel van dit artikel is een nieuwe methode te ontwikkelen voor causale ontdekking die werkt met generalized linear models (GLM) en, in belangrijke gevallen, data uit slechts één omgeving vereist.

2. Methodologie

De auteurs stellen een modelgebaseerde aanpak voor waarbij de doelvariabele $Y$ wordt beschreven door een gegeneraliseerd lineair model (GLM) conditioneel op haar causale ouders, behorend tot de exponentiële dispersiefamilie (EDF).

Kernconcepten:

• Structuur: $Y | X_{PA} \sim EDF(b(f_{PA}(x_{PA})), a(\phi))$, waarbij $X_{PA}$ de causale ouders zijn en $f_{PA}$ een mogelijke niet-lineaire functie (bijv. via additieve modellen). Er worden geen aannames gemaakt over de verdeling van de andere variabelen in het systeem.
• Twee karakteriserende eigenschappen: De auteurs bewijzen dat het ware causale model uniek wordt geïdentificeerd door twee eigenschappen:
  1. Maximalisatie van de verwachte likelihood: Het causale model maximaliseert de verwachte log-likelihood van de data.
  2. Invariantie van het Pearson-risico: Het verwachte Pearson-risico (de kwadratische Pearson-residuen genormaliseerd door de conditionele variantie) is gelijk aan de dispersieparameter $a(\phi)$ onder het ware causale model.
     $$\mathbb{E}_{X,Y} \left[ \frac{(Y - \dot{b}(f_{PA}(X)))^2}{\ddot{b}(f_{PA}(X))} \right] = a(\phi)$$
     Dit risico is invariant onder veranderingen in de verdeling van de covariaten (interventies), zolang het ware causale model wordt gebruikt.

Algoritmen:
De auteurs presenteren drie algoritmen voor het zoeken naar het causale model:

1. Populatie-algoritme (Algoritme 1): Een theoretisch algoritme dat alle subsets van covariaten test op het maximaliseren van de likelihood en het bereiken van een "perfect gedispergeerd" Pearson-risico.
2. Empirisch algoritme (Algoritme 2): Een versie voor eindige steekproeven. Het gebruikt een gestructureerde maximum-likelihood schatter en test de null-hypothese dat het Pearson-risico gelijk is aan $a(\phi)$. Dit wordt gedaan via een statistische toets (vaak met bootstrapping).
3. Stapsgewijze zoekstrategie (Algoritme 3): Om de exponentiële complexiteit van het testen van alle $2^p$ modellen te vermijden, wordt een stapsgewijze zoektocht voorgesteld. Deze voegt variabelen toe zolang het Pearson-risico niet significant afwijkt van de verwachte waarde, en verwijdert vervolgens overbodige variabelen op basis van de Bayesian Information Criterion (BIC).

Unieke Identificeerbaarheid:
Een cruciaal inzicht is dat voor GLM's met een bekende dispersieparameter (zoals Poisson-regressie en logistische regressie, waar $a(\phi)=1$), het causale model uniek kan worden geïdentificeerd vanuit één enkele dataset. Dit is een doorbraak ten opzichte van eerdere methoden die meerdere omgevingen nodig hadden.

3. Belangrijkste Resultaten

Simulatiestudies:

• Poisson-regressie: In simulaties met een niet-lineair causaal mechanisme ($Y \sim \text{Poisson}(\exp(\sin(5X_2) + X_3^3))$) bleek dat het voorgestelde GLM-methode het ware causale model in 91% van de gevallen correct identificeerde bij een steekproefgrootte van $n=1000$.
• Vergelijking met PC-algoritme: De methode presteerde aanzienlijk beter dan het traditionele PC-algoritme (dat vaak faalt bij niet-Gaussische data of vereist transformaties die de causaliteit kunnen verstoren).
• Logistische regressie: Voor binaire uitkomsten werd eveneens hoge nauwkeurigheid aangetoond, waarbij de stapsgewijze zoektocht de rekenkracht aanzienlijk verlaagde zonder de nauwkeurigheid significant te schaden.
• Out-of-sample prestaties: De resultaten bevestigen dat modellen die het Pearson-risico invariant houden, betere generalisatieprestaties hebben onder covariaat-verschuivingen dan modellen die puur de likelihood op de observatie-data maximaliseren.

Empirische Toepassingen:

1. Gecontroleerd experiment (Light Tunnel): De methode werd toegepast op data van een lichttunnel-experiment. Hoewel de niet-lineariteit van het proces de volledige herkenning van alle ouders bemoeilijkte, slaagde de methode erin om de belangrijkste causale factoren (lichtkleur en zichtbare intensiteit) te identificeren, wat de bruikbaarheid in realistische settings aantoont.
2. Vruchtbaarheid (GSS data): Analyse van de General Social Survey (USA) om causale determinanten van het aantal kinderen te vinden. Het model identificeerde niet-lineaire effecten van leeftijd, opleidingsniveau en het jaar van studie, wat overeenkomt met eerdere literatuur maar nu met causale interpretatie.
3. Inkomen (Census data): Identificatie van oorzaken voor hoog inkomen (> $50k). Het model vond dat leeftijd, opleidingsniveau, huwelijkse status en beroep causale determinanten zijn, met specifieke niet-lineaire effecten (bijv. sterk stijgend inkomen in de vroege werkjaren).

4. Bijdragen en Significantie

• Single-Environment Identificatie: De belangrijkste bijdrage is dat voor GLM's met bekende dispersie (Poisson, Binomiaal/Logistisch) causale ontdekking mogelijk is met data uit één enkele omgeving. Dit maakt de methode toepasbaar op een veel breder scala aan datasets dan bestaande invariantie-methoden.
• Generalisatie naar niet-lineaire modellen: De methode is niet beperkt tot lineaire relaties; deze kan complexe, niet-lineaire relaties (via Generalized Additive Models) accommoderen zonder dat de theoretische garanties verloren gaan.
• Geen instrumentele variabelen nodig: In tegenstelling tot methoden zoals "Anchor Regression" of "Causal Dantzig", vereist deze aanpak geen kennis van instrumentele variabelen of shift-variabelen.
• Efficiëntie: De voorgestelde stapsgewijze zoekstrategie maakt de toepassing op systemen met veel variabelen computatie-efficiënt.
• Praktische Implementatie: De methode is geïmplementeerd in het R-pakket causalreg, wat de toepasbaarheid voor onderzoekers vergroot.

Conclusie:
Dit artikel biedt een robuust theoretisch raamwerk en een praktische algoritme voor causale ontdekking in de context van gegeneraliseerde lineaire modellen. Door in te spelen op de invariantie van het Pearson-risico, overwint het de beperkingen van eerdere methoden wat betreft de noodzaak van meerdere omgevingen en de beperking tot lineaire, Gaussische systemen. Dit opent de deur voor causale analyse in domeinen waar tellingsdata, binaire uitkomsten en niet-lineaire relaties centraal staan.