Untangling Sample and Population Level Estimands in Bayesian Causal Inference

De Grote Verwarring: Waarom "Stekje" en "Hele Bos" Niet Zelfde Zaken zijn in Causale Analyse

Stel je voor dat je een tuinier bent. Je hebt een stukje land (je steekproef) met 50 bloemen. Je wilt weten of een nieuwe meststof (de behandeling) de bloemen groter maakt.

Dit klinkt simpel, maar in de wereld van de statistiek en data-analyse maken mensen een enorme fout. Ze verwarren wat er gebeurt met deze specifieke 50 bloemen met wat er gebeurt in het hele bos waar deze bloemen vandaan komen.

Deze paper, geschreven door Arman Oganisian, is een waarschuwing en een handleiding om die verwarring op te lossen. Hij gebruikt een ingewikkeld wiskundig raamwerk (Bayesiaanse causale inferentie), maar de boodschap is heel simpel: Weet precies wat je meet, anders krijg je het verkeerde antwoord.

Hier is de uitleg in alledaags Nederlands, met wat creatieve metaforen.

1. Het Verschil: De "Stekje" vs. Het "Hele Bos"

De schrijver maakt een cruciaal onderscheid tussen twee soorten vragen die je kunt stellen:

• Vraag A (Stekje-niveau / Sample-level): "Hoeveel groter is deze specifieke bloem (die we nu hebben) geworden door de meststof?"
  • Dit is als kijken naar één persoon in je dataset. Je vraagt: "Wat zou deze persoon hebben gedaan als hij de andere pil had genomen?"
  • Het probleem: Je kunt dit niet direct meten. Je ziet alleen wat er gebeurt als hij pil A neemt. Wat er gebeurt met pil B is een "fantasie-wereld" (een contrafeit). Om dit te berekenen, moet je een heel gedurfd, onbewijsbaar veronderstelling maken over hoe die twee werelden met elkaar verbonden zijn.
• Vraag B (Bos-niveau / Population-level): "Hoeveel groter wordt de gemiddelde bloem in het hele bos als we allemaal meststof gebruiken?"
  • Dit is als kijken naar de hele bevolking. Je vraagt: "Wat is het gemiddelde effect?"
  • Het voordeel: Je hoeft niet te weten wat elke specifieke bloem zou doen. Je hoeft alleen te weten hoe de meststof werkt in het algemeen. Je kunt dit vaak berekenen zonder die gedurfde "fantasie-wereld" veronderstellingen.

De Metafoor:
Stel je voor dat je een voorspelling doet voor een voetbalwedstrijd.

• Stekje-niveau: Je probeert te voorspellen of exact deze speler (die nu geblesseerd is) had gewonnen als hij niet geblesseerd was. Dat is een enorme gok over een alternatieve realiteit.
• Bos-niveau: Je vraagt: "Als we een team van 11 willekeurige spelers nemen, wie wint dan gemiddeld?" Dat is veel makkelijker te berekenen en minder afhankelijk van speculatie over één specifieke speler.

2. De Valkuil: De "Fantasie-Wereld" (Cross-World Assumptions)

Dit is het meest technische, maar ook het belangrijkste deel van de paper.

Om te weten wat er met deze specifieke bloem zou zijn gebeurd met een andere behandeling, moet je aannemen dat de twee mogelijke werelden (met pil A en met pil B) niet met elkaar interfereerden. De schrijver noemt dit "cross-world assumptions".

• De analogie: Stel je voor dat je een spiegelbeeld van jezelf hebt. Je vraagt: "Als ik in het spiegelbeeld links had gedraaid, zou ik dan nog steeds naar rechts hebben gekeken?"
  • Voor een gemiddelde (het bos) maakt het niet uit of de spiegelbeelden met elkaar praten. Je telt gewoon alle resultaten op.
  • Voor een individueel geval (het stekje) moet je aannemen dat de spiegelbeeld-versie van jou niet beïnvloed wordt door wat jij in de echte wereld doet. Dat is een heel sterke, onbewijsbare aanname.

De paper waarschuwt: Veel mensen gebruiken software (zoals Stan) om een antwoord te geven op de "gemiddelde" vraag (het bos), maar ze gebruiken de berekeningsmethode voor de "individuele" vraag (het stekje). Ze imputeren (vullen in) wat de spiegelbeeld-bloem zou doen, en rekenen daar het gemiddelde van.
Resultaat: Je krijgt een antwoord dat eruitziet als een gemiddelde, maar met de verkeerde onzekerheid. Je denkt dat je zekerder bent dan je bent, of je trekt de verkeerde conclusie.

3. De "G-Formule" en de Verkeerde Weg

De schrijver bespreekt een populaire methode (de G-formule van Keil et al.) die vaak wordt gebruikt. Hij zegt dat deze methode in de praktijk vaak de verkeerde weg inslaat.

• De vergelijking: Het is alsof je een recept voor een taart (het gemiddelde effect) wilt maken, maar je gebruikt de ingrediënten die je al in de koelkast hebt (je steekproef) en doet alsof dat het hele bos is.
• De methode van Keil et al. neemt de bestaande bloemen, wisselt ze om in hun fantasie-versie, en rekent het gemiddelde uit. Maar omdat ze de "fantasie" te strak koppelen aan de echte bloemen, vergeten ze dat het echte bos misschien andere bloemen heeft die je niet in je steekproef hebt.
• De schrijver zegt: "Stop met het verwarren van de twee. Als je het gemiddelde wilt, gebruik dan de statistiek voor het gemiddelde. Als je het individuele geval wilt, wees dan eerlijk dat je een enorme gok maakt over de fantasie-wereld."

4. Waarom is dit belangrijk? (De "Onzekerheid")

Het grootste gevaar is onzekerheid.

• Als je vraagt naar het gemiddelde effect (het bos), is je antwoord vaak vrij zeker. De variatie tussen bloemen middelt zich uit.
• Als je vraagt naar het individuele effect (het stekje), is je antwoord vaak heel onzeker. Misschien groeit deze bloem enorm, misschien helemaal niet.

Als je per ongeluk de onzekerheid van het "stekje" (groot) gebruikt voor het antwoord op het "bos" (klein), denk je dat je antwoord veel onzekerder is dan het eigenlijk is. Of andersom: je denkt dat je een heel precies gemiddelde hebt, terwijl je eigenlijk een gok doet over één persoon.

5. De Gouden Regel: Eerlijkheid en Eerstprincipes

De schrijver concludeert met een simpele raad voor iedereen die met data werkt:

1. Bepaal eerst je vraag: Wil je weten wat er met deze specifieke groep mensen gebeurt (bijvoorbeeld: "Wat is het effect op de patiënten in dit ziekenhuis?")? Of wil je weten wat er met de hele wereld gebeurt (bijvoorbeeld: "Wat is het effect als we dit medicijn aan iedereen geven?")?
2. Kies de juiste wiskunde:
   • Wil je het gemiddelde? Gebruik methoden die de onbekende "fantasie-wereld" weglaten en zich richten op de verdeling van de data.
   • Wil je het individuele? Wees dan eerlijk dat je een onbewijsbare aanname moet maken over hoe de twee werelden met elkaar verbonden zijn.
3. Gebruik de software goed: Veel softwarepakketten (zoals Stan) zijn krachtig, maar ze doen precies wat je zegt. Als je ze vraagt om "fantasie-bloemen" in te vullen en die dan te middelen, krijg je een antwoord dat technisch correct is voor de verkeerde vraag.

Samenvattend:
Deze paper is een waarschuwing tegen "slordig rekenen" in de wetenschap. Het zegt: "Denk na over wat je eigenlijk wilt weten. Is het een vraag over één persoon of over de massa? Gebruik de juiste bril om naar je data te kijken. Als je die twee verwart, maak je een fout die niet alleen technisch is, maar ook je conclusies volledig kan verdraaien."

Het is alsof je een kaart van een stad tekent. Als je per ongeluk de wegen tekent die alleen voor jou gelden (je route naar het werk), en je presenteert die als de wegen voor iedereen, dan verdwalen de mensen die je kaart gebruiken. De schrijver zegt: "Teken de kaart voor de stad, niet voor jouzelf, tenzij je echt alleen voor jezelf wilt reizen."