📊 statistics

Hypothesizing an effect size by considering individual variation

Dit paper presenteert een aanpak om een realistische hypothese voor het gemiddelde behandelingseffect te formuleren door eerst de verdeling van individuele effecten te beschouwen, geïllustreerd met voorbeelden uit de geneeskunde, economie en psychologie.

Oorspronkelijke auteurs: Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

Gepubliceerd 2026-04-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Hoe je een realistische gok maakt over het effect van een behandeling
(Een samenvatting van het artikel van Gelman en collega's)

Stel je voor dat je een nieuwe medicijn ontwikkelt, een nieuwe lesmethode bedenkt of een reclamecampagne lanceert. Je wilt weten: werkt dit? En zo ja, hoe goed werkt het?

In de wetenschap proberen onderzoekers vaak een getal te raden: "Onze behandeling zal de resultaten met 20% verbeteren." Dit getal is cruciaal om te bepalen hoeveel mensen je nodig hebt voor je experiment. Maar hier zit een groot probleem: onderzoekers gokken vaak te optimistisch. Ze denken dat het effect groot is, terwijl het in de echte wereld vaak veel kleiner is, of zelfs nul.

Dit artikel van Gelman en zijn team biedt een slimme oplossing. In plaats van te gokken naar één groot getal, moeten we eerst kijken naar de verscheidenheid tussen mensen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het probleem: De "Gok met een blinddoek"

Stel je voor dat je een visser bent. Je wilt weten of je nieuwe aas (de behandeling) vissen trekt.

De oude manier: Je kijkt naar andere vissers die zeggen: "Mijn aas trok enorme vissen!" en je denkt: "Super! Ik ga ook enorme vissen vangen." Je berekent dan hoeveel water je moet bevissen om die grote vangst te zien.
Het risico: Die andere vissers hebben misschien geluk gehad, of ze visten in een meer waar alleen grote vissen zwemmen. Als jij in een ander meer vist, of als de vissen niet zo hongerig zijn, mis je je doel. Je vangt niets, of je denkt dat je een grote vis hebt gevangen terwijl het een kleine was.

De auteurs zeggen: "Stop met gokken op één groot getal. Begin met nadenken over wie je vangt en hoe ze reageren."

2. De oplossing: De "Smaaktest" in plaats van de "Gemiddelde Maaltijd"

De kern van hun idee is: Behandelingseffecten zijn niet voor iedereen hetzelfde.

Stel je voor dat je een nieuwe, super-smaakvolle pizza introduceert.

De oude manier: Je vraagt aan een expert: "Hoeveel mensen vinden deze pizza lekker?" en hij zegt: "Gemiddeld 8/10." Je denkt dan dat iedereen hem 8/10 vindt.
De nieuwe manier (de methode van Gelman): Je denkt na over de individuen:
1. De zuivere nullen: Er zijn mensen die pizza niet eten (ze zijn allergisch, of ze zijn vegetariër). Voor hen is de smaak 0. Ze proeven niets.
2. De super-fans: Er zijn mensen die dol op pizza zijn. Voor hen is de smaak een 10.
3. De gemiddelden: De rest vindt het prima, een 6 of 7.
4. De haters: Sommige mensen vinden het misschien zelfs vies (een 2).

Als je nu het gemiddelde berekent, krijg je misschien een 5. Dat klinkt minder spannend dan de 8/10 van de expert, maar het is eerlijker.

3. De 4-stappenmethode: Hoe maak je die realistische gok?

De auteurs geven een stappenplan om van een optimistische droom naar een realistisch beeld te komen:

De ideale droom: Bedenk eerst: "Als het perfect werkt, hoe groot is het effect dan?" (Bijvoorbeeld: 100% van de mensen wordt genezen).
De realiteit check: Bedenk nu: "Wie wordt er niet geholpen?"
- Misschien nemen 50% van de mensen de pil niet in.
- Misschien werkt het medicijn niet voor mensen met een bepaalde ziekte.
- Misschien zijn sommige mensen al zo gezond dat ze niets nodig hebben.
De verdeling: Verdeel je groep mensen in bakjes:
- Bakje A: Mensen voor wie het werkt (groot effect).
- Bakje B: Mensen voor wie het werkt (klein effect).
- Bakje C: Mensen voor wie het niets doet (nul effect).
- Bakje D: Mensen voor wie het zelfs slecht werkt (negatief effect).
De berekening: Tel dit alles bij elkaar op. Het resultaat is je nieuwe, realistische schatting van het gemiddelde effect.

Het verrassende resultaat: Vaak blijkt dat het "gemiddelde" effect veel kleiner is dan je eerst dacht. Maar dat is goed! Het betekent dat je je experiment beter kunt plannen en niet teleurgesteld zult raken als het resultaat bescheiden is.

4. Waarom is dit belangrijk? (De "Replicatie Crisis")

In de wetenschap gebeuren er vaak dingen die later niet meer lukken als iemand anders het experiment herhaalt. Dit noemen ze de "replicatie crisis".

De oorzaak: Onderzoekers plannen hun experimenten vaak op basis van een te groot, te optimistisch getal. Ze denken: "Als ik 100 mensen neem, zie ik een groot effect."
De realiteit: Omdat het effect in de echte wereld verspreid is over veel mensen (en bij sommigen zelfs nul is), is het effect in hun kleine groepje vaak veel kleiner. Ze zien dan niets, of ze zien een "geluksresultaat" dat niet waar is.

Door eerst na te denken over de verscheidenheid (de bakjes met verschillende effecten), begrijpen onderzoekers dat ze misschien 1000 mensen nodig hebben in plaats van 100, om een klein maar echt effect te zien.

5. Een concreet voorbeeld uit de tekst

Stel, een arts denkt dat een nieuw medicijn de overlevingskans met 25% verbetert.

De optimistische gedachte: "Het werkt voor iedereen!"
De realistische gedachte (volgens de methode):
- 30% van de patiënten zou sowieso overleven (het medicijn doet hier niets).
- 45% zou sowieso sterven (het medicijn kan hier niets aan doen).
- Alleen de overige 25% wordt gered door het medicijn.
- Voor die 25% is het effect 100% (ze leven!), maar voor de rest is het 0%.
- Het gemiddelde effect: 25% van 25% = 6,25% (niet 25%!).

Als de arts zijn experiment plant op basis van 25%, zal hij waarschijnlijk falen. Als hij plant op basis van 6,25%, weet hij hoeveel mensen hij echt nodig heeft.

Conclusie: Van "Magie" naar "Rekenen"

De boodschap van dit artikel is simpel: Stop met zoeken naar de "magische gemiddelde" die voor iedereen geldt.

In plaats daarvan, denk na als een tuinman. Je weet niet dat elke plant precies even snel groeit. Sommige krijgen veel zon, sommige weinig. Sommige hebben de perfecte grond, andere niet. Als je wilt weten hoeveel oogst je krijgt, tel je niet één perfecte plant, maar kijk je naar de hele tuin met al zijn verschillen.

Door die verschillen te omarmen, maken we wetenschap eerlijker, betrouwbaarder en minder vol met teleurstellingen.

Titel: Het hypotheseren van een effectgrootte door individuele variatie te overwegen

Auteurs: Andrew Gelman, Amy Krefman, Lauren Kennedy, en Jessica Hullman
Datum: 7 april 2026 (voorgesteld)

1. Het Probleem: De Uitdaging bij het Hypotheseren van een Gemiddeld Causaal Effect

Het artikel identificeert een fundamenteel probleem in het ontwerp en de evaluatie van experimenten en observationele studies: de onrealistische manier waarop onderzoekers een gemiddelde treatment effect (ATE) hypotheseren. Dit is cruciaal voor:

Bayesiaanse inferentie: Het construeren van prior-verdelingen.
Frequentistische inferentie: Krachtanalyses (power calculations), likelihood-ratio-tests en het inschatten van Type II-, Type M- (grootte) en Type S- (teken) fouten.
Studieontwerp: Het bepalen van benodigde steekproefgroottes.

Bestaande aanpakken en hun tekortkomingen:

Meta-analyse/Literatuurstudie: Lijdt onder "garbage-in-garbage-out" door publicatiebias (selectie op statistische significantie).
Expert-elicitering: Experts zijn vaak bevooroordeeld door hun eigen hoop en de bestaande (bevooroordeelde) literatuur.
Conventionele effectgroottes (Cohen): De klassieke indeling in klein, gemiddeld en groot is in de moderne context van incrementele verbeteringen vaak te optimistisch.
Pilot-studies: Schattingen uit kleine pilot-studies zijn vaak te ruisig (noisy) om als basis te dienen voor krachtberekeningen in de hoofdstudie. Dit leidt vaak tot een drastische overschatting van de statistische power.
Cultuurprobleem ("Bayesian cringe"): Een algemene terughoudendheid om restrictieve aannames te maken, wat resulteert in te optimistische ontwerpen en overschattingen van effectgroottes.

Het artikel stelt dat het vasthouden aan het idee van één enkel, universeel "waar" effect leidt tot mislukte replicaties en slecht onderbouwde beleidsbeslissingen.

2. Methodologie: Van een Effectgrootte naar een Verdeling van Effectgroottes

De kern van de voorgestelde methode is het embedden van het probleem van het hypotheseren van één getal in een groter, maar beter hanteerbaar probleem: het hypotheseren van een verdeling van individuele treatment effects.

De voorgestelde strategie (Ankeren en Aanpassen):
In plaats van direct een getal te raden, moeten onderzoekers een model bouwen voor de variatie in effecten:

Hypothese van een plausibel effect: Begin met een schatting van het effect als de behandeling perfect werkt (gebaseerd op literatuur en vakinhoudelijke kennis). Noem dit $X$ .
Overweeg de reeks onder real-world condities: Bedenk dat niet iedereen reageert. Het effect varieert van 0 tot $X$ (of zelfs negatief in zeldzame gevallen).
Converteer naar een verdeling: Modelleer deze reeks als een verdeling. Bijvoorbeeld, een range van $(0, X)$ kan worden benaderd door een normale verdeling met een centrum bij $0,5X$ en een schaal van $0,5X$ .
Hypotheseer een proportie "pure nulls": Schat het percentage personen voor wie het effect exact nul is omdat de interventie niet activeert (bijv. patiënten die de pil niet slikken, studenten die niet luisteren).
- Standaardwaarde: 50% voor directe interventies (geneeskunde, sociale wetenschappen), 90% voor marketing.

De Formule:
De verwachte gemiddelde treatment effect (ATE) wordt berekend als:
$ATE \approx (1 - p_{null}) \cdot 0,5X$
Waarbij $X$ het plausibele effect is en $p_{null}$ het percentage null-effecten. Dit betekent dat voor directe interventies het ATE vaak slechts 25% is van het "ideale" effect, en voor indirecte interventies zelfs minder.

Formative Interviews:
De auteurs testten deze aanpak met drie onderzoekers. Ze vroegen hen niet direct om een gemiddelde, maar om de kenmerken van personen met het grootste en kleinste effect te beschrijven en de verdeling daarvan te schetsen. Dit proces dwong onderzoekers om na te denken over heterogeniteit en leidde vaak tot een realistischere (lagere) schatting van het ATE dan hun initiële intuïtie.

3. Belangrijkste Bijdragen en Resultaten

Het artikel illustreert de methode aan de hand van drie scenario's:

Medicine (Binaire uitkomsten):
- Voorbeeld: Een medicijn dat sterfte voorkomt.
- Analyse: In plaats van te denken aan een gemiddelde stijging van 25%, moet men denken aan subgroepen: mensen die toch overleven, mensen die toch sterven, en mensen die gered worden.
- Resultaat: Als 60% van de steekproef mensen bevat die toch overleven (type 1) en 20% mensen die toch sterven (type 3), dan is het effectief behandelbare percentage slechts 20%. Een "25% effect" in een gecontroleerde trial kan in een representatieve populatie neerkomen op een veel kleiner effect, of zelfs een schijnbaar groot effect dat puur gebaseerd is op een selectie van "reddbare" patiënten.
Politieke Wetenschappen (Numerieke data):
- Voorbeeld: Het effect van het kennen van een persoon uit een bepaalde groep op politieke attitudes.
- Analyse: Veel mensen staan al op de uitersten van de schaal (1 of 5) en kunnen niet verschuiven.
- Resultaat: Door de populatie te segmenteren (diegenen die al vastberaden zijn vs. diegenen die openstaan voor verandering) en binnen de open groep de richting van de verandering te modelleren, blijkt dat de verwachte effectgrootte vaak zeer klein is (bijv. 0,1 op een schaal van 1-5), wat de moeilijkheid verklaart om significante effecten te vinden zonder enorme steekproeven.
Kritische Evaluatie van Bestaande Resultaten:
- Voorbeeld 1: Een vroege kinderjaren-interventie die een toename van 42% in volwassen inkomsten claimt. De auteurs betogen dat dit onrealistisch is als gemiddelde, omdat het zou impliceren dat sommige mensen 100%+ meer verdienen terwijl anderen niets veranderen. Een dergelijk extreem gemiddelde suggereert een enorme overschatting of selectiebias.
- Voorbeeld 2: Een studie over vrouwen die roze dragen tijdens hun cyclus (3x zo vaak). De auteurs tonen aan dat als veel vrouwen nooit roze dragen (null-effect), het gemiddelde effect veel kleiner moet zijn dan de gerapporteerde factor 3, en waarschijnlijk niet significant is.

4. Betekenis en Implicaties

De paper biedt een paradigmaverschuiving in hoe onderzoekers omgaan met effectgroottes:

Inversie van de Workflow: In plaats van te beginnen met een hypothese over een gemiddeld effect en later te kijken naar heterogeniteit, moet heterogeniteit het uitgangspunt zijn. Het gemiddelde effect is een afgeleide grootheid die afhankelijk is van de steekproefsamenstelling en het onderzoeksdoel.
Efficacy vs. Effectiveness: Het onderscheid tussen wat werkt onder ideale omstandigheden (efficacy, vaak met geselecteerde steekproeven) en wat werkt in de echte wereld (effectiveness) wordt verduidelijkt. Een hoge power in een trial betekent niet noodzakelijk een groot effect in de populatie.
Oplossing voor de Replicatiecrisis: Veel "mislukte" replicaties zijn geen fouten, maar het gevolg van het veronderstellen van een constant effect in een wereld waar effecten variëren. Een studie en een replicatie meten vaak verschillende verdelingen van effecten.
Praktische Toepassing: De methode helpt onderzoekers om:
- Realistischer steekproefgroottes te berekenen (vaak groter dan gedacht).
- Beter prior-verdelingen te kiezen in Bayesiaanse analyses.
- Resultaten correct te interpreteren in de context van de geselecteerde populatie.

Conclusie:
Het artikel pleit voor een meer nuchtere, context-afhankelijke benadering van statistisch ontwerp. Door te stoppen met het zoeken naar één "wondergetal" voor een effect en te beginnen met het modelleren van de variatie tussen individuen, kunnen onderzoekers robuustere studies ontwerpen en minder vatbaar zijn voor de valkuilen van de huidige statistische cultuur.