📊 statistics

A Bayesian Approach to Estimating Effect Sizes in Educational Research

Dit artikel presenteert een zuiver Bayesiaanse methode, geïmplementeerd in R met Stan, voor het schatten van effectgroottes in het onderwijs die rekening houden met multilevel-structuren en heterogene varianties, en adviseert specifieke effectgroottes ( $d_s$ en $d_z$ ) om de effectiviteit van interventies tussen klassen te vergelijken.

Oorspronkelijke auteurs: Yannis Bähni

Gepubliceerd 2026-04-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yannis Bähni

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Bayes-Revolutie in Onderwijs: Waarom "Gemiddelde" Niet Altijd "Waar" Is

Stel je voor dat je een nieuwe manier van lesgeven uitprobeert, bijvoorbeeld een interactieve app voor wiskunde. Je wilt weten: werkt dit beter dan de oude methode? En zo ja, hoeveel beter?

In de wereld van onderwijsresearch doen onderzoekers dit al decennialang met een oude meetlat, genaamd de "Cohen's d". Het is alsof je zegt: "De nieuwe methode werkt 0,5 keer zo goed." Maar deze oude meetlat heeft een groot probleem: hij kijkt alleen naar het gemiddelde en doet alsof alle klassen en leerlingen exact hetzelfde zijn. Alsof je zegt dat een regenjas voor iedereen even goed werkt, of je nu in de woestijn of in een stormachtige kuststad woont.

Dit nieuwe artikel van Yannis Bähni introduceert een nieuwe, slimme manier om te meten: Bayesiaanse effectgroottes. Laten we dit uitleggen met een paar simpele analogieën.

1. De Oude Meetlat vs. De Nieuwe 3D-Bril

Stel je voor dat je een foto maakt van een klas.

De oude manier (Frequentisme): Je maakt een zwart-wit foto. Je ziet alleen het gemiddelde resultaat. "De klas scoort 7,5." Maar je ziet niet wie er hard heeft gewerkt en wie het moeilijk had.
De nieuwe manier (Bayesiaans): Je krijgt een 3D-bril. Je ziet niet alleen het gemiddelde, maar ook de onzekerheid en de verschillen. Je ziet dat in klas A de app wonderbaarlijk werkt, maar in klas B (waar de leraar minder ervaring heeft) het minder goed gaat.

De kernboodschap van dit paper is: Gemiddelden liegen vaak. Als je alleen naar het gemiddelde kijkt, mis je het verhaal van de individuele klassen.

2. De "Klassieke" Fout: Het Vergeten van de Groepsdynamiek

In het onderwijs zitten leerlingen in klassen. Leerlingen in dezelfde klas lijken op elkaar (zelfde leraar, zelfde sfeer). De oude methoden behandelden elke leerling als een losse eilandbewoner.

De analogie: Stel je voor dat je de snelheid van auto's meet. De oude methode zegt: "Gemiddeld rijden deze auto's 100 km/u." Maar hij vergeet dat auto's in groepjes rijden (in files). Als je dat niet meeneemt, krijg je een verkeerd beeld van hoe snel ze echt gaan.

De auteurs gebruiken een geavanceerde wiskundige techniek (via software genaamd brms en Stan) die rekening houdt met deze "files" (de klassen). Ze meten niet alleen of iets werkt, maar ook hoe consistent het werkt in verschillende klassen.

3. De Drie Soorten "Effectgroottes" (De Meetlatten)

Het paper legt uit dat er niet één manier is om "verbetering" te meten. Het hangt af van je vraag:

De "Twee Groepen" Meetlat ( $d_s$ ): Je vergelijkt groep A (oude methode) met groep B (nieuwe methode).
- Analogie: Twee teams die een wedstrijd spelen. Wie heeft gewonnen?
- Nieuwe twist: De auteurs zeggen: "Kijk niet alleen naar de score, maar ook naar hoe wisselend de teams presteren."
De "Voor en Na" Meetlat ( $d_z$ ): Je kijkt naar dezelfde groep voor en na de les.
- Analogie: Een atleet die vandaag harder loopt dan gisteren.
- Het probleem: Als je atleet gisteren al goed was, is de verbetering misschien minder indrukwekkend dan als hij gisteren slecht was. De oude methode negeert vaak de relatie tussen "gisteren" en "vandaag". De nieuwe methode corrigeert hiervoor, alsof je rekening houdt met de vorm van de atleet.
De "Normale" Meetlat ( $d_n$ ): Soms is het lastig om te meten als iemand al bijna perfect scoort (een plafond-effect).
- Analogie: Als iemand al 99% van de vragen goed heeft, kan hij niet veel beter worden. De nieuwe methode past de meetlat aan voor dit soort situaties.

4. Het Grootste Voordeel: De "Standaardafwijking" van het Effect

Dit is het meest revolutionaire deel van het paper.
Stel, je nieuwe lesmethode werkt gemiddeld goed. Maar wat als het in klas A fantastisch werkt en in klas C totaal faalt?

Oude methode: Zegt "Het werkt goed!" (en negeert klas C).
Nieuwe methode: Zegt "Het werkt gemiddeld goed, MAAR de resultaten variëren enorm tussen de klassen."

De auteurs berekenen niet alleen het gemiddelde effect, maar ook de spreiding (de standaardafwijking) van dat effect.

Analogie: Stel je voor dat je een medicijn test.
- Methode A: "Het medicijn werkt bij 50% van de mensen."
- Methode B (deze paper): "Het medicijn werkt bij 50% van de mensen, maar bij jongeren werkt het perfect en bij ouderen werkt het nauwelijks. We weten precies hoe groot dat verschil is."

Dit helpt beleidsmakers en leraren om te begrijpen dat een interventie niet "voor iedereen" werkt, maar dat het succes afhangt van de context (de klas, de leraar, de sfeer).

5. Waarom is dit lastig? (De "Rekenmachine" vs. De "Wiskundige")

De auteurs geven eerlijk toe: deze nieuwe methode is zwaarder.

Oude methode: Je drukt op een knop op je rekenmachine en je hebt je antwoord in 2 seconden.
Nieuwe methode: Het is alsof je een supercomputer moet laten dromen over duizenden mogelijke scenario's om het antwoord te vinden. Het duurt langer en vereist meer kennis.
Maar: Het antwoord is veel betrouwbaarder en eerlijker. Het voorkomt dat we denken dat iets werkt, terwijl het in de praktijk alleen maar werkt in specifieke situaties.

Conclusie: Wat betekent dit voor jou?

Dit artikel is een handleiding voor onderzoekers om eerlijker te zijn over wat werkt in het onderwijs.
In plaats van te zeggen: "Deze methode werkt!" (als een waarheid voor altijd en eeuwig), zeggen ze nu: "Deze methode werkt gemiddeld, maar het effect verschilt per klas. Hier is een kaartje dat laat zien waar het werkt en waar niet."

Het is een overstap van "Eén groot antwoord voor iedereen" naar "Een gedetailleerd verhaal over de verschillen". En in het onderwijs, waar elke klas uniek is, is dat precies wat we nodig hebben.

Probleemstelling

In het onderwijsresearch worden effectgroottes (zoals Cohen's d) vaak gebruikt om de effectiviteit van interventies te kwantificeren. Echter, de traditionele frequentistische benadering kent enkele beperkingen die specifiek relevant zijn voor educatieve studies:

Vereenvoudigde aannames: Klassieke methoden gaan vaak uit van homogene varianties (gelijkheid van variantie tussen groepen) en normale verdelingen, wat in realistische klaslokaalsettings zelden het geval is.
Ontkenning van multilevel-structuur: Leerlingen zijn genest binnen klassen. Traditionele analyses negeren vaak deze cluster-structuur, wat kan leiden tot vertekende schattingen en het negeren van differentiële effectiviteit tussen klassen.
Punt-schattingen vs. Distributies: Frequentistische methoden leveren vaak een enkele punt-schatting met een betrouwbaarheidsinterval (gebaseerd op bootstrapping), terwijl ze geen volledige kansdistributie van het effect bieden.
Verwarring bij gepaarde ontwerpen: Bij pretest-posttest ontwerpen wordt vaak onduidelijk onderscheid gemaakt tussen verschillende varianten van effectgroottes (bijv. $d_s$ vs. $d_z$ ), wat leidt tot niet-reproduceerbare resultaten en een overschatting van het werkelijke effect als correlaties tussen metingen niet correct worden verwerkt.

Methodologie

Het artikel introduceert een puur Bayesiaanse benadering voor het schatten van effectgroottes, geïmplementeerd in het R-pakket brms (een wrapper voor de probabilistische programmeertaal Stan). De kern van de methodologie omvat:

Multilevel Modellen: Het gebruik van hiërarchische modellen die leerlingen (niveau 1) nesten binnen klassen (niveau 2). Dit maakt het mogelijk om zowel vaste effecten (interventie) als willekeurige effecten (variatie tussen klassen) te schatten.
Heterogene Residuele Varianties: In plaats van homogene varianties te forceren, laat het model toe dat de residuvariantie verschilt per tijdstip (pretest/posttest) en per conditie (controle/interventie).
Robuuste Verdelingen: Het gebruik van de Student-t-verdeling als gezinsverdeling om de gevoeligheid voor uitschieters en scheve verdelingen te verminderen.
Bayesiaanse Effectgroottes: De auteurs berekenen de volledige posterior-distributie van effectgroottes in plaats van alleen een punt-schatting. Ze baseren zich op de concepten van Hedges (2007) en Lakens (2013), maar passen deze aan voor multilevel-structuren.
- $d_s$ (Pooled): Vergelijking tussen groepen (controle vs. interventie) of binnen groepen over tijd, waarbij de totale variantie (inclusief klassen-variantie) wordt gebruikt.
- $d_z$ (Gepaard): Correctie voor de correlatie tussen pre- en posttest binnen dezelfde groep, berekend op basis van de standaarddeviatie van de leerwinst.
- $d_n$ (Genormaliseerd): Effectgrootte gebaseerd op genormaliseerde leerwinsten om plafondeffecten te adresseren.

De analyse is uitgevoerd op een dataset van 1377 studenten uit 62 klassen (Edelsbrunner et al., 2024) met een quasi-gerandomiseerd binnen-klassendesign.

Belangrijkste Bijdragen

Transparantie en Toepasbaarheid: Het artikel fungeert als een tutorial die de schatting en interpretatie van totale variantie-effectgroottes in multilevel-modellen toegankelijk maakt voor onderzoekers.
Differentiële Effectiviteit: Een unieke bijdrage is de mogelijkheid om niet alleen een gemiddelde effectgrootte te rapporteren, maar ook de standaarddeviatie van deze schatting over de klassen. Dit geeft een verfijnd beeld van hoe consistent een interventie werkt: werkt het overal even goed, of zijn er klassen waar het beter of slechter werkt?
Gedetailleerde Implementatie: Het biedt concrete R-code (brms) voor het schatten van $d_s$ , $d_z$ en $d_n$ met heterogene varianties en willekeurige hellingen en intercepts.
Richtlijnen voor Praktijk: De auteurs presenteren een duidelijke tabel (Tabel 7) met richtlijnen over welke effectgrootte moet worden gebruikt afhankelijk van het randomisatiedesign (binnen- vs. tussen-klassen) en het type ontwerp (gepaard vs. gepoold).

Resultaten

De toepassing op de dataset leverde de volgende inzichten op:

Vergelijking met Klassieke Methoden: De Bayesiaanse effectgroottes ( $d_s$ ) waren vergelijkbaar met klassieke berekeningen bij grote steekproeven, maar boden meer informatie. Bijvoorbeeld, voor de pretest was de Bayesiaanse $d_s = 0.22$ (95% CrI [0.07, 0.37]), terwijl de klassieke methode $d_s = 0.28$ gaf.
Differentiële Effectiviteit: Hoewel het gemiddelde effect positief was, toonde de standaarddeviatie van de effectgroottes over de klassen aan dat de interventie niet overal even effectief was. Op de posttest was de spreiding van effectgroottes tussen klassen groter ($SD = 0.18$) dan op de pretest ($SD = 0.09$). In sommige klassen presteerde de controlegroep zelfs beter dan de interventiegroep (negatieve $d_s$ ), wat in een gemiddelde analyse zou worden gemaskeerd.
Correctie voor Correlatie: De effectgrootte $d_z$ (die rekening houdt met correlatie) was iets lager dan $d_s$ ( $d_z \approx 1.11$ vs $d_s \approx 1.18$ voor de controlegroep), wat bevestigt dat het negeren van correlatie leidt tot een lichte overschatting.
Modelfit: Modellen met heterogene varianties en willekeurige effecten voor klassen pasten de data beter aan dan modellen met homogene varianties, zoals aangetoond door posterior predictive checks.

Significantie en Conclusie

De studie benadrukt dat het gebruik van Bayesiaanse multilevel-modellen voor effectgroottes essentieel is voor realistisch onderwijsresearch.

Nuance in Interpretatie: Het rapporteren van de standaarddeviatie van effectgroottes over klassen voorkomt een te optimistische interpretatie van interventies. Het toont aan dat een "gemiddeld positief effect" niet betekent dat de interventie voor elke leerling of elke klas werkt.
Methodologische Vooruitgang: De aanpak lost het probleem op van het negeren van cluster-structuur en heterogene varianties, wat vaak leidt tot foutieve conclusies in meta-analyses.
Aanbeveling: Onderzoekers wordt geadviseerd om niet alleen een punt-schatting te rapporteren, maar de volledige posterior-distributie, de 95% credible intervals (CrI), en de variatie over clusters. Voor gepaarde ontwerpen wordt geadviseerd om zowel $d_s$ als $d_z$ te rapporteren.

Kortom, dit artikel biedt een robuust, transparant en flexibel raamwerk voor het evalueren van onderwijsinterventies dat beter aansluit bij de complexe realiteit van klaslokalen dan traditionele frequentistische methoden.