An Examination of the Performance of Variance Estimators in International Large-Scale Assessments
Deze Monte Carlo-simulatiestudie evalueert de prestaties van BRR-, JK2- en bootstrapping-variantieschatters in internationale grootschalige onderzoeken, waarbij wordt vastgesteld dat hoewel JK2 een superieure precisie biedt voor gladde statistieken zoals gemiddelden, bootstrapping en BRR nauwkeuriger zijn voor niet-gladde statistieken, en dat Fay-correcties en de omgang met non-respons de betrouwbaarheid van de schatters aanzienlijk beïnvloeden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van grootschalige onderwijstesten, waar landen vergelijken hoe goed hun leerlingen wiskunde en wetenschap beheersen, zijn de gerapporteerde cijfers nooit simpelweg gemiddelden. Achter elke krantenkop over de ranglijst van een land schuilt een complexe statistische reis. Om een betrouwbaar getal te verkrijgen, testen onderzoekers niet elke individuele leerling; in plaats daarvan selecteren ze een representatieve groep uit duizenden scholen. Dit proces, bekend als steekproeftrekking (sampling), introduceert een natuurlijke onzekerheid. Net zoals een weerman de temperatuur in elk afzonderlijk dorp niet met absolute zekerheid kan voorspellen, kunnen onderwijzers niet het exacte gemiddelde cijfer van elke leerling in een land kennen zonder ze allemaal te testen. De kloof tussen het resultaat van de steekproef en de werkelijke populatiewaarde wordt de steekproeffout genoemd. Om de resultaten te kunnen vertrouwen, moeten wetenschappers berekenen hoe groot deze fout zou kunnen zijn. Ze doen dit door de "variantie" te schatten, een maatstaf voor hoeveel de resultaten zouden kunnen schommelen als de studie zou worden herhaald met een andere groep leerlingen. Als deze schatting te klein is, kunnen onderzoekers ten onrechte beweren dat een verschil tussen twee groepen echt is, terwijl het slechts willekeurige ruis is. Als deze te groot is, kunnen ze een werkelijke verbetering missen. Decennialang waren de standaardinstrumenten voor het maken van deze schattingen specifieke wiskundige recepten, ontworpen om de rommelige realiteit van schoolonderzoeken aan te pakken, waarbij leerlingen geclusterd zijn in klaslokalen en scholen enorm in omvang variëren.
Een team van onderzoekers bij de International Association for the Evaluation of Educational Achievement zette zich in om te testen hoe goed deze standaardrecepten daadwerkelijk werken. Ze keken niet naar echte testscores van een specifiek jaar, maar bouwden in plaats daarvan een enorme, realistische digitale wereld van leerlingen en scholen om te zien wat er gebeurt wanneer de wiskunde wordt toegepast. Ze creëerden een gesimuleerde populatie van meer dan 500.000 leerlingen verspreid over 5.000 scholen, die de structuur van echte internationale beoordelingen weerspiegelde. Uit dit digitale universum trokken ze duizenden verschillende steekproeven, waarbij de manier waarop echte enquêtes worden uitgevoerd werd nagebootst, inclusief scenario's waarin sommige scholen weigeren deel te nemen. Ze voerden hun gegevens vervolgens door de meest gebruikte statistische methoden van vandaag de dag: Balanced Repeated Replication, Jackknife Repeated Replication en Bootstrapping. Ze testten deze methoden onder diverse omstandigheden, zoals wanneer het aantal scholen in een steekproef oneven was, wanneer de steekproefomvang klein was, en wanneer non-respons gaten in de gegevens creëerde. Hun doel was om te zien welke methode de foutschatting produceerde die het dichtst bij de "ware" onzekerheid lag, aangezien zij die kenden dankzij de volledige gesimuleerde populatie waarmee ze konden vergelijken.
Het onderzoek onthulde dat het beste instrument sterk afhangt van wat je probeert te meten en de omvang van je steekproef. Wanneer de onderzoekers keken naar vloeiende statistieken, zoals het gemiddelde cijfer van alle leerlingen, presteerden de standaardmethoden zeer goed. In deze gevallen toonde de Jackknife-methode, die werkt door systematisch één paar scholen tegelijk weg te laten om te zien hoe het resultaat verandert, de hoogste precisie. Deze methode leverde consequent de meest stabiele schattingen, wat betekent dat de berekende fout niet wild schommelde van de ene steekproef naar de andere. Echter, het verhaal veranderde toen de onderzoekers keken naar niet-vloeiende statistieken, zoals de mediaan score of het percentage leerlingen dat een specifieke norm heeft bereikt. Dit type getallen is grilliger en moeilijker vast te leggen. Hier presteerden de Balanced Repeated Replication-methode, die een andere wiskundige balans gebruikt om deelverzamelingen van de gegevens te creëren, en de Bootstrapping-methode, die de gegevens met vervanging opnieuw samplet, beter dan de Jackknife. Zij boden nauwkeurigere schattingen van de fout voor deze lastiger te vatten statistieken.
Een aanzienlijk deel van de studie richtte zich op de aanpassingen die onderzoekers maken om deze methoden om te gaan met real-world complicaties, zoals wanneer een school uitvalt in een enquête of wanneer er een oneven aantal scholen in een groep is. Een veelvoorkomende aanpassing, bekend als de Fay-modificatie, is bedoeld om de berekeningen te verzachten. De onderzoekers ontdekten dat hoewel deze aanpassing nuttig is voor sommige methoden, het de situatie voor andere methoden juist kan verslechteren als het te agressief wordt toegepast. Specifiek bleek het gebruik van een hoge aanpassingsfactor van 50 procent, wat gebruikelijk is in sommige grote internationale rapporten, de fout voor bepaalde statistieken te hebben overschat. De studie suggereerde dat een mildere aanpassing, rond de 10 of 30 procent, vaak betere resultaten oplevert, waardoor de schattingen dichter bij de waarheid blijven zonder onnodige ruis te introduceren. Bovendien onderzochten de onderzoekers of het de extra computertijd waard was om een "volledige" versie van de Jackknife-methode uit te voeren, die twee keer zoveel deelverzamelingen genereert als de "halve" versie. Ze ontdekten dat de extra inspanning niet veel bijdroeg aan de nauwkeurigheid; de eenvoudigere halve versie was net zo goed voor de meeste doeleinden, wat een manier bood om aanzienlijke rekenbronnen te besparen zonder in te boeten op betrouwbaarheid.
De studie benadrukte ook een kritisch punt met betrekking tot hoe onderzoekers omgaan met ontbrekende gegevens. Wanneer scholen niet deelnemen, doet de manier waarop de overgebleven scholen voor de berekening worden gegroepeerd er enorm toe. Eén benadering behoudt de oorspronkelijke groepen zoals ze gepland waren, zelfs als een school ontbreekt, terwijl een andere benadering de overgebleven scholen opnieuw groepeert om nieuwe paren te vormen. De simulaties toonden aan dat het behouden van de oorspronkelijke groepen wanneer een school ontbreekt, kan leiden tot een ernstige onderschatting van de fout, waardoor de resultaten nauwkeuriger lijken dan ze in werkelijkheid zijn. Omgekeerd kon een andere methode van hergroeperen leiden tot een overschatting. De onderzoekers vonden dat de standaardpraktijk van het opnieuw koppelen van de deelnemende scholen om nieuwe groepen te vormen over het algemeen betrouwbaardere resultaten opleverde, hoewel de specifieke methode die gebruikt wordt om deze gaten op te vullen, zorgvuldige aandacht vereist om misleidende conclusies te voorkomen.
Uiteindelijk biedt het onderzoek een duidelijke kaart voor het navigeren door deze statistische keuzes. Het suggereert dat er voor grootschalige beoordelingen geen enkele "beste" methode is voor elke situatie. Als het doel is om de gemiddelde prestatie van een grote groep te schatten, is de Jackknife-methode een robuuste en efficiënte keuze. Als de focus ligt op percentielen of specifieke benchmarks, kunnen de Balanced Repeated Replication of de Bootstrapping-methoden superieur zijn. De studie biedt ook een praktische aanbeveling om de computationele last van deze beoordelingen te verminderen: de eenvoudigere "halve" versie van de Jackknife-methode is voldoende voor de meeste behoeften, waardoor onderzoekers niet de noodzaak hebben om hun computertijd te verdubbelen voor marginaal gewin. Door te begrijpen welk instrument het beste werkt voor welke taak, en door voorzichtig te zijn met de behandeling van ontbrekende gegevens, kunnen de organisaties die deze wereldwijde tests uitvoeren ervoor zorgen dat de cijfers die zij publiceren werkelijk de onzekerheid weerspiegelen die inherent is aan het meten van het onderwijs van miljoenen leerlingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.