When the adjustment fails: population-denominator sensitivity in coverage-adjusted PISA trends

Om de paar jaar vindt er een grootschalig mondiaal experiment plaats in klaslokalen over de hele wereld. Honderdduizenden vijftienjarigen zitten tegelijkertijd voor dezelfde toetsen in wiskunde, taal en wetenschap. Dit is de Programme for International Student Assessment, bekend als PISA. De resultaten zijn meer dan alleen een rapportcijfer voor scholen; ze zijn een momentopname van hoe goed de jongeren van een natie zijn voorbereid op de toekomst. Omdat de toetsen in cycli plaatsvinden, kunnen onderzoekers terugkijken en zien of een land in de loop der tijd beter of slechter wordt. Maar er is een verborgen complicatie bij deze vergelijking. De studenten die de toets maken, zijn niet altijd dezelfde dwarsdoorsnede van de populatie van het ene naar het andere jaar. In sommige landen bereikt de toets bijna elke vijftienjarige, terwijl deze in andere landen slechts een klein deel van de bevolking bereikt. Wanneer de groep studenten verandert, kan het gemiddelde cijfer verschuiven simpelweg omdat de mix van mensen veranderde, en niet omdat de studenten zelf meer of minder hebben geleerd. Om dit op te lossen, gebruikt de organisatie die de toetsen uitvoert een speciale wiskundige aanpassing. Het probeert te schatten wat de best presterende studenten hadden gescoord als de toets elke enkele vijftienjarige in het land had bereikt, en niet alleen degenen die opkwamen. Dit aangepaste getal moet een eerlijke manier zijn om de vooruitgang tussen verschillende jaren en verschillende landen te vergelijken.

Twee onderzoekers, Jonas A. Mandalunes en Danica Jane S. Mandalunes, besloten te kijken hoe fragiel deze aanpassing werkelijk is. Ze richtten zich op het meest kritische onderdeel van de puzzel: het totale aantal vijftienjarigen in elk land. Dit getal fungeert als de noemer, of het onderste deel van de breuk, die bepaalt hoe groot de aanpassing moet zijn. De onderzoekers stelden een eenvoudige maar diepgaande vraag: wat gebeurt er met de uiteindelijke resultaten als je dat onderste getal verandert? Ze gingen er niet vanuit dat één bron van populatiedata perfect was en de andere foutief. In plaats daarvan behandelden ze twee verschillende manieren om vijftienjarigen te tellen als twee verschillende scenario's. Eén scenario gebruikte de cijfers die nationale overheden officieel aan de testorganisaties hadden doorgegeven. Het andere scenario gebruikte een breed gerespecteerde wereldwijde projectie van bevolkingsgroei van de Verenigde Naties. Door de volledige trendanalyse twee keer uit te voeren—één keer met de officiële cijfers en één keer met de wereldwijde projecties—konden zij zien hoeveel het verhaal over de vooruitgang van een land veranderde afhankelijk van welke telling werd gebruikt.

De onderzoekers bekeken gegevens van drieëntachtig economieën tussen 2018 en 2022. Ze ontdekten dat de officiële telling van vijftienjarigen die door de testorganisaties wordt gebruikt, in veel gevallen aanzienlijk veranderde. Gemiddeld was het verschil in de dekkingsgraad tussen de twee jaren bijna twee procentpunten, maar in sommige gevallen was de verandering enorm, met schommelingen van wel zevenentwintig punten in de ene richting of achtenveertig in de andere. Wanneer ze analyseerden waarom deze cijfers veranderden, ontdekten ze dat de verschuiving in de meeste gevallen voortkwam uit de enquête zelf—wat betekent dat de test een ander deel van de ingeschreven studenten bereikte—in plaats van uit een verandering in het aantal studenten dat daadwerkelijk op school zat. Dit onderscheid is essentieel omdat het betekent dat een stijgend cijfer niet noodzakelijkerwijs betekent dat er meer kinderen naar school gaan; het kan simpelweg betekenen dat de test een andere groep van hen heeft bereikt.

De meest opvallende bevinding was hoe gevoelig de uiteindelijke trends waren voor deze noemer. Wanneer de onderzoekers de officiële populatietelling vervingen door de projectie van de Verenigde Naties, verschoof de geschatte verandering in testscores drastisch. In de wiskunde was het gemiddelde verschil tussen de twee scenario's ongeveer 3,4 punten. In taal was het 3,5 punten en in wetenschap 3,4 punten. Om dit in perspectief te plaatsen: de testorganisaties publiceren een standaard "link error"-waarde om lezers te helpen de onzekerheidsmarge in hun trends te begrijpen. Voor wiskunde is die waarde 2,24 punten. Het verschil veroorzaakt door simpelweg de populatietelling te wijzigen, was groter dan deze standaard foutenmarge in achtendertig van de zesentachtig landen. In taal overschreed het de marge in vijfentwintig landen, en in wetenschap in vierentwintig landen. Dit betekent dat voor een meerderheid van de onderzochte landen de keuze van welk populatiegetal gebruikt werd, belangrijker was dan de statistische onzekerheid die gewoonlijk met de test zelf wordt geassocieerd.

De onderzoekers onderzochten ook wat er gebeurt wanneer de wiskunde tegen een muur loopt. De aanpassingsprocedure gaat ervan uit dat de test minder studenten bereikte dan er daadwerkelijk in het land bestaan. Maar in een paar specifieke gevallen suggereerde de wiskunde dat de test meer studenten bereikte dan het officiële populatieaantal. Wanneer dit gebeurde, moest de procedure een speciale oplossing toepassen: het zette het extra gewicht simpelweg op nul en rapporteerde de ruwe score van de studenten die de test maakten, waardoor de aanpassing effectief werd uitgeschakeld. Dit gebeurde in landen als Korea en Ierland in 2022. De onderzoekers lieten zien dat deze overgang van een aangepaste score naar een ruwe score een plotselinge breuk in de gegevens creëert. Het is geen vloeiende overgang; het is een harde stop waarbij de methode volledig verandert. Ze merkten ook op dat in sommige gevallen de officiële populatietelling hoger was dan het aantal studenten dat de test beweerde te hebben bereikt, wat onmogelijk zou moeten zijn als de definities perfect op elkaar zouden zijn afgestemd, wat suggereert dat de definities van wie als "vijftienjarige" telt of wie "ingeschreven" is, kunnen verschillen tussen de testorganisaties en de populatiestatistici.

De studie concludeerde niet dat één populatietelling de ware was en de andere een fout. De onderzoekers waren voorzichtig om te stellen dat noch de officiële overheidsgegevens, noch de projecties van de Verenigde Naties de absolute waarheid zijn. De officiële cijfers missen vaak details over het exacte moment waarop de telling werd uitgevoerd of welke specifieke definitie van "inwoner" werd gebruikt. De wereldwijde projecties zijn modellen gebaseerd op aannames. Het kernprobleem is dat de uiteindelijke trendscore zwaar afhangt van een getal dat niet volledig wordt uitgelegd of consistent is. De onderzoekers vonden dat zelfs toen ze probeerden de gegevens op te schonen door landen met bekende territoriale geschillen of inconsistente registers te verwijderen, de verschillen aanwezig bleven. De kloof tussen de twee scenario's verdween niet; hij verschoof slechts licht. Dit suggereert dat de gevoeligheid een fundamenteel kenmerk is van de huidige methode, en niet slechts een resultaat van slordige gegevens.

Uiteindelijk betogen de onderzoekers dat de manier waarop deze trends worden gerapporteerd, moet veranderen om eerlijker te zijn over deze onzekerheid. Ze bevelen aan dat de testorganisaties precies vermelden waar de populatiecijfers vandaan komen, inclusief de datum en de specifieke definitie die gebruikt is. Ze suggereren dat elke keer dat een trend wordt gerapporteerd, deze vergezeld moet gaan van een bereik dat laat zien wat het resultaat zou zijn als een ander, redelijk populatiegetal zou worden gebruikt. Dit zou geen betrouwbaarheidsinterval in de statistische zin zijn, maar een duidelijke verklaring van hoeveel het resultaat afhangt van de noemer. Ten slotte stellen ze voor dat als de wiskunde vastloopt omdat de cijfers niet kloppen, de aangepaste score niet stilzwijgend moet worden gecorrigeerd of verborgen, maar gemarkeerd en achtergehouden moet worden totdat de input is afgestemd. De studie laat zien dat het verhaal over hoe landen verbeteren of achteruitgaan echt is, maar de specifieke cijfers die we gebruiken om dat verhaal te vertellen, zijn veel kwetsbaarder dan ze lijken. De trends bestaan, maar de precieze omvang ervan is verbonden aan een keuze van getallen die momenteel in het duister wordt gemaakt.