📊 statistics

Measurement-bounded predictive inference in international large-scale assessment: how the plausible-value ceiling governs attainable accuracy and the stability of predictor rankings in PISA 2022

Deze studie toont aan dat het inherente plafond in de meetprecisie van de PISA 2022-plausibele waarden de haalbare voorspellende nauwkeurigheid fundamenteel beperkt en de rangschikking van voorspellers over domeinen en onderwijssystemen destabiliseert, wat noodzaakt dat prestatievergelijkingen en modelinterpretaties worden gegrond in deze berekenbare meetgrenzen.

Oorspronkelijke auteurs: Jonas A. Mandalunes

Gepubliceerd 2026-08-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonas A. Mandalunes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elk jaar maken miljoenen tieners over de hele wereld een enorme test genaamd PISA, ontworpen om te zien hoe goed ze wiskunde, taal en wetenschap begrijpen. De resultaten worden door regeringen en onderwijzers gebruikt om te beoordelen welke scholen en landen het beste werk leveren. In de afgelopen jaren zijn onderzoekers begonnen deze testscores te gebruiken om computermodellen te bouken die proberen het succes van een leerling te voorspellen op basis van hun achtergrond, zoals het inkomen van hun familie, de boeken in hun huis of het klimaat op hun school. Deze studies produceren vaak een gerangschikte lijst van de belangrijkste factoren, wat suggereert dat als we de scores willen verbeteren, we ons moeten richten op de bovenste items op die lijst. Echter, er is een verborgen probleem met deze aanpak. De testscores die in deze studies worden gebruikt, zijn geen directe observaties van de bekwaamheid van een leerling. In plaats daarvan zijn het statistische schattingen, gecreëerd door tien verschillende mogelijke getallen voor elke leerling te trekken uit een wolk van mogelijkheden. Omdat deze getallen schattingen zijn, bevatten ze een bepaalde hoeveelheid ingebouwde ruis, of onzekerheid, die geen enkele hoeveelheid data ooit kan verklaren. Deze onzekerheid vormt een harde grens voor hoe nauwkeurig een model de prestaties van een leerling kan voorspellen, een grens die verandert afhankelijk van het onderwerp dat wordt getest en het land waar de test werd afgenomen.

Een nieuwe studie door Jonas Mandalunes onderzoekt precies hoeveel deze verborgen ruis ons vermogen beperkt om te leren van deze enorme tests. De onderzoeker gebruikte de internationale database van de 2022 PISA-cyclus, die gegevens bevat van meer dan 600.000 leerlingen uit 80 verschillende onderwijssystemen. De studie richtte zich op vier gebieden: wiskunde, taal, wetenschap en een nieuwere toevoeging genaamd creatief denken. De kernvraag was simpel: hoeveel van de score van een leerling kan een computermodel daadwerkelijk verklaren, en verandert deze limiet de lijst van factoren die het belangrijkst lijken te zijn? Om dit te beantwoorden, berekende de onderzoeker een "plafond" voor elk onderwerp in elk land. Dit plafond vertegenwoordigt de maximale mogelijke nauwkeurigheid die enig voorspellingsmodel ooit zou kunnen bereiken, simpelweg omdat de testscores zelf niet perfect zijn. De studie vond dat dit plafond enorm varieert. Voor creatief denken varieerde de limiet van ongeveer 65 procent tot bijna 90 procent, afhankelijk van het land. Voor wiskunde was de reikwijdte kleiner maar nog steeds variabel, van ongeveer 81 procent tot 93 procent. Dit betekent dat in sommige plaatsen geen enkel model ooit meer dan twee derde van de verschillen in leerlingscores kan verklaren, terwijl de limiet in andere plaatsen veel hoger ligt.

De studie ging verder om te zien of deze limiet de rangschikking van de factoren die de scores beïnvloeden, beïnvloedt. De onderzoeker draaide dezelfde computermodellen herhaaldelijk, waarbij telkens een andere van de tien mogelijke score-schattingen voor de leerlingen werd gebruikt. In de meest nauwkeurig gemeten onderwerpen bleef de lijst van belangrijkste factoren grotendeels hetzelfde. Maar in de minder nauwkeurige onderwerpen, zoals creatief denken, veranderde de lijst drastisch. Wanneer de onderzoeker overschakelde van de ene score-schatting naar de andere, zouden meer dan 40 procent van de top vijf factoren op de lijst van plaats wisselen. Dit betekent dat een studie die een enkele lijst van "belangrijkste" factoren rapporteert, in essentie slechts één willekeige snapshot laat zien van een veel bredere, verschuivende realiteit. Als de onderzoeker een andere score-schatting had gekozen, had hij kunnen concluderen dat een volkomen andere set factoren de leerlingprestaties aanstuurde.

Nog een kritieke bevinding betrof de manier waarop de data werd opgesplitst om de modellen te testen. Veel studies mengen willekeurig leerlingen uit verschillende scholen in trainings- en testgroepen. Het nieuwe onderzoek toonde aan dat deze methode een vals gevoel van nauwkeurigheid creëert. Omdat leerlingen in dezelfde school de neiging hebben om op elkaar te lijken, kan een model dat tijdens de training leerlingen van een specifieke school ziet, patronen leren die specifiek zijn voor die school, in plaats van te leren over de leerlingen zelf. Wanneer de onderzoeker het model dwong om volledige scholen gescheiden te houden tijdens training en testen, daalde de voorspelde nauwkeurigheid aanzienlijk. In sommige gevallen was de daling enorm, wat onthulde dat eerdere studies hun resultaten met wel 0,36 punten hadden opgeblazen, simpelweg omdat ze geen rekening hielden met de schoolstructuur. De omvang van deze inflatie hing af van het aantal scholen in de studie, niet van de complexiteit van het gebruikte computermodel.

De studie keek ook naar waarom de precisie van de scores zo sterk verschilde tussen de onderwerpen. Het stelde vast dat hoe meer een test vertrouwde op menselijke beoordelaars om open vragen te scoren, hoe minder nauwkeurig de scores de neiging hadden, vooral in zeer grote landen. Creatief denken, dat volledig door mensen werd gescoord die geschreven antwoorden lazen, vertoonde de grootste variatie in precisie. In contrast hiermee was wiskunde, dat grotendeels door machines wordt gescoord, consistenter. Dit suggereert dat de manier waarop een test wordt afgenomen en gescoord even belangrijk is als de vragen zelf als het gaat om hoeveel we kunnen leren van de resultaten.

De implicaties van deze bevindingen zijn recht door de keel voor iedereen die probeert onderwijsdata te begrijpen. U kunt de prestaties van een model in één land niet vergelijken met die in een ander land, of in een ander onderwerp, zonder eerst het precisieplafond voor die specifieke context te kennen. Een model dat 45 procent van de variantie verklaart in een land met een laag plafond, presteert eigenlijk behoorlijk goed en vangt het meeste wat er te weten valt. Datzelfde model in een land met een hoog plafond presteert mogelijk slecht, waardoor veel van het signaal onverklaard blijft. Bovendien moet elke lijst van belangrijke factoren die uit deze tests wordt afgeleid, met voorzichtigheid worden behandeld. Omdat de rangschikkingen zo sterk verschuiven afhankelijk van welke score-schatting wordt gebruikt, is een enkele lijst geen stabiel feit maar een tijdelijke realisatie. De studie concludeert dat onderzoekers altijd het precisieplafond naast hun resultaten moeten rapporteren en hun modellen over alle mogelijke score-schattingen heen moeten testen om te zien of hun conclusies standhouden. Zonder deze controles kunnen de rangschikkingen en vergelijkingen die het onderwijsbeleid sturen, gebouwd zijn op een fundament van statistische ruis in plaats van solide bewijs.

Technische Samenvatting: Metingsgebonden Predictieve Inferentie in PISA 2022

Probleemstelling
Onderzoek dat gebruikmaakt van internationale grootschalige assessments (ILSAs) zoals PISA, maakt steeds vaker gebruik van flexibele predictieve modellen om kenmerken van leerlingen, gezinnen en scholen te identificeren die geassocieerd zijn met prestaties. Echter, drie structurele eigenschappen van deze assessments compliceren de interpretatie van dergelijke studies, wat vaak onbehandeld blijft:

Ongeobserveerde Prestaties: Leerlingprestaties worden niet direct geobserveerd, maar gerepresenteerd door "plausible values" (PV's) getrokken uit een posterieure verdeling. Bijgevolg is een deel van de variantie in de uitkomstmaat meetruis die geen enkele voorspeller kan verklaren.
Geclusterde Steekproef: Leerlingen zijn gesampled in schoolclusters. Willekeurige steekproeven op leerlingniveau maken het mogelijk voor modellen om schoolstructuren te leren die opnieuw verschijnen in evaluatiesamples, wat de prestatieschattingen kunstmatig opblaast.
Niet-vergelijkbaar Signaal: Gerapporteerde predictieve nauwkeurigheid en de rangschikking van voorspellers worden vaak vergeleken tussen onderwijssystemen alsof de hoeveelheid leerbaar signaal constant is, waarbij wordt genegeerd dat de precisie van de meting varieert per domein en systeem.

Hoewel het principe dat meetonbetrouwbaarheid associaties verzwakt is vastgesteld (Spearman, 1904), en ruisplafonds zijn afgeleid voor specifieke contexten (bijv. hersen-gedrag voorspelling, automatische essaybeoordeling), blijft het onvastgesteld hoe deze factoren de bereikbare nauwkeurigheid en de stabiliteit van de rangschikking van voorspellers sturen binnen de diverse domeinen en onderwijssystemen in ILSA-databases.

Methodologie
De studie maakt gebruik van de PISA 2022 internationale database, die 80 onderwijssystemen beslaat voor wiskunde, lezen en wetenschap, en 63 systemen voor creatief denken.

Meetprecisie-plafond ( $\rho$ ): De auteur schat een plafond voor de bereikbare predictieve prestaties voor elk domein in elk systeem. Dit plafond wordt gedefinieerd als de intraclass correlatie (ICC) van de tien vrijgegeven plausible values behandeld als herhaalde metingen binnen een leerling. De estimator past een correctie voor eindige trekkingen toe om rekening te houden met het feit dat de variantie van leerlinggemiddelden wordt opgeblazen door residuele meetruis ( $1/M$ in plaats van nul).
$\rho = \frac{\text{Var}(\mu)}{\text{Var}(\mu) + E(\sigma^2)}$
waarbij $\mu$ de posterieure gemiddelde is en $\sigma^2$ de posterieure variantie.
Validatiearchitectuur: Om lekkage van schoolniveau-structuur te voorkomen, gebruiken alle primaire schattingen school-disjunct vijfwaardige kruisvalidatie. Hele scholen worden aan folds toegewezen, waardoor gegarandeerd wordt dat geen enkele school zowel bij de training als bij de evaluatie bijdraagt. Dit staat in contrast met conventionele willekeurige splitsingen op leerlingniveau om de inflatie te kwantificeren.
Modellen: Er werden twee modellen parallel gefit op identieke folds: een gewogen ridge regressie (lineaire baseline) en een gewogen histogram-gebaseerde gradient boosting regressor. Hyperparameters werden vastgehouden over alle systemen en domeinen om ervoor te zorgen dat gepaard onderzoek interpreteerbaar bleef.
Stabiliteitsanalyse: De pijplijn werd één keer opnieuw gefit voor elk van de tien plausible values. De belangrijkheid van voorspellers werd beoordeeld via gewogen permutatie-importantie. Stabiliteit werd gemeten met behulp van de gemiddelde paarwijze Kendall rangcorrelatie en de Jaccard-overlap van de top vijf voorspellers over de tien refits.
Attributie van Instabiliteit: Een null-ontwerp vergeleken drie condities om te onderscheiden of instabiliteit werd veroorzaakt door meetruis of door de permutatie-importantie estimator zelf: (1) variërende PV's met vaste estimator seed, (2) vaste PV met variërende estimator seed, en (3) beide vast.
Gepaard Ontwerp binnen Systemen: Om het effect van meetprecisie te isoleren van andere systeemverschillen, koppelde de studie domeinen binnen hetzelfde systeem, waarbij leerlingen, scholen, voorspellers en folds constant werden gehouden. Alleen de gemeten construct (en dus $\rho$ ) varieerde.

Belangrijkste Bijdragen

Schatting van Individuele Precisie: De studie levert een meetprecisie-plafond ( $\rho$ ) voor elk domein in elk deelnemend systeem, en toont aan dat deze individuele statistiek verschillend is van gepubliceerde groep-statistieken voor betrouwbaarheid (die zwak correleren, $r=0.195$ ).
Demonstratie van Niet-vergelijkbaarheid: De auteur laat zien dat $\rho$ significant varieert tussen systemen en domeinen (variërend van 0.654 tot 0.933) en zwak correleert tussen domeinen binnen dezelfde leerlingen. Daarom is de ruwe predictieve prestatie niet vergelijkbaar tussen domeinen of systemen zonder referentie naar dit plafond.
Gegradeerde Relatie: Met behulp van een gepaard ontwerp stelt de studie vast dat zowel de bereikbare nauwkeurigheid als de stabiliteit van de rangschikking van voorspellers op een gegradeerde manier meeschalen met het meetplafond. Naarmate het verschil in plafonds tussen twee domeinen de nul nadert, nadert ook het verschil in downstream prestaties en rangschikkingsstabiliteit de nul.
Kwantificatie van Split-inflatie: De studie kwantificeert de kosten van willekeurige splitsingen op leerlingniveau in geclusterde data, waarbij wordt geïdentificeerd dat het aantal gesamplede scholen de bepalende parameter is voor prestatie-inflatie.

Resultaten

Variabiliteit van het Plafond: Het meetprecisie-plafond varieerde van 0.654 tot 0.894 voor creatief denken, 0.766 tot 0.915 voor lezen, 0.790 tot 0.916 voor wetenschap, en 0.811 tot 0.933 voor wiskunde. De mediane plafonds waren gerangschikt als Wiskunde (0.900) > Wetenschap (0.871) > Lezen (0.857) > Creatief Denken (0.802).
Orthogonaliteit: Binnen de 63 systemen die zowel in creatief denken als in wiskunde werden beoordeeld, correleerden de plafonds zwak ( $r=0.148$ ), wat aangeeft dat de kwaliteit van de meting in het ene domein een slechte gids is voor het andere.
Bereikbare Nauwkeurigheid: Out-of-fold $R^2$ was positief geassocieerd met $\rho$ over alle domeinen. In de gepaarde analyse correspondeerde een grotere kloof in plafonds ( $\Delta\rho$ ) met een grotere kloof in $R^2$ , rangschikkingsstabiliteit (Kendall's $\tau$ ) en overlap in de lijst van voorspellers (Jaccard). Voor de grootste kloof (Wiskunde vs. Creatief Denken, $\Delta\rho \approx 0.088$ ), was het verschil in $R^2$ zeer significant ( $p < 10^{-10}$ ). Bij de kleinste kloof (Wetenschap vs. Lezen, $\Delta\rho \approx 0.008$ ), waren de verschillen nabij nul en vaak niet-significant.
Rangschikkingsinstabiliteit: In het minst precies gemeten domein (creatief denken) veranderde meer dan 40% van een lijst met vijf voorspellers tussen twee plausible values van dezelfde data. Deze instabiliteit werd bevestigd als zijnde toe te schrijven aan meetruis in plaats van aan de permutatie-estimator alleen.
Split-inflatie: Willekeurige splitsingen op leerlingniveau blaften de prestaties op in 604 van de 606 analyses. De omvang van de inflatie werd bepaald door het aantal gesamplede scholen (Spearman $r \approx -0.4$ ), waarbij extreme gevallen een inflatie lieten zien van $R^2=0.002$ (school-disjunct) naar $0.361$ (willekeurige split).
Exploratieve Bevinding: De meetprecisie (ruis-naar-signaal ratio) leek af te nemen met het aantal beoordeelde leerlingen, met name in domeinen die menselijke codering van open antwoorden vereisen (Creatief Denken), hoewel deze relatie werd gedreven door het contrast tussen de grootste en typische systemen.

Significantie en Claims
Het artikel betoogt dat de predictieve prestaties uit ILSA-databases niet vergelijkbaar zijn tussen domeinen of systemen zonder referentie naar het meetplafond. Een model dat $R^2=0.45$ bereikt in een systeem met een plafond van 0.65, heeft een groter deel van het beschikbare signaal gevangen dan een model met dezelfde $R^2$ in een systeem met een plafond van 0.93.

De auteur claimt dat:

Voorspellersrangschikkingen van een enkele plausible value slechts één realisatie zijn van een brede verdeling. In domeinen met lage precisie is een enkele rangschikking instabiel, waarbij een aanzienlijk deel van de topvoorspellers verandert tussen verschillende plausible values.
Het "ruisplafond" een bepalende eigenschap is van het assessmentontwerp en de operationele uitvoering, en geen constante. Het dicteert zowel de maximaal bereikbare nauwkeurigheid als de stabiliteit van de verklarende variabelen die worden gerapporteerd.
Er bestaan twee tegenovergestelde biases: Meetruis verzwakt de bereikbare prestaties, terwijl het conditioneren van de plausible values op achtergrondvariabelen de schijnbare associaties opblaast. Geen van beide wordt momenteel erkend in de toegepaste literatuur.

Praktische Aanbevelingen
De auteur stelt twee bescheiden, laag-kostbare aanpassingen voor aan onderzoekers:

Rapporteer het Plafond: Rapporteer naast elke predictieve prestatie-metriek het meetprecisie-plafond ( $\rho$ ) voor dat specifieke domein en systeem. Prestaties moeten worden uitgedrukt als een deel van dit plafond ( $R^2/\rho$ ) om geldige vergelijkingen tussen systemen mogelijk te maken.
Rapporteer Stabiliteitsstatistieken: Wanneer onderzoekers voorspellers rangschikken, moeten zij modellen fitten over alle plausible values en een stabiliteitsstatistiek rapporteren (bijv. rangcorrelatie of Jaccard-overlap) naast de rangschikking. Een enkele rangschikking uit een enkele trekking is onvoldoende om de verdeling van belangrijke voorspellers te karakteriseren.

Het artikel concludeert dat het analytische vermogen van grootschalige assessment-databases niet uniform is; waar de meting minder precies is, kan er minder geleerd worden, en zijn conclusies minder stabiel. Aangezien precisie deels een ontwerp- en operationele eigenschap is, is het een variabele die assessmentprogramma's potentieel kunnen verbeteren.

Meer zoals dit