From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA
Deze studie betoogt dat voor niet-cognitieve PISA-vragenlijstindicatoren internationale vergelijkingen moeten verschuiven van het vertrouwen op potentieel misleidende nationale gemiddelde rangordes naar het analyseren van hellingen binnen scholen, die een robuustere en beleidsrelevante bevinding bieden over hoe onderwijssystemen de ervaringen en prestaties van leerlingen vormgeven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen over hoe verschillende scholen over de hele wereld het doen. Jarenlang was het belangrijkste hulpmiddel dat detectives gebruikten een gigantische scorelijst, of een "ranglijst", die landen simpelweg van eerste tot laatste plaats lijstte op basis van hun gemiddelde scores. Het is alsof je basketbalteams rangschikt door alleen naar de totale punten te kijken die ze in een seizoen hebben gescoord, zonder te geven om wie ze speelden, hoe ze speelden of of ze zelfs hetzelfde spel speelden. Dit werkt prima voor zaken als rekenen of lezen, waarbij de antwoorden meestal wel goed of fout zijn. Maar wanneer het gaat over gevoelens, motivatie of hoe gelukkig leerlingen zijn, wordt het ingewikkeld. Dit zijn geen dingen die je met een liniaal kunt meten; het zijn eerder als smaken of kleuren. Als je mensen in verschillende culturen vraagt hoe "pittig" hun eten is, kan een beoordeling van "zeer pittig" in het ene land iets heel anders betekenen dan in een ander land. Dit artikel gaat over een groep onderzoekers die besloot te stoppen met alleen maar naar de scorelijst te kijken en in plaats daarvan te gaan kijken naar de relaties tussen de spelers en het spel. In plaats van te vragen: "Welk land heeft het hoogste gemiddelde geluk?", vroegen zij: "Hoe veranderen de achtergrond van een leerling of hun testscores hun gevoelens over school?" Ze wilden zien of de regels van het spel veranderen wanneer je uitzoomt van een individuele leerling naar een heel land.
De onderzoekers, onder leiding van Kit-Tai Hau en zijn team, namen een enorme momentopname van data van 612.004 leerlingen uit 80 landen, verzameld tijdens de PISA-test van 2018. Ze keken naar 31 verschillende vragenlijsten over zaken als motivatie, welzijn en hoe leerlingen over hun klaslokalen denken. Hun eerste grote ontdekking was dat de scorelijst voor deze gevoelens grotendeels nutteloos was. Toen ze de cijfers analyseerden, ontdekten ze dat de verschillen tussen landen minuscuul waren—slechts ongeveer 6% van de variatie in deze gevoelens kwam door het land waarin een leerling woonde. De andere 94% vond plaats binnen de landen, voornamelijk tussen verschillende scholen. Het is alsof je de gemiddelde lengte van mensen in Frankrijk versus Italië vergelijkt en erachter komt dat het verschil zo klein is dat het er niet toe doet, terwijl het verschil tussen een basketbalteam en een turnteam in dezelfde stad enorm is.
Maar de echte magie gebeurde toen ze stopten met het kijken naar gemiddelden en begonnen met het kijken naar "hellingen" (slopes). Stel je een grafiek voor waarbij de lijn omhoog of omlaag gaat. Een "helling" vertelt je hoe het ene ding verandert naarmate het andere ding verandert. De onderzoekers ontdekten dat als je alleen naar het gemiddelde van een land kijkt, het verhaal vaak op zijn kop wordt gezet. Bijvoorbeeld, op het niveau van de individuele leerling zorgt goed presteren in lezen er meestal voor dat een leerling goed over zichzelf denkt. Maar wanneer je naar het landelijke niveau kijkt, hadden landen met hogere gemiddelde leescijfers soms leerlingen die een lagere zelfverzekerdheid rapporteerden. Het is een beetje als het "Big Fish, Little Pond"-effect: als je een slimme vis bent in een vijver vol andere slimme vissen, voel je je misschien minder speciaal dan wanneer je de slimste vis bent in een kleine, rustige vijver. Het landelijke gemiddelde verbergt dit omdat het alle vijvers met elkaar mengt.
Het artikel betoogt dat we, in plaats van landen te rangschikken op hun gemiddelde "stemming", naar deze hellingen moeten kijken om te begrijpen hoe onderwijssystemen werken. Ze ontdekten dat de relatie tussen de achtergrond van een leerling (zoals de rijkdom van de familie) en hun schoolervaring een veel betere manier is om een systeem te beoordelen. Ze ontdekten dat deze relaties (de hellingen) meestal consistent waren in richting—wat betekent dat de theorie standhield—maar dat de sterkte van deze relaties van land tot land varieerde. Interessant genoeg waren de meeste verschillen in deze hellingen niet tussen landen, maar tussen scholen binnen hetzelfde land. Dit suggereert dat als we problemen willen oplossen of verbeteren, we niet alleen naar nationaal beleid moeten kijken, maar naar wat er binnen specifieke scholen gebeurt.
De auteurs controleerden ook of hun bevindingen niet slechts een toevalstreffer waren veroorzaakt door de manier waarop ze de data telden. Ze probeerden verschillende manieren om de cijfers te wegen, en de resultaten bleven hetzelfde. Ze ontdekten ook dat sommige structurele kenmerken van een land, zoals de mate van segregatie in scholen (hoeveel leerlingen uit verschillende achtergronden van elkaar gescheiden zijn), konden verklaren waarom de hellingen in sommige plaatsen anders waren. Bijvoorbeeld, in landen waar de scholen meer gemengd waren, was de link tussen goed presteren en je goed voelen vaak sterker.
Uiteindelijk suggereert het artikel een grote verschuiving in hoe we denken over internationale onderwijsrapporten. We moeten de scorelijst niet volledig weggooien, maar we moeten er ook niet op vertrouwen om ons te vertellen hoe gelukkig of gemotiveerd leerlingen zijn. De scorelijst is een zwak instrument voor gevoelens omdat het de context negeert. De "helling"-benadering is als het overstappen van een wazige groepsfoto naar een high-definition video die laat zien hoe leerlingen met hun wereld omgaan. Het vertelt ons dat de belangrijkste verschillen niet tussen naties liggen, maar tussen de scholen binnen hen. Door ons te concentreren op deze relaties in plaats van alleen op de gemiddelden, krijgen we een duidelijker, eerlijker beeld van hoe onderwijssystemen het leven van jongeren vormgeven, waarbij we bewegen van simpelweg rangschikken wie de "beste" is naar het begrijpen hoe we het voor iedereen beter kunnen maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.