Substituting National-IQ and Harmonized-Learning Indicators: An Output-Specific Replication and Sensitivity Audit
Dit artikel voert een sensitiviteitsaudit uit waarbij nationale IQ-waarden en geharmoniseerde leerindicatoren worden vergeleken, waarbij een hoge correlatie en vergelijkbare rangverdelingen worden gevonden, maar de conclusie wordt getrokken dat de datasets niet uitwisselbaar of causaal equivalent zijn ondanks hun statistische gelijkenissen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de studie van naties proberen onderzoekers vaak de collectieve mentale capaciteit van de bevolking van een land te meten. Eén benadering houdt in dat scores uit intelligentietests die aan kleine groepen individuen zijn afgenomen, worden samengesteld en gemiddeld om een nationale schatting te creëren. Een andere benadering kijkt naar de resultaten van gestandaardiseerde examens die door miljoenen schoolkinderen zijn afgelegd in wiskunde, taal en wetenschap. Jarenlang zijn deze twee verschillende reeksen getallen met elkaar vergeleken. Wanneer ze samen bewegen — wanneer landen met hoge testscores ook hoge geschatte intelligentiescores hebben — hebben sommigen aangenomen dat de twee maten in essentie hetzelfde zijn, uitwisselbare instrumenten die zonder het verhaal te veranderen, in en uit onderzoek kunnen worden gewisseld. Deze aanname is verleidelijk omdat het de complexe taak van het vergelijken van naties vereenvoudigt. Een hoge correlatie tussen twee lijsten met getallen betekent echter niet automatisch dat ze over elk land afzonderlijk hetzelfde verhaal vertellen, noch garandeert het dat ze tot dezelfde conclusies zullen leiden wanneer ze worden gebruikt om economisch succes te voorspellen.
Een recente audit uitgevoerd door onafhankelijk onderzoeker Georgios Kiminos daagt deze aanname uit door de twee maten niet te behandelen als identieke tweelingen, maar als afzonderlijke instrumenten die tegen specifieke vragen moeten worden getest. De studie stelt een praktische, zij het onglamoureuze, vraag: als een onderzoeker een nationale intelligentiescore vervangt door een geharmoniseerde leerscore, verandert dan de rangschikking van landen? Blijft de lijst van topsprekende naties hetzelfde? Houdt de link tussen deze scores en de rijkdom van een land stand? Om dit te beantwoorden, verzamelde de onderzoeker gegevens voor exact zesentwintig economieën waar beide typen scores beschikbaar waren. Hij voerde een reeks controles uit, waarbij hij vergeleek hoe de landen tegenover elkaar stonden, welke landen bovenaan en onderaan de lijsten verschenen, en hoe sterk elke lijst het bruto binnenlands product per capita in 2017 voorspelde.
De resultaten laten zien dat hoewel de twee maten nauw verwant zijn, ze niet uitwisselbaar zijn. Toen de onderzoeker de rangschikking van de zesentwintig landen vergeleek, bewoog het gemiddelde land bijna tien plaatsen omhoog of omlaag op de lijst bij de overstap van de intelligentiescore naar de leerscore. Hoewel het algemene patroon vergelijkbaar bleef, veranderde de specifieke volgorde genoeg om ertoe te doen. Bijvoorbeeld, wanneer men naar de groep topsprekende landen kijkt, kwamen de twee lijsten slechts overeen voor vier van de zeven hoogst geklasseerde landen. Onderaan de lijst kwamen ze slechts twee van de zeven laagst gerangschikte landen tegen. Dit betekent dat een land dat in het ene systeem als leider wordt beschouwd, in het andere als slechts gemiddeld kan worden gezien, en een land dat worstelt in het ene, in het andere minder nijpend kan lijken. De twee maten zijn als twee verschillende kaarten van hetzelfde terrein: ze tonen dezelfde algemene vorm van het landschap, maar als je probeert naar een specifieke bestemming te navigeren, kan de route die ze suggereren aanzienlijk verschillen.
De studie onderzocht ook hoe goed deze scores de economische rijkdom van een land voorspelden. In deze specifieke groep van vijfentwintig landen lieten de leerscores een iets sterkere verbinding met rijkdom zien dan de intelligentiescores deden. Echter, het verschil was klein genoeg zodat statistische tests niet konden bevestigen dat het een echt, betrouwbaar voordeel was in plaats van een toevalstreffer van de specifieke steekproef die werd gebruikt. De onderzoeker stelde vast dat het resultaat gevoelig was voor de manier waarop de data werd geconstrueerd. Wanneer de steekproef werd gewijzigd om andere landen te bevatten, of wanneer de data werd gewogen om de bevolkingsomvang te weerspiegelen in plaats van elk land als gelijk te behandelen, verschoof de omvang van het verschil tussen de twee maten. In sommige variaties zagen de leerscores er veel beter uit bij het voorspellen van rijkdom; in andere kromp de kloof of keerde deze zelfs om. Cruciaal was dat de studie vond dat de richting van het verschil consistent bleef in de primaire analyse, maar dat de omvang van dat verschil volledig afhankelijk was van welke landen werden opgenomen en hoe de data werd gewogen.
Dit werk dient als een waarschuwend voorbeeld voor iedereen die nationale data gebruikt om brede vergelijkingen te maken. De audit laat zien dat een hoge correlatie geen toverstaf is die twee verschillende maten hetzelfde maakt. Alleen omdat twee lijsten met getallen samen bewegen, betekent dit niet dat ze het eens zijn over de details, noch dat ze tot dezelfde beleidsbeslissingen of onderzoeksconclusies zullen leiden. De onderzoeker heeft niet verklaard dat de ene maat superieur is aan de andere, noch heeft hij bewezen dat de ene ongeldig is. In plaats daarvan benadrukt de studie dat de keuze van welk getal men gebruikt ertoe doet. Het laat zien dat het vervangen van de ene indicator door de andere de rangschikking van landen kan veranderen, de identificatie van uitschieters kan wijzigen en de sterkte van hun relatie met economische uitkomsten kan verschuiven. De bevindingen suggereren dat onderzoekers, voordat ze één maat door een andere vervangen, precies moeten definiëren wat ze proberen te behouden — de specifieke rangschikking, de classificatie van topsprekende presteerders, of de link met een uitkomst — en moeten testen of de nieuwe maat dat terrein daadwerkelijk vasthoudt. Zonder een dergelijke controle blijft de vervanging een onbewezen gok, en kunnen de conclusies die daaruit worden getrokken kwetsbaarder zijn dan ze lijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.