Which disadvantaged students beat the odds in STEM? A design-consistent, fairness-audited machine learning study of 143,573 adolescents in 79 PISA 2022 education systems
Deze studie hanteert een ontwerp-consistent, op eerlijkheid gecontroleerd machine learning-benadering op PISA 2022-gegevens van 143.573 benadeelde adolescenten uit 79 onderwijssystemen om vast te stellen dat hoewel zelfeffectiviteit in wiskunde de sterkste universele voorspeller is van STEM-veerkracht, voorspellende modellen aanzienlijke beperkingen vertonen in de transporteerbaarheid en systematische vooroordelen hebben tegen meisjes en rurale studenten, wat de noodzaak voor contextspecifieke en rechtvaardige screeningsstrategieën onderstreept.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk jaar maken miljoenen vijftienjarigen over de hele wereld gestandaardiseerde toetsen die meten hoe goed ze wiskunde en natuurkunde begrijpen. Decennialang hebben onderzoekers een eenvoudige, hardnekkige waarheid gekend over deze resultaten: de rijkdom van de familie van een student is een van de sterkste voorspellers van hun score. Kinderen uit armere milieus scoren doorgaans lager, terwijl zij uit rijkere gezinnen vaak hoger scoren. Deze kloof is van groot belang omdat bekwaamheid in deze vakken de toegangspoort vormt tot carrières in wetenschap, technologie, techniek en wiskunde. Toch is het verhaal niet volledig deterministisch. In elk land dat aan deze toetsen deelneemt, zijn er studenten uit het armste kwartiel van de huishoudens die de kansen trotseren. Zij behalen hoge cijfers voor zowel wiskunde als natuurkunde, wat bewijst dat achterstand succes niet onmogelijk maakt. Deze studenten worden vaak "academisch veerkrachtig" genoemd. De vraag die onderwijzers en beleidsmakers al lang bezighoudt, is niet alleen wie deze studenten zijn, maar welke factoren hen helpen slagen. Is het hun eigen zelfvertrouwen? De steun van hun leraren? De middelen die beschikbaar zijn in hun scholen?
Lama tijd vertrouwde het beantwoorden van deze vraag op traditionele statistiek, die vaak moeite heeft met het ontwarren van het complexe web van factoren die het leven van een student beïnvloeden. Onlangs zijn onderzoekers begonnen met het gebruik van machine learning, een type computerprogramma dat patronen kan vinden in enorme hoeveelheden gegevens, om naar antwoorden te zoeken. Veel van deze vroege pogingen maakten echter gebruik van shortcuts waarbij de specifieke manier waarop de testgegevens werden verzameld, werd genegeerd. Ze behandelden de gegevens als een eenvoudige lijst met namen in plaats van een zorgvuldig ontworpen enquête, en ze testten hun modellen vaak alleen op dezelfde gegevens die ze hadden gebruikt om ze te bouwen, zonder te controleren of de resultaten stand zouden houden in een ander land. Een nieuwe studie gepubliceerd in 2026, geleid door Omar Allohibi van de Taibah University, zet zich in om deze problemen op te lossen. Door gegevens te analyseren van 143.573 benadeelde adolescenten uit 79 verschillende onderwijssystemen, bouwden zij een machine learning-model dat ontworpen is om te voorspellen welke studenten de kansen verslaan. Cruciaal was dat zij het model met uiterste zorg bouwden om het ontwerp van de enquête te respecteren, het model testten op landen die het nog nooit eerder had gezien, en controleerden of het verschillende groepen studenten eerlijk behandelde.
De studie begon met het definiend van wat "de kansen verslaan" precies betekende. Ze richtten zich uitsluitend op studenten uit het onderste kwartiel van de sociaaleconomische schaal in elk land. Vervolgens zochten ze naar diegenen die een specifiek niveau van bekwaamheid bereikten in zowel wiskunde als natuurkunde, een standaard die hoog genoeg is om aan te geven dat zij klaar zijn voor geavanceerd onderwijs. Ze ontdekten dat wereldwijd slechts ongeveer 12,5 procent van deze benadeelde studenten aan deze hoge lat voldeed. Het percentage varieerde enorm per land, variërend van minder dan een tiende van een procent in sommige systemen tot 62 procent in Singapore. Deze variatie suggereerde dat de omgeving van het schoolsysteem zelf een enorme rol speelt in de vraag of een student kan floreren.
Toen ze hun machine learning-model trainden om te voorspellen welke studenten veerkrachtig zouden zijn, presteerde het met opmerkelijke nauwkeurigheid. Het model kon onderscheid maken tussen worstelende en bloeiende studenten veel beter dan een eenvoudige gok gebaseerd op het gemiddelde prestatieniveau van een land. De krachtigste voorspeller die het model vond, was niet een schoolmiddel of het inkomensniveau van een familie, maar het geloof van de student in hun eigen vermogen om met wiskunde bezig te zijn. Dit gevoel, bekend als zelfeffectiviteit, was de sterkste factor in alle 79 landen. Studenten die geloofden dat ze wiskundeproblemen konden oplossen, waren veel meer geneigd om te slagen, zelfs wanneer zij te maken hadden met aanzienlijke achterstanden. Andere factoren, zoals toegang tot computers thuis en het vermogen om stress te weerstaan, speelden ook belangrijke rollen. Interessant genoeg vond het model ook dat studenten die betaalde banen buiten de school hadden, minder waarschijnlijk veerkrachtig waren, waarschijnlijk omdat ze minder tijd hadden om te studeren.
Het onderzoek onthulde echter een kritieke beperking in de manier waarop deze modellen vaak worden gebruikt. Wanneer ze een model dat getraind was op gegevens uit veel landen gebruikten om de uitkomsten in één enkel, onbekend land te voorspellen, daalde de nauwkeurigheid aanzienlijk. Hoewel het model nog steeds nuttig was, was het niet zo betrouwbaar als de wereldwijde cijfers suggereerden. Belangrijker nog, de specifieke factoren die het belangrijkst waren in het ene land, verschilden vaak van de factoren die het belangrijkst waren in het andere land. De enige uitzondering was het geloof in het eigen wiskundig vermogen, wat overal de belangrijkste voorspeller bleef. Deze bevinding daagt het idee uit dat er een enkele, universele lijst van "sleutelcomponenten" voor succes bestaat die voor elke cultuur en elk onderwijssysteem geldt. In plaats daarvan suggereert het dat hoewel zelfvertrouwen een universele motor voor succes is, de andere ondersteunende factoren sterk afhangen van de lokale context.
Ze voerden ook een fairness-audit uit om te zien of het model alle studenten gelijk behandelde. Ze ontdekten dat, hoewel het model gemiddeld genomen accuraat was, het verschillende soorten fouten maakte voor verschillende groepen. Het was aanzienlijk minder waarschijnlijk om veerkrachtige meisjes correct te identificeren dan veerkrachtige jongens. Het was ook veel minder waarschijnlijk om veerkrachtige studenten in landelijke gebieden te herkennen vergeleken met die in steden. Wanneer ze geslacht uit de invoer van het model verwijderden, verdween het gat voor meisjes, wat suggereerde dat het model had geleerd om geslacht te gebruiken als een shortcut die tegen meisjes werkte. Het verwijderen van de landelijke locatie uit het model loste de kloof voor landelijke studenten echter niet op. Dit gaf aan dat het probleem voor landelijke studenten niet het bias van het model was, maar het feit dat de algemene omstandigheden in landelijke gebieden het succes moeilijker voorspelbaar maakten met een enkele standaard.
De studie concludeert dat, hoewel machine learning hen kan helpen de factoren achter academische veerkracht te begrijpen, zij voorzichtig moeten zijn met de manier waarop zij deze instrumenten gebruiken. De belangrijkste les is dat vertrouwen in het eigen vermogen om met wiskunde bezig te zijn een krachtige, universele kracht is die benadeelde studenten kan helpen slagen. Maar het vertrouwen op een enkel globaal model om beslissingen te nemen voor elke student in elk land is riskant. De factoren die succes drijven zijn niet overal hetzelfde, en een model dat goed werkt in de ene plek, kan de plank misslaan in een andere. Bovendien, als deze instrumenten worden gebruikt om studenten te identificeren voor ondersteuningsprogramma's, moeten ze zorgvuldig worden gecontroleerd om te garanderen dat ze niet systematisch meisjes of studenten in landelijke gemeenschappen over het hoofd zien. Door de complexiteit van de gegevens te respecteren en modellen te testen in de echte wereld waar ze gebruikt zullen worden, kunnen onderzoekers instrumenten bouwen die echt bijdragen aan gelijkheid in het onderwijs, in plaats van per ongeluk de kloven te vergroten die zij juist proberen te dichten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.