Identifying the post-pandemic determinants of low performing students in Latin America through Interpretable Machine Learning methods

Dit artikel identificeert met behulp van interpretable machine learning de belangrijkste determinanten voor slecht presterende leerlingen in Latijns-Amerika na de pandemie, waarbij taalkleuren, schoolherhaling, gebrek aan digitale middelen, armoede en werk, en schoolkwaliteit als cruciale factoren naar voren komen.

De kern

Titel: Waarom sommige leerlingen in Latijns-Amerika vastlopen: Een machine-learning detectiveverhaal

Stel je voor dat Latijns-Amerika een gigantisch schoolplein is. Op dit plein zitten miljoenen kinderen. De meeste proberen hard te leren, maar een heel groot deel van hen loopt vast. Ze halen de basis niet: ze kunnen niet goed lezen, rekenen of begrijpen wat er in de wereld om hen heen gebeurt. Dit probleem was al groot, maar door de coronapandemie (waarop scholen maandenlang dicht waren) is het alleen maar erger geworden.

De auteurs van dit papier zijn als detectives die een nieuw soort gereedschap hebben: kunstmatige intelligentie (AI). In plaats van alleen maar naar cijfers te kijken, gebruiken ze slimme computers om te achterhalen waarom bepaalde leerlingen vastlopen. Ze kijken niet naar het gemiddelde, maar specifiek naar de kinderen die het minst goed doen.

Hier is hoe ze het hebben aangepakt, vertaald in begrijpelijke taal:

1. De Grote Foto vs. De Detailfoto

Stel je voor dat je een foto maakt van een heel bos. Je ziet bomen, maar je ziet niet welke boom ziek is.

• De oude manier: Onderzoekers keken vaak naar het "gemiddelde kind". Dat is als zeggen: "Gemiddeld hebben bomen water nodig." Maar dat helpt niet als één specifieke boom in een droge put staat en een andere in een modderpoel.
• De nieuwe manier (deze studie): De onderzoekers gebruiken AI om te kijken naar de twee groepen die het slechtst doen:
  1. De groep die helemaal niets begrijpt (niveau 0).
  2. De groep die net niet de basis haalt (niveau 1).
     Ze willen weten: Wat maakt dat het ene kind in de modderpoel zit en het andere kind in de droge put?

2. De "Stacking" Methode: Een Team van Experts

De onderzoekers hebben niet één computer gebruikt, maar een team van vijf verschillende slimme algoritmen (zoals een team van detectives met verschillende specialiteiten).

• Sommige zijn goed in lineaire patronen (zoals een logistiek denken).
• Anderen zijn goed in complexe, kromme lijnen (zoals een intuïtief denker).
  Ze hebben deze vijf teams laten samenwerken in een "stacking" model. Het is alsof je vijf verschillende experts vraagt om een raadsel op te lossen, en dan een zesde expert (de "meta-model") kijkt naar hun antwoorden en zegt: "Oké, we vertrouwen het meest op de antwoorden van expert A en B, en minder op C." Dit geeft een veel nauwkeurigere voorspelling dan één expert alleen.

3. De "SHAP" Uitleg: De Rekenmachine die Alles Uitlegt

Het grootste probleem met slimme computers is dat ze vaak een "zwarte doos" zijn: ze geven een antwoord, maar je weet niet waarom.
De onderzoekers gebruiken een techniek genaamd SHAP.

• De Analogie: Stel je voor dat een kind faalt in de wiskunde. De AI zegt: "Het is de schuld van de ouders, de school, het geld en de computer."
• SHAP is als een eerlijke rechter die zegt: "Oké, laten we kijken naar dit specifieke kind. Hoeveel heeft 'geen computer' bijgedragen aan het falen? Hoeveel heeft 'arm gezin' bijgedragen?"
  Het geeft een puntenscore voor elke factor. Zo weten we precies welke factoren het zwaarst wegen.

4. Wat Vonden Ze? (Het Profiel van de "Vastlopers")

De AI heeft een heel duidelijk profiel getekend van het kind dat de grootste kans heeft om vast te lopen (niveau 0). Dit kind is vaak:

• Armoedig: Het komt uit een heel arm gezin.
• Werkt: Het werkt deels van de week voor geld, in plaats van te studeren.
• Geen apparaten: Er is geen computer of tablet in huis.
• Taal: Het spreekt een minderheidstaal of een inheemse taal, wat het lastig maakt in een school die in het Spaans of Portugees lesgeeft.
• Herhaling: Het heeft al een klas overgeslagen (herhaald).
• De School: Het gaat naar een school met een slecht klimaat, slechte internetverbinding en weinig gekwalificeerde leraren.

Het tegenovergestelde profiel (het kind dat wél de basis haalt) heeft een rijkere familie, veel boeken en apparaten thuis, werkt niet, en gaat naar een school met goede faciliteiten en gekwalificeerde leraren.

5. De Verbinding: Waarom is dit belangrijk?

De studie laat zien dat het niet één ding is dat de problemen veroorzaakt, maar een kettingreactie.

• Als een kind arm is, heeft het geen computer.
• Omdat het geen computer heeft, kan het tijdens de pandemie niet online leren.
• Omdat het niet kon leren, haalt het de lesstof niet en moet het een klas herhalen.
• Omdat het een klas herhaalt, raakt het gefrustreerd en gaat het werken om het gezin te helpen.
• Omdat het werkt, heeft het geen tijd voor huiswerk.

De AI laat zien dat als je één schakel in deze keten breekt (bijvoorbeeld: geld geven zodat ze niet hoeven te werken, of computers in de school zetten), de kans dat ze weer gaan stijgen in het leerproces, enorm toeneemt.

Conclusie: Een Kaart voor de Weg

Dit papier is als een GPS voor beleidsmakers in Latijns-Amerika.
Vroeger zeiden ze: "We moeten meer geld geven aan scholen."
Nu, dankzij deze slimme analyse, kunnen ze zeggen: "We moeten specifiek geld geven aan deze arme kinderen die werken en geen computer hebben, en we moeten leraren sturen naar deze specifieke scholen met een slecht klimaat."

Het is een oproep om niet meer naar het "gemiddelde" te kijken, maar naar de kinderen die het hardst nodig hebben, en precies te weten wat ze nodig hebben om weer op te krabbelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Identifying the Post-Pandemic Determinants of Low Performing Students in Latin America through Interpretable Machine Learning Methods", geschreven in het Nederlands.

Titel: Identificatie van post-pandemische determinanten van slecht presterende leerlingen in Latijns-Amerika door middel van interpreteerbare machine learning-methoden

1. Probleemstelling en Achtergrond

Latijns-Amerika (LAC) kampt met een ernstige onderwijscrisis, gekenmerkt door een hoge prevalentie van leerlingen die geen basiscompetenties behalen. Deze situatie is verergerd door de COVID-19-pandemie, die leidde tot de langste periode van schoolsluitingen in de regio (gemiddeld 269 dagen tussen 2020 en 2021) en een gebrek aan connectiviteit.

• De Leerarmoede: Volgens PISA 2022-data presteert ongeveer 75% van de leerlingen in wiskunde onder niveau 2 (basiscompetenties), en meer dan 50% in lezen.
• Het Onderzoeksgat: Bestaande studies richten zich vaak op "gemiddelde" leerlingen of beschouwen alle slecht presterende leerlingen als één homogene groep. Er is echter een noodzaak om te differentiëren tussen de onderste presteerders (niveau 0: geen competentie) en de lage presteerders (niveau 1: onder basiscompetentie, maar boven niveau 0). De determinanten die leiden tot deze specifieke niveaus kunnen verschillen, wat cruciaal is voor gerichte beleidsinterventies.
• Doel: Het artikel beoogt de determinanten van leerarmoede in te kaart te brengen voor de LAC-regio, met een focus op de meest kwetsbare groepen, gebruikmakend van de meest recente post-pandemische data.

2. Methodologie

De studie maakt gebruik van geavanceerde machine learning (ML) technieken gecombineerd met interpreteerbare methoden om niet-lineaire relaties te modelleren en de "black box" van ML te doorbreken.

• Data: PISA 2022-data van 10 Latijns-Amerikaanse landen (Argentinië, Brazilië, Chili, Colombia, Dominicaanse Republiek, Mexico, Panama, Peru, Paraguay en Uruguay).
• Afhankelijke Variabelen: Twee binaire uitkomsten werden gedefinieerd om de onderste prestatie-niveaus te analyseren:
  1. Niveau 0 (geen competentie) vs. Niveau 1.
  2. Niveau 1 (onder basis) vs. Niveau 2 (basiscompetentie).
     De variabelen zijn geaggregeerd over de drie vakken: wiskunde, lezen en wetenschappen.
• Modellering (Stacking Ensemble):
  • Er werden vijf binaire classificatiemodellen getraind: Logistische Regressie (Logit), Logistische Lasso met CV-straf, Random Forest (RF), Gradient Boosting (GB) en Neuronale Netwerken (NN).
  • Stacking: Een meta-model werd gebouwd door de voorspellingen van de beste configuraties van deze vijf modellen te combineren via gewogen gemiddelden (stacked generalization). Dit verhoogt de voorspellingsnauwkeurigheid en robuustheid.
  • Validatie: De modellen werden getraind met stratified K-fold cross-validatie (5 folds) en een train-test split van 80-20%. Prestaties werden gemeten met ACC, Recall, Precision, F1-score, Specificity en AUC.
• Interpretatie (SHAP):
  • Om de "black box" van het ensemble-model te verklaren, werd SHAP (SHapley Additive exPlanations) gebruikt.
  • SHAP-waarden kwantificeren de bijdrage van elke variabele aan de voorspelling voor elke individuele observatie.
  • Er werden zowel globale verklaringen (gemiddelde absolute SHAP-waarden over de hele steekproef) als lokale verklaringen (profielen van leerlingen aan de uiterste uiteinden van de SHAP-verdelingsindex) gegenereerd.

3. Belangrijkste Bijdragen

1. Disaggregatie van Leerarmoede: Het is de eerste empirische studie die de determinanten van leerarmoede in Latijns-Amerika splitst in "onderste" (niveau 0) en "lage" (niveau 1) presteerders, in plaats van ze te aggregeren.
2. Post-Pandemisch Inzicht: Het analyseert de meest recente PISA-data (2022), wat uniek is voor studies die de impact van de pandemie op de onderste prestatie-niveaus onderzoeken.
3. Regionale Schaal: In tegenstelling tot eerdere studies die zich vaak op één land of rijkere landen richten, omvat deze studie 10 landen in Latijns-Amerika.
4. Methodologische Innovatie: Toepassing van een gestacked ensemble-model met SHAP-analyse op onderwijsdata uit het "Global South", wat een nieuwe standaard zet voor het identificeren van risicoleerlingen in complexe, ongelijkheidsgebaseerde systemen.

4. Resultaten

A. Globale Determinanten (Regionaal)

• Voor Niveau 0 vs. Niveau 1 (Onderste groep): De belangrijkste determinanten zijn herhaling in het basisonderwijs, een slecht schoolklimaat, het spreken van een minderheidstaal, gebrek aan digitale apparaten thuis, en een lage sociaaleconomische status (SES). Leerlingen in deze groep werken vaak deels betaald.
• Voor Niveau 1 vs. Niveau 2 (Lage groep): Hier spelen huishoudelijke welvaart, educatieve ondersteuning door het gezin en digitale input (aantal apparaten) een grotere rol. Herhaling is hier minder dominant dan bij de onderste groep.
• Schoolfactoren: Schoolgrootte, contextuele armoede op school en de leerkracht-studentratio voor pedagogische ondersteuning zijn cruciaal. Voor de onderste groep is de ICT-infrastructuur (PC's per leerkracht) een sterkere determinant dan voor de groep die net boven de basis zit.

B. Lokale Profielen (Uiterste waarden)
Door leerlingen met de hoogste en laagste SHAP-bijdragen te vergelijken, worden extreme profielen geïdentificeerd:

• Het "Risico-Profiel" (Kans op Niveau 0): Een leerling die met de hoogste waarschijnlijkheid niveau 0 bereikt, spreekt een minderheidstaal, heeft herhaald in het basisonderwijs, heeft geen digitale apparaten thuis, komt uit een zeer arm gezin, werkt deels betaald (ongeveer 2,5 dagen per week), en bezoekt een school met een slecht klimaat, zwakke ICT-infrastructuur en slechts een derde gecertificeerde leerkrachten.
• Het "Beschermde Profiel" (Kans op Niveau 1): Een leerling die net boven de bodem scoort, komt uit een welvarender gezin, heeft boeken en digitale apparaten, werkt niet, heeft geen herhaling, en bezoekt een school met een beter klimaat, meer autonomie en een hogere kwaliteit van leerkrachten.

C. Landenspecifieke Bevindingen

• Er is een hoge mate van homogeniteit in de top-10 factoren over de 10 landen: herhaling, huishoudelijke welvaart en ICT-inputs zijn in minstens 8 van de 10 landen in de top-10.
• Er zijn echter specifieke nuances: In Chili en Panama is de opleidingsniveaus van de moeder extreem laag bij de onderste groep; in Mexico is betaald werk bijna voltijds; in Peru en Paraguay spelen etnische achtergrond en zeer zwakke ICT-infrastructuur een prominente rol.

5. Betekenis en Beleidsimplicaties

De studie biedt een onderbouwd kader voor gerichte interventies ("Early Warning Systems") om de leerarmoede in Latijns-Amerika aan te pakken:

• Differentiatie in Beleid: Interventies moeten verschilt zijn voor leerlingen op niveau 0 versus niveau 1. Voor de onderste groep is het direct aanpakken van herhaling, armoede en het bieden van financiële steun (om betaald werk te verminderen) cruciaal.
• Investeren in Input: Er is een dringende behoefte aan investeringen in digitale infrastructuur (ICT) en de kwaliteit van leerkrachten (certificering en professionele ontwikkeling), vooral in scholen met de grootste achterstand.
• Schoolklimaat: Het verbeteren van het schoolklimaat en de welzijnssteun van leerkrachten is een effectieve hefboom om leerlingen van niveau 0 naar niveau 1 te tillen.
• Intersectionaliteit: De analyse toont aan dat factoren zoals geslacht, herhaling en ICT-bezit interacties vertonen met welvaart. Beleid moet rekening houden met deze kruisbestuivingen (bijv. arme meisjes hebben een ander risico-profiel dan arme jongens).

Concluderend biedt deze paper een robuuste, data-gedreven methode om de meest kwetsbare leerlingen in Latijns-Amerika te identificeren en te begrijpen welke specifieke, veranderbare factoren nodig zijn om hen uit de leerarmoede te halen.