Cognitive and non-cognitive efficiency gaps between private and public schools in the Latin America region-a hybrid DEA and machine learning approach based on PISA 2022

Dit artikel analyseert met een hybride DEA-machinaal leermethode op basis van PISA 2022-data dat particuliere scholen in Latijns-Amerika een hogere cognitieve en niet-cognitieve efficiëntie vertonen dan openbare scholen, waarbij de belangrijkste determinanten voor deze verschillen variëren van thuisbeschikking over middelen tot schoolklimaat en afwezigheid van betaald werk.

De kern

De Grote Schoolwedstrijd in Latijns-Amerika: Waarom sommige scholen meer halen met minder middelen

Stel je voor dat Latijns-Amerika een enorme, drukke markt is. Op deze markt zijn er twee soorten winkels: de publieke winkels (de scholen die door de overheid worden betaald) en de privé-winkels (de scholen waar ouders betalen).

De vraag die deze onderzoeker, Marcos Delprato, zich stelt, is niet wie de mooiste winkel heeft, maar wie de meeste waar voor zijn geld levert. Kunnen ze met dezelfde hoeveelheid ingrediënten (geld, leraars, gebouwen) het lekkerste gerecht (leerresultaten) op tafel zetten?

Hier is wat hij ontdekt, vertaald in alledaags taal:

1. De Grote Kwestie: Een Pandemie en een Leeg Maag

Voor de coronapandemie was het al lastig in Latijns-Amerika. Veel kinderen leerden te weinig. Toen de pandemie toesloeg en scholen maandenlang dichtgingen, werd het nog erger. De "armste" winkels (de publieke scholen) hadden het het zwaarst: ze hadden minder internet, minder apparaten en hun klanten (leerlingen) hadden het thuis vaak moeilijker.

De onderzoekers wilden weten: Wie werkt er nu het efficiëntst? Wie haalt het meeste uit wat ze hebben?

2. De Methode: Een Slimme Rekenmachine

Om dit te meten, gebruikte de auteur twee slimme gereedschappen:

• DEA (Data Envelopment Analysis): Denk hieraan als een super-slimme kok die kijkt naar 2.000 winkels. Hij zegt: "Als jij met deze hoeveelheid meel, suiker en eieren 10 koekjes maakt, maar ik kan er met hetzelfde mengsel 15 maken, dan ben jij minder efficiënt."
• Machine Learning (De Digitale Detective): Omdat er honderden factoren zijn (heeft het kind een computer? Is de leraar gecertificeerd? Is het klimaat in de klas goed?), gebruikte hij een computerprogramma dat als een detective werkt. Het zoekt uit welke factoren echt belangrijk zijn voor succes en welke niet.

3. De Resultaten: De Privé-Winkel wint (maar niet alles is zwart-wit)

De Scorebord:

• Cognitieve efficiëntie (Kennis & Noten): De privé-scholen scoorden beter. Ze halen ongeveer 10% meer resultaten met dezelfde middelen dan de publieke scholen.
• Niet-cognitieve efficiëntie (Gedrag & Emoties): Ook hier wint de privé-winkel, maar de voorsprong is kleiner (ongeveer 4,5%). Dit gaat over dingen als doorzettingsvermogen, samenwerking en zelfvertrouwen.

De Verspreiding:
De publieke scholen lijken op een zwerm vogels die alle kanten op vliegen: sommige zijn heel goed, maar veel zijn erg slecht. De privé-scholen lijken meer op een vliegende formatie: ze zitten dichter bij elkaar en zijn over het algemeen consistenter goed.

4. Waarom is dit zo? De "Recepten" van Succes en Mislukking

De digitale detective (Machine Learning) keek naar de ingrediënten en vond de volgende patronen:

🏆 De Winnaars (De meest efficiënte Privé-scholen):
Stel je een privé-school voor die een "perfecte koek" bakt. Wat hebben ze?

• Rijke voorraadkast: Kinderen hebben thuis veel boeken en een eigen computer.
• Geen afleiding: Kinderen werken niet bijbaantjes uit; ze kunnen zich volledig op school richten.
• Vrijheid: De school heeft veel vrijheid om zelf beslissingen te nemen (autonoom).
• Goed klimaat: De sfeer in de klas is positief en er wordt niet veel gebluft (verzuim is laag).

📉 De Verliezers (De minst efficiënte Publieke scholen):
Stel je een publieke school voor die worstelt. Wat gaat er mis?

• Te veel herhaling: Veel kinderen zitten een jaar vast in hetzelfde klasniveau (herhaling).
• Werken in plaats van leren: Veel kinderen werken bijbaantjes, waardoor ze moe zijn en minder leren.
• Slechte sfeer: De schoolklimaat is slecht, kinderen missen vaak les en er is veel verzuim.
• Pandemie-problemen: Tijdens de lockdown konden ze hun huiswerk niet doen omdat er geen internet of computers waren.

5. Wat betekent dit voor de toekomst?

De auteur zegt niet dat we alle publieke scholen moeten sluiten. Integendeel! Hij zegt: "Kijk eens wat de winnaars doen en probeer dat na te bootsen."

• De Grootste Kans: Publieke scholen hebben nog veel ruimte om te groeien. Als ze net zo efficiënt zouden werken als de beste privé-scholen, zouden ze met dezelfde middelen veel betere resultaten kunnen halen.
• De Oplossing: Het gaat niet alleen om meer geld. Het gaat om het verbeteren van de sfeer, het verminderen van het werk dat kinderen doen, en ervoor zorgen dat kinderen thuis de tools hebben (zoals een computer) om hun huiswerk te maken.
• De Leerling als Mens: Omdat de resultaten op "gedrag en emotie" (niet-cognitief) ook belangrijk zijn, kan het helpen om kinderen te leren omgaan met stress en samen te werken. Dit helpt hen om beter te presteren in de klas, zelfs als de omstandigheden moeilijk zijn.

Kortom:
Privé-scholen in Latijns-Amerika werken momenteel iets "slimmer" met wat ze hebben. Maar publieke scholen kunnen nog veel leren van hun succes. Als ze de obstakels wegnemen (zoals gebrek aan internet of te veel werk voor kinderen), kunnen ze net zo goed presteren, zonder dat er extra geld nodig is. Het is een kwestie van het recept verbeteren, niet alleen de ingrediënten vergroten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Cognitive and Non-Cognitive Efficiency Gaps Between Private and Public Schools in the Latin America Region", geschreven in het Nederlands.

Titel

Cognitieve en niet-cognitieve efficiëntiekloven tussen particuliere en openbare scholen in Latijns-Amerika: Een hybride DEA- en machine learning-benadering gebaseerd op PISA 2022.

1. Probleemstelling en Context

Het onderwijssysteem in Latijns-Amerika en het Caribisch gebied (LAC) kampt met een ernstige leercrisis, versterkt door hoge ongelijkheid en segregatie. De COVID-19-pandemie heeft deze situatie verergerd door langdurige schoolsluitingen en een daling in leerprestaties, waarbij kwetsbare leerlingen (vaak in openbare scholen) disproportioneel zwaar werden getroffen.
In een context van schaarste aan middelen is het concept van school-efficiëntie (het vermogen van een school om de maximale output te produceren met beschikbare inputs) cruciaal voor beleidsmakers. Er bestaat echter onzekerheid over de mate waarin particuliere en openbare scholen middelen efficiënt gebruiken en welke factoren deze efficiëntie bepalen, vooral in de post-pandemische context. Bestaande literatuur is vaak beperkt tot voor-pandemische data of nationale studies, zonder een regionale vergelijking die zowel cognitieve als niet-cognitieve uitkomsten omvat.

2. Methodologie

De auteur hanteert een hybride methodologische aanpak die twee fasen combineert:

Fase 1: Data Envelopment Analysis (DEA)

• Doel: Het schatten van technische efficiëntiescores voor individuele scholen.
• Data: PISA 2022 data van 2.034 scholen in negen LAC-landen (Argentinië, Brazilië, Chili, Colombia, Dominicaanse Republiek, Mexico, Panama, Peru, Uruguay).
• Aanpak: Er worden vier aparte modellen geschat (twee per schooltype: openbaar en particulier):
  1. Cognitieve efficiëntie (output: gemiddelde scores wiskunde, lezen, wetenschap).
  2. Niet-cognitieve efficiëntie (output: een samengesteld maatstaf voor welzijn en persoonlijkheidstrekken zoals assertiviteit, empathie, doorzettingsvermogen).
  3. Inputs: Schoolinfrastructuur, leerling-leerkrachtverhouding, en het gemiddelde huishoudelijk vermogen van leerlingen.
• Techniek: Er wordt gebruikgemaakt van een output-georiënteerde DEA met variabele schaalopbrengsten (VRS). De scores variëren van 0 tot 1, waarbij 1 de efficiëntiegrens (frontier) aangeeft.
• Validatie: Stochastische dominantie-tests (First and Second Order Stochastic Dominance) worden uitgevoerd om te bepalen of het efficiëntieprofiel van particuliere scholen statistisch significant superieur is aan dat van openbare scholen.

Fase 2: Interpretable Machine Learning (IML)

• Doel: Het identificeren van de belangrijkste determinanten die bijdragen aan hoge efficiëntie.
• Aanpak: In plaats van traditionele Tobit-regressies, wordt een machine learning-benadering gebruikt om de "curse of dimensionality" aan te pakken (42 covariaten).
• Model: De afhankelijke variabele is binair (1 = school behoort tot de top 50% qua efficiëntie, 0 = anders). Drie modellen worden vergeleken: Logistische regressie, Neural Networks en Gradient Boosted Trees (GBT). GBT wordt geselecteerd als het beste model op basis van AUROC en AUPRC metrics.
• Verklaring: De SHAP (Shapley Additive Explanations) methode wordt toegepast op het GBT-model om de bijdrage van elke variabele (zowel globaal als lokaal) aan de voorspelde efficiëntie te kwantificeren.

3. Kernresultaten

Efficiëntiekloven (DEA-resultaten)

• Cognitieve efficiëntie: Er is een significante kloof van ongeveer 0,10 ten gunste van particuliere scholen.
  • Gemiddelde efficiëntie particuliere scholen: 0,865.
  • Gemiddelde efficiëntie openbare scholen: 0,768.
  • Openbare scholen hebben meer ruimte voor verbetering (23% vs. 14% bij particuliere scholen) zonder extra middelen.
• Niet-cognitieve efficiëntie: Ook hier scoren particuliere scholen beter, maar de kloof is kleiner (0,045).
  • Particulier: 0,685; Openbaar: 0,640.
• Heterogeniteit: Openbare scholen vertonen een grotere spreiding (heterogeniteit) in efficiëntie dan particuliere scholen, wat suggereert dat er binnen de openbare sector grote verschillen zijn tussen goed en slecht presterende scholen.
• Stochastische dominantie: Tests bevestigen dat particuliere scholen stochastisch dominant zijn op zowel de eerste orde (hogere gemiddelde efficiëntie) als de tweede orde (lagere variabiliteit/risico) voor beide uitkomsttypes.

Determinanten van Efficiëntie (IML/SHAP-resultaten)
De analyse toont aan dat de factoren die leiden tot hoge efficiëntie sterk verschillen per schooltype:

• Particuliere scholen (Factoren voor hoge efficiëntie):
  • Hoge voorraad boeken en PC's thuis.
  • Afwezigheid van betaald werk voor leerlingen.
  • Hoge schoolautonomie.
  • Goede schoolklimaat en weinig afwezigheid.
• Openbare scholen (Factoren voor lage efficiëntie):
  • Slecht schoolklimaat.
  • Hoge herhalingspercentages (repetitie) en schoolverzuim.
  • Intensive betaald werk van leerlingen.
  • Weinig boeken thuis.
  • Barrières voor huiswerk tijdens de pandemie (o.a. connectiviteitsproblemen).

Lokale Analyse (Extremen)
Een vergelijking tussen een zeer efficiënte particuliere school en een zeer inefficiënte openbare school toont een scherp contrast: de efficiënte particuliere school profiteert van een rijke thuisomgeving en goede schoolfaciliteiten, terwijl de inefficiënte openbare school wordt geconfronteerd met een cumulatief effect van sociale achterstand, hoge herhalingspercentages en gebrekkige ondersteuning voor afstandsonderwijs.

4. Bijdrage aan de Literatuur

1. Post-pandemisch perspectief: Dit is de eerste regionale studie die school-efficiëntie analyseert met data van na de COVID-19-pandemie (PISA 2022), waardoor nieuwe factoren zoals digitale voorbereiding en remote learning worden meegenomen.
2. Niet-cognitieve uitkomsten: De studie breidt het domein van efficiëntiestudies uit door ook sociaal-emotionele vaardigheden (niet-cognitieve uitkomsten) te analyseren, wat essentieel is voor een holistisch onderwijsbeeld.
3. Methodologische innovatie: De toepassing van een hybride DEA-IML benadering (DEA gecombineerd met Gradient Boosted Trees en SHAP) voor onderwijsdata in Latijns-Amerika. Dit overwint de beperkingen van traditionele tweestapsregressies bij het hanteren van grote datasets met veel variabelen.

5. Betekenis en Beleidsimplicaties

De studie concludeert dat particuliere scholen in Latijns-Amerika middelen efficiënter omzetten in leerresultaten dan openbare scholen, maar dat er aanzienlijke ruimte is voor verbetering in de publieke sector zonder extra investeringen.

• Beleid: Beleidsmakers moeten focussen op het homogeniseren van de efficiëntie binnen openbare scholen door best practices van de meest efficiënte openbare scholen te benchmarken en over te dragen naar minder efficiënte scholen.
• Interventies: Het verbeteren van niet-cognitieve vaardigheden (zoals doorzettingsvermogen en emotionele controle) bij leerlingen in openbare scholen kan een mechanisme zijn om de cognitieve efficiëntie te verhogen en de kloof met particuliere scholen te verkleinen.
• Pandemie-leringen: De resultaten onderstrepen het belang van digitale infrastructuur en het verminderen van barrières voor huiswerk, aangezien deze factoren sterk correleren met efficiëntie, vooral in openbare scholen.

Kortom, de paper biedt een robuust empirisch bewijs dat de efficiëntiekloof tussen schooltypes in Latijns-Amerika bestaat en aanhoudt, en identificeert specifieke, actieerbare factoren om de prestaties van openbare scholen te verbeteren.