A Multi-level Analysis of Factors Associated with Student Performance: A Machine Learning Approach to the SAEB Microdata

Technische Samenvatting: Een multi-niveau analyse van factoren geassocieerd met studentprestaties

Probleemstelling
Het identificeren van de determinanten van academisch succes in het Braziliaanse basisonderwijs is een complexe uitdaging vanwege de enorme sociaaleconomische heterogeniteit van het land. Traditionele statistische benaderingen hebben vaak moeite om de niet-lineaire, multi-level interactie tussen individuele studentkenmerken, docentenprofielen, schoolinfrastructuur en managementpraktijken te vatten. Hoewel Educational Data Mining (EDM) instrumenten biedt voor patroonherkenning, blijft er een kloof bestaan in het toepassen van systemische, multi-level machine learning-benaderingen op de meest uitgebreide nationale dataset voor het basisonderwijs (SAEB) om evenwichtig publiek beleid te informeren. Het kernprobleem dat wordt aangepakt, is het onderscheid tussen geïsoleerde individuele factoren en systemische, op schoolniveau liggende determinanten die de prestaties van studenten aansturen.

Methodologie
De studie maakt gebruik van een gestructureerde data mining-pipeline met behulp van microdata van het System of Assessment of Basic Education (SAEB), beheerd door INEP. De methodologie wordt gekenmerkt door vier afzonderlijke fasen:

1. Multi-level Data Integratie: De onderzoekers hebben een hiërarchische dataset geconstrueerd door vier afzonderlijke databronnen samen te voegen via school- en klassenidentificatoren:

   • Student: Sociaaleconomische profielen en bekwaamheidsscores (Wiskunde en Portugees).
   • Docent: Professionele achtergronden, pedagogische praktijken en percepties van het schoolklimaat.
   • School: Geaggregeerde indicatoren, inclusief sociaaleconomische niveaus en percentages docentenopleidingen.
   • Directeur: Managementprofielen, ervaring en praktijken van gemeenschapsbetrokkenheid.
     Het uiteindelijke dataset bevatte 6.482.168 geldige studentrecords (9e klas en middelbare school).

2. Preprocessing en Feature Selectie:

   • Data-opschoning omvatte listwise deletion van ontbrekende waarden en de conversie van string-gebaseerde percentages naar floats.
   • Categorische variabelen werden gecodeerd met One-Hot Encoding, en features werden gestandaardiseerd via StandardScaler.
   • Het Boruta-algoritme werd toegepast op een initiële set van 98 features om statistisch relevante voorspellers te identificeren, wat resulteerde in 44 bevestigde features. Een definitieve subset van 17 features werd geselecteerd op basis van statistische significantie en theoretische relevantie voor het onderwijsbeleid.

3. Modellering en Evaluatie:

   • De studie omschreef de taak als een binair classificatieprobleem: het voorspellen of een student "Boven Gemiddeld" of "Onder Gemiddeld" presteert op basis van samengestelde bekwaamheidsscores.
   • Vier boom-gebaseerde ensemble-algoritmen werden vergeleken: Random Forest, XGBoost, LightGBM en CatBoost.
   • Modellen werden getraind op een 80/20 train-test split. Prestaties werden geëvalueerd met behulp van Accuracy, Precision, Recall, F1-Score en de Area Under the Receiver Operating Characteristic Curve (AUC-ROC).

4. Explainable AI (XAI):

   • Om verder te gaan dan "black box"-voorspelling, paste de studie SHAP (SHapley Additive exPlanations) toe op het best presterende model. Dit maakte zowel globale feature belangrijkheidsanalyse als lokale interpretatie van individuele voorspellingen mogelijk.

Belangrijkste Bijdragen
Het artikel levert vier primaire bijdragen aan de gebieden van Educational Data Mining en publieke beleidsanalyse:

1. Nieuw Multi-level Model: Het ontwerp en de implementatie van een predictief model dat systematisch vier verschillende datalagen (student, docent, school, directeur) integreert uit de nationale SAEB-beoordeling.
2. Rigoureuze Vergelijkende Evaluatie: Een uitgebreide benchmarking van vier krachtige ensemble-modellen, waarbij wordt aangetoond dat een Random Forest-model beter presteert dan gradient boosting-varianten (XGBoost, LightGBM, CatBoost) in deze specifieke context zonder uitgebreide hyperparameter-tuning.
3. Systemische Feature Identificatie: Een datagedreven analyse die onomstotelijk vaststelt dat het gemiddelde sociaaleconomische niveau van de school de dominante voorspeller is, waarmee het de voorspellende kracht van individuele student- of docentkenmerken overtreft.
4. Actiegerichte Beleidsinzichten: De vertaling van complexe modeloutputs naar op bewijs gebaseerde inzichten voor beleidsmakers, waarbij de systemische aard van academische prestaties wordt gekwantificeerd en het potentieel van gerichte interventies om verschillen tussen scholen te verminderen wordt benadrukt.

Resultaten

• Modelprestaties: De Random Forest classifier behaalde superieure prestaties met een Accuracy van 90,17% en een AUC van 0,9669. In tegenstelling hiertoe leverden de gradient boosting-modellen (XGBoost, LightGBM, CatBoost) aanzienlijk lagere accuratiewaarden (variërend van 62,48% tot 64,17%) en AUC-scores (0,67–0,69) wanneer ze met standaardparameters werden uitgevoerd.
• Classificatiebalans: Het Random Forest-model vertoonde een gebalanceerde prestatie over beide klassen ("Boven Gemiddeld" en "Onder Gemiddeld"), met precision en recall scores consistent rond de 0,90–0,92, wat wijst op een gebrek aan bias naar één van beide groepen.
• Feature Belangrijkheid: De SHAP-analyse onthulde een duidelijke hiërarchie van invloed:
  • Dominante Factor: Het gemiddelde sociaaleconomische niveau van de school was de krachtigste individuele voorspeller. Hogere sociaaleconomische niveaus (bijv. Nivel VI) correleerden sterk met "Boven Gemiddeld" voorspellingen.
  • Secundaire Factoren: Institutionele variabelen zoals het percentage docenten met adequate opleiding en de participatiegraad van studenten waren zeer invloedrijk.
  • Individuele Factoren: Hoewel variabelen op studentniveau (bijv. opleiding van ouders, aantal slaapkamers) significant waren, was hun impact secundair aan het bredere school-ecosysteem.
  • Docent/Directeur Variabelen: Individuele docentenervaring en de ambtstermijn van de directeur waren relevant, maar minder dominant dan geaggregeerde schoolniveau-indicatoren.

Betekenis en Claims
Het artikel claimt dat academische prestaties in het Braziliaanse basisonderwijs een systemisch fenomeen zijn dat diep verbonden is met het ecosysteem van de school, in plaats van het resultaat van geïsoleerde individuele interventies. De studie betoogt dat de sterke voorspellende kracht van de sociaaleconomische context van de school de noodzaak valideert voor beleid dat gericht is op de verschillen tussen scholen, in plaats van uitsluitend te focussen op individuele remediëring van studenten.

Door gebruik te maken van Explainable AI, stellen de auteurs dat hun model dient als een diagnostisch instrument dat in staat is om onderwijsbeleid te verschuiven van "one-size-fits-all" benaderingen naar gerichte, op bewijs gebaseerde interventies. Specifiek suggereren de bevindingen dat de toewijzing van middelen (financiering, gekwalificeerde docenten, infrastructuur) gericht moet worden aan scholen met lagere sociaaleconomische profielen om educatieve gelijkheid te bevorderen. De studie concludeert dat hoewel individuele kenmerken ertoe doen, ze fundamenteel worden beïnvloed door de collectieve context van de school, een bevinding die aansluit bij sociologische theorieën over sociale reproductie en cultureel kapitaal.

De auteurs blijven bescheiden over causaliteit en benadrukken dat het model statistische associaties identificeert in plaats van deterministische causaliteit. Zij erkennen beperkingen, zoals het gebruik van listwise deletion voor ontbrekende gegevens en het dwarsdoorsnede-karakter van de analyse, en suggereren dat toekomstig werk longitudinale data en geavanceerde imputatietechnieken kan bevatten.