A Multi-level Analysis of Factors Associated with Student Performance: A Machine Learning Approach to the SAEB Microdata

Sintesi Tecnica: Un'analisi multilivello dei fattori associati alla performance degli studenti

Problematica
Identificare i determinanti del successo accademico nell'istruzione di base brasiliana è una sfida complessa a causa della vasta eterogeneità socioeconomica del Paese. Gli approcci statistici tradizionali spesso faticano a catturare l'interazione non lineare e multilivello tra le caratteristiche individuali degli studenti, i profili dei docenti, l'infrastruttura scolastica e le pratiche gestionali. Sebbene l'Educational Data Mining (EDM) offra strumenti per il riconoscimento di pattern, rimane un divario nell'applicazione di approcci di machine learning sistemici e multilivello al dataset nazionale più completo per l'istruzione di base (SAEB) per informare politiche pubbliche eque. Il problema centrale affrontato è la distinzione tra fattori individuali isolati e determinanti sistemici a livello scolastico che guidano la performance degli studenti.

Metodologia
Lo studio impiega una pipeline strutturata di data mining utilizzando i microdati del Sistema di Valutazione dell'Istruzione di Base (SAEB), amministrato dall'INEP. La metodologia è caratterizzata da quattro fasi distinte:

1. Integrazione dei dati multilivello: I ricercatori hanno costruito un dataset gerarchico unendo quattro fonti di dati distinte tramite identificatori di scuola e classe:

   • Studente: Profili socioeconomici e punteggi di competenza (Matematica e Portoghese).
   • Docente: Background professionali, pratiche pedagogiche e percezioni del clima scolastico.
   • Scuola: Indicatori aggregati, inclusi livelli socioeconomici e tassi di formazione dei docenti.
   • Dirigente: Profili gestionali, esperienza e pratiche di impegno con la comunità.
     Il dataset finale comprendeva 6.482.168 record validi di studenti (9° anno e scuola superiore).

2. Pre-elaborazione e Selezione delle Caratteristiche:

   • La pulizia dei dati ha comportato la cancellazione per intera riga (listwise deletion) dei valori mancanti e la conversione di percentuali basate su stringhe in numeri float.
   • Le variabili categoriche sono state codificate tramite One-Hot Encoding e le caratteristiche sono state standardizzate tramite StandardScaler.
   • L'algoritmo Boruta è stato applicato a un set iniziale di 98 caratteristiche per identificare statisticamente i predittori rilevanti, confermando 44 caratteristiche. Un sottoinsieme finale di 17 caratteristiche è stato selezionato in base alla significatività statistica e alla rilevanza teorica per la politica educativa.

3. Modellazione e Valutazione:

   • Lo studio ha inquadrato il compito come un problema di classificazione binaria: prevedere se uno studente si posiziona "Sopra la Media" o "Sotto la Media" sulla base di punteggi di competenza compositi.
   • Sono stati confrontati quattro algoritmi ensemble basati su alberi: Random Forest, XGBoost, LightGBM e CatBoost.
   • I modelli sono stati addestrati con una suddivisione train-test 80/20. Le prestazioni sono state valutate utilizzando Accuracy, Precision, Recall, F1-Score e l'Area Sotto la Curva ROC (AUC-ROC).

4. Explainable AI (XAI):

   • Per andare oltre la previsione "black box", lo studio ha applicato SHAP (SHapley Additive exPlanations) al modello con le migliori prestazioni. Ciò ha permesso sia l'analisi dell'importanza globale delle caratteristiche, sia l'interpretazione locale delle singole previsioni.

Principali Contributi
Il documento apporta quattro contributi primari ai campi dell'Educational Data Mining e dell'analisi delle politiche pubbliche:

1. Modello Multilivello Innovativo: La progettazione e l'implementazione di un modello predittivo che integra sistematicamente quattro diversi strati di dati (studente, docente, scuola, dirigente) dal SAEB nazionale.
2. Valutazione Comparativa Rigorosa: Un benchmarking completo di quattro potenti modelli ensemble, dimostrando che un modello Random Forest supera le varianti di gradient boosting (XGBoost, LightGBM, CatBoost) in questo specifico contesto senza un esteso tuning degli iperparametri.
3. Identificazione Sistemica delle Caratteristiche: Un'analisi basata sui dati che identifica inequivocabilmente il livello socioeconomico medio della scuola come il predittore dominante, superando in potere predittivo le caratteristiche individuali di studenti o docenti.
4. Insight di Policy Azionabili: La traduzione di output di modelli complessi in insight basati sull'evidenza per i decisori politici, quantificando la natura sistemica del rendimento accademico e sottolineando il potenziale di interventi mirati per ridurre le disparità tra le scuole.

Risultati

• Performance del Modello: Il classificatore Random Forest ha ottenuto prestazioni superiori con un'Accuratezza del 90,17% e un AUC di 0,9669. Al contrario, i modelli di gradient boosting (XGBoost, LightGBM, CatBoost) hanno prodotto accuratezze significativamente inferiori (compresi tra il 62,48% e il 64,17%) e punteggi AUC (0,67–0,69) quando eseguiti con parametri di default.
• Bilanciamento della Classificazione: Il modello Random Forest ha dimostrato prestazioni equilibrate tra entrambe le classi ("Sopra la Media" e "Sotto la Media"), con precision e recall costantemente intorno a 0,90–0,92, indicando l'assenza di bias verso uno dei due gruppi.
• Importanza delle Caratteristiche: L'analisi SHAP ha rivelato una chiara gerarchia di influenza:
  • Fattore Dominante: Il Livello Socioeconomico Medio della Scuola è stato il predittore singolo più potente. Livelli socioeconomici più elevati (es. Nivel VI) sono fortemente correlati alle previsioni "Sopra la Media".
  • Fattori Secondari: Variabili istituzionali come la percentuale di docenti con formazione adeguata e i tassi di partecipazione degli studenti sono stati altamente influenti.
  • Fattori Individuali: Sebbene le variabili a livello di studente (es. istruzione dei genitori, numero di camere da letto) siano significative, il loro impatto è secondario rispetto al più ampio ecosistema scolastico.
  • Variabili Docente/Dirigente: L'esperienza individuale dei docenti e l'anzianità dei dirigenti sono rilevanti ma meno dominanti rispetto agli indicatori aggregati della scuola.

Significatività e Rivendicazioni
Il documento sostiene che la performance accademica nell'istruzione di base brasiliana è un fenomeno sistemico profondamente legato all'ecosistema scolastico piuttosto che il risultato di interventi individuali isolati. Lo studio argomenta che il forte potere predittivo del contesto socioeconomico della scuola valida la necessità di politiche che affrontino le disparità tra le scuole anziché concentrarsi esclusivamente sul recupero del singolo studente.

Sfruttando l'IA Spiegabile, gli autori affermano che il loro modello funge da strumento diagnostico capace di spostare la politica educativa da approcci "standardizzati" a interventi mirati basati sull'evidenza. Nello specifico, i risultati suggeriscono che l'allocazione delle risorse (fondi, insegnanti qualificati, infrastrutture) debba essere diretta verso le scuole con profili socioeconomici più bassi per favorire l'equità educativa. Lo studio conclude che, sebbene le caratteristiche individuali contino, esse sono profondamente influenzate dal contesto collettivo della scuola, un reperto che si allinea alle teorie sociologiche della riproduzione sociale e del capitale culturale.

Gli autori rimangono modesti riguardo alla causalità, sottolineando che il modello identifica associazioni statistiche piuttosto che una causalità deterministica. Riconoscono i limiti, come l'uso della cancellazione per intera riga per i dati mancanti e la natura trasversale dell'analisi, suggerendo che il lavoro futuro potrebbe incorporare dati longitudinali e tecniche di imputazione avanzate.