Early Prediction of Student Performance Using Bayesian Updating with Informative Priors Across Cohorts

Titolo

Previsione Precoce della Performance Studentesca mediante Aggiornamento Bayesiano con Priori Informativi tra Cohort

1. Il Problema e il Contesto

L'identificazione precoce degli studenti a rischio di underperformance nell'istruzione superiore è fondamentale per attivare interventi tempestivi. Tuttavia, i modelli predittivi esistenti presentano due limiti principali:

1. Mancanza di generalizzabilità: I modelli sono solitamente sviluppati e validati su una singola cohort (gruppo di studenti di un anno accademico). Quando vengono trasferiti su cohort successive, le prestazioni predittive tendono a diminuire a causa di cambiamenti nel design didattico, nella popolazione studentesca o nel comportamento di apprendimento.
2. Sottoutilizzo delle informazioni storiche: La ricerca educativa raramente sfrutta le distribuzioni posteriori apprese da collezioni di dati precedenti quando si analizzano nuove cohort, trattando ogni nuovo anno come un punto di partenza da zero.

Il paper propone di colmare questo divario utilizzando l'aggiornamento bayesiano per incorporare conoscenze empiriche da una cohort precedente (come distribuzioni prior informative) per stabilizzare le stime dei parametri quando i dati della cohort corrente sono ancora scarsi (nelle prime settimane del semestre).

2. Metodologia

Contesto e Dati

• Corsi: Due cohort consecutive di un corso di matematica di base per economia (blended learning) presso un'università tedesca.
  • Cohort Sorgente (WS1): Inverno 2022/2023 (N=307 studenti che hanno sostenuto l'esame).
  • Cohort Target (WS2): Inverno 2023/2024 (N=323 studenti).
• Variabili Predittive (Feature): Sei indicatori settimanali di engagement basati sui tracciati digitali (digital trace data) e allineati alla teoria dell'Apprendimento Autoregolato (SRL):
  1. Rapporto domande MC risposte nei video.
  2. Rapporto domande MC corrette.
  3. Giorni tra primo accesso e scadenza (procrastinazione).
  4. Rapporto problemi risolti correttamente.
  5. Tempo totale di lavoro.
  6. Rapporto problemi tentati.
• Variabili di Output:
  • Binaria: Studente "a rischio" (voto finale $\ge$ 3.3 sulla scala tedesca, equivalente a un C-).
  • Numerica: Punteggio dell'esame (0-83 punti).
  • Ordinale: Voto finale sulla scala tedesca (1.0 - 5.0, codificata 1-11).

Approccio Modelli

Sono stati utilizzati tre tipi di regressione bayesiana, valutati su base settimanale (dalla settimana 2 alla 10):

1. Regressione Lineare: Per i punteggi numerici.
2. Regressione Logistica: Per la classificazione binaria (a rischio/non a rischio).
3. Regressione Ordinale: Per la previsione del voto finale ordinato.

Strategia di Aggiornamento Bayesiano:

• Fase 1 (Cohort Sorgente WS1): I modelli sono stati addestrati con priori non informativi (default) per generare distribuzioni posteriori dei parametri.
• Fase 2 (Cohort Target WS2): Le distribuzioni posteriori di WS1 sono state utilizzate come priori informativi per addestrare i modelli su WS2.
• Scaling della Prior: Per testare la forza dell'influenza della prior, le deviazioni standard delle prior informative sono state scalate con fattori $\eta \in \{0.5, 1.0, 1.5, 3.0, 6.0\}$.
• Confronto: I modelli con prior informative sono stati confrontati con modelli che utilizzavano solo prior non informative (default) sulla stessa cohort WS2.

3. Risultati Chiave

Performance nella Cohort Sorgente (WS1)

Nella cohort sorgente, le prestazioni predittive sono diventate robuste già dalla settimana 6, con accuratezza e sensibilità superiori a 0.70. Dopo la settimana 6, non si sono osservati miglioramenti sostanziali, indicando che gli indicatori di engagement delle prime settimane contengono la maggior parte del segnale predittivo.

Impatto delle Prior Informativi nella Cohort Target (WS2)

L'aggiunta di prior informative ha avuto effetti differenziati a seconda del tipo di modello:

• Regressione Logistica (Classificazione Binaria):

  • Miglioramento Significativo: Le prior informative hanno ridotto drasticamente gli errori nelle prime settimane.
  • Settimana 3: Riduzione del 22.22% del tasso di classificazione errata e del 38.46% dei falsi negativi (studenti a rischio non identificati) rispetto al modello con prior non informative.
  • L'accuratezza ha raggiunto livelli di ~0.75 già alla settimana 3/4.

• Regressione Ordinale (Voto Finale):

  • Miglioramento Eccellente: Ha mostrato i guadagni più consistenti nelle prime settimane.
  • Settimana 2: Il tasso di classificazione errata è sceso dal 51% (pura casualità) al 72% di accuratezza (riduzione dell'errore del 42.5%).
  • Settimana 4: Accuratezza di 0.77.
  • La regressione ordinale ha beneficiato più della logistica delle prior informative, probabilmente perché sfrutta la struttura completa dei livelli di voto per calibrare meglio la relazione tra engagement e performance latente.

• Regressione Lineare (Punteggio Esame):

  • Nessun Beneficio: L'uso di prior informative non ha migliorato le prestazioni; in alcuni casi, le ha peggiorate (aumento dell'RMSE). Le distribuzioni dei parametri per la regressione lineare erano troppo simili tra le due cohort per trarre vantaggio dall'aggiornamento, rendendo le prior informative un vincolo inutile.

Ottimizzazione della Prior

L'efficacia delle prior dipende dalla forza di scalatura ($\eta$). Nelle prime settimane, prior con deviazioni standard più piccole (più informative, es. $\eta=0.5$ o $1.0$) hanno funzionato meglio. Man mano che i dati della cohort corrente si accumulano (settimane successive), il beneficio delle prior diminuisce e talvolta diventa negativo se la prior entra in conflitto con i nuovi dati.

4. Contributi e Significatività

1. Validazione dell'Aggiornamento Bayesiano: Dimostra che l'uso di prior informative derivate da cohort precedenti è un metodo valido per migliorare la robustezza e la tempestività dei sistemi di allerta precoce, superando il problema della scarsità di dati iniziali.
2. Vantaggio Privacy: A differenza di altri approcci che potrebbero richiedere l'accesso ai dati individuali storici, questo metodo utilizza solo le distribuzioni dei parametri (priori), preservando la privacy degli studenti delle cohort passate.
3. Indicatori Comportamentali Malleabili: Conferma che indicatori basati su tracciati digitali (SRL) sono efficaci per la previsione precoce senza bisogno di dati demografici o di autovalutazione, che spesso non sono disponibili o comportano rischi di stigmatizzazione.
4. Guida Metodologica Pratica: Fornisce un "blueprint" replicabile su come estrarre, scalare e applicare prior informative, suggerendo che la forza della prior deve essere adattata dinamicamente (più forte all'inizio, più debole man mano che arrivano nuovi dati).
5. Superiorità della Regressione Ordinale: Evidenzia che, per compiti di classificazione binaria derivati da scale ordinali, la regressione ordinale con prior informative supera la regressione logistica standard, offrendo una calibrazione migliore e informazioni aggiuntive sul livello di difficoltà dello studente.

5. Limitazioni e Direzioni Future

• Validità Temporale: È necessario studiare quanto a lungo le prior rimangano valide man mano che il corso evolve (cambiamenti nel docente, nel design del corso o nella demografia).
• Campione Limitato: Lo studio si è concentrato solo sugli studenti che hanno sostenuto l'esame alla prima data. Gli studenti che hanno rimandato all'esame di riparazione (spesso a maggior rischio) sono stati esclusi, il che potrebbe sovrastimare le prestazioni del modello nel mondo reale.
• Scalabilità: Futuri lavori dovrebbero esplorare modelli bayesiani gerarchici che integrino multiple cohort in un unico framework adattivo.

In sintesi, il paper dimostra che l'approccio bayesiano cumulativo permette di identificare gli studenti a rischio molto prima (già dalla settimana 2-3) rispetto ai metodi tradizionali, fornendo agli educatori una finestra temporale cruciale per intervenire efficacemente.