A Unified Survival Benchmark for Temporal Dropout Risk Prediction in Learning Analytics
Questo articolo introduce un benchmark di sopravvivenza unificato e multidimensionale per la previsione del rischio di dropout temporale utilizzando il dataset OULAD, dimostrando che i segnali comportamentali e temporali superano gli attributi statici, evidenziando al contempo la necessità di separare le famiglie di modelli per evitare artefatti di valutazione.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Ogni semestre, le università affrontano una crisi silenziosa: studenti che iniziano i loro corsi ma non li finiscono mai. Per decenni, gli educatori hanno cercato di prevedere chi è propenso ad abbandonare, sperando di offrire aiuto prima che sia troppo tardi. Questo campo, noto come analisi dell'apprendimento (learning analytics), tratta i dati degli studenti come una mappa, cercando schemi che segnalino problemi. Tradizionalmente, queste mappe sono state istantanee statiche, costruite sulla formazione di uno studente, sulla sua età o sui suoi voti degli anni precedenti. Ma il percorso di uno studente non è una singola fotografia; è un film che si svolge settimana dopo settimana. Il rischio di lasciare un corso non resta immobile; si sposta e cresce man mano che lo studente interagisce con i materiali online, salta le scadenze o semplicemente smette di cliccare attraverso il sito web del corso. La domanda centrale per i ricercatori è stata se fosse possibile costruire una mappa migliore osservando questo film in tempo reale, piuttosto che limitarsi a guardare i titoli di apertura.
Un team di ricercatori dell'Eastern University si è posto l'obiettivo di rispondere a questa domanda costruendo un nuovo tipo di test per confrontare diversi modi di prevedere l'abbandono degli studenti. Hanno utilizzato una vasta e nota collezione di dati dell'Open University, che traccia migliaia di studenti attraverso diversi corsi. Invece di dichiarare semplicemente un modello informatico come vincitore, hanno progettato un esperimento rigoroso che rispettasse la differenza tra due modi distinti di intendere il tempo. Un gruppo di modelli, che hanno chiamato la famiglia "Dynamic Weekly" (Settimanale Dinamica), osservava gli studenti settimana dopo settimana, aggiornando la propria previsione ogni volta che appariva un nuovo elemento di attività. L'altro gruppo, la famiglia "Static Early-Window" (Finestra Iniziale Statica), adottava un approccio diverso: osservava solo le prime quattro settimane del comportamento di uno studente e poi formulava una singola previsione fissa per il resto del corso. I ricercatori hanno trattato questi due approcci non come rivali da classificare l'uno contro l'altro, ma come due lenti diverse attraverso cui osservare lo stesso fenomeno, assicurando che il confronto fosse equo e che i risultati non fossero distorti dal modo in cui i dati erano organizzati.
Lo studio ha confrontato quattordici diversi modelli informatici, che spaziavano da semplici strumenti statistici a complessi sistemi di intelligenza artificiale. I ricercatori hanno misurato quanto bene ogni modello potesse fare due cose: classificare correttamente gli studenti in base al loro livello di rischio e fornire un numero di probabilità che corrispondesse al numero effettivo di studenti che abbandonavano. Poiché le due famiglie utilizzano diverse formulazioni di rischio, i ricercatori hanno riportato i risultati all'interno di ciascuna famiglia separatamente, invece di creare una singola classifica combinata. All'interno del gruppo "Static Early-Window", un modello chiamato Random Survival Forest è emerso come il più affidabile. Era il migliore nell'identificare quali studenti fossero a rischio e, cosa fondamentale, le sue stime di probabilità erano molto accurate. Ad esempio, quando questo modello prevedeva una probabilità del trenta per cento che uno studente abbandonasse, il tasso di abbandono effettivo per quel gruppo di studenti era molto vicino al trenta per cento. Questa precisione è vitale perché significa che le scuole possono fidarsi dei numeri per decidere chi ha bisogno di aiuto. All'interno del gruppo "Dynamic Weekly", i modelli si raggruppavano molto da vicino nelle prestazioni, con un modello Poisson Piecewise-Exponential che mostrava un leggero vantaggio in una metrica specifica, sebbene nessun singolo modello dominasse tutti i parametri.
Forse la scoperta più significativa non riguardava quale modello informatico fosse il più intelligente, ma quali informazioni i modelli utilizzassero effettivamente per prendere le loro decisioni. I ricercatori hanno testato questo aspetto rimuovendo uno alla volta diversi tipi di dati dai modelli. Hanno eliminato le informazioni di base statiche, come l'età, il genere o l'istruzione precedente dello studente. Poi, hanno eliminato i dati comportamentali, come la frequenza con cui uno studente cliccava sui materiali del corso o quante settimane era attivo. I risultati sono stati chiari e coerenti in quasi tutti i modelli: le informazioni di base contavano pochissimo. Quando i dati comportamentali venivano rimossi, la capacità dei modelli di prevedere l'abbandono crollava. Il segnale dominante non era chi fosse lo studente, ma cosa stesse facendo. Nello specifico, il numero di clic nelle prime quattro settimane e il numero di settimane di attività erano i predittori più forti. Ciò suggerisce che l'abbandono non è un tratto fisso di una persona, ma un processo che si dispiega attraverso il suo impegno quotidiano.
Lo studio ha anche rivelato che non tutti i modelli sono uguali in termini di affidabilità. Mentre la maggior parte dei modelli di alto livello forniva stime di probabilità oneste, un modello nel gruppo statico, chiamato XGBoost AFT, si è comportato male in tutto il percorso. Ha faticato a classificare correttamente gli studenti e le sue stime di probabilità erano completamente errate, suggerendo che la sua struttura matematica non fosse abbastanza flessibile da gestire la natura mutevole del rischio dello studente. Questo risultato rafforza l'idea che il modo in cui un modello è costruito conti quanto i dati che riceve. I ricercatori hanno concluso che, per le istituzioni che desiderano costruire sistemi di allerta precoce, l'approccio migliore è utilizzare un modello che si concentri sul primo mese di comportamento. Possono valutare gli studenti alla fine della quarta settimana utilizzando dati semplici come il conteggio dei clic e le settimane di attività, segnalare coloro che presentano un alto rischio di abbandono e intervenire. Lo studio non ha sostenuto che questo metodo funzioni per ogni università o ogni corso, poiché i dati provenivano da un set specifico di moduli, ma ha fornito un quadro chiaro e unificato per comprendere come misurare il rischio. Il punto fondamentale è che il percorso per rimanere a scuola è pavimentato dalle azioni quotidiane, e il modo migliore per prevedere chi se ne andrà è osservare attentamente quelle azioni, piuttosto che fare affidamento su chi lo studente fosse prima del suo arrivo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.