Which CS1 Students Will Fail? Identifying Digital Markers from Learning Analytics in Computer Systems and Architecture Using Weighted Academic Momentum and Interaction Logs

Nel vasto panorama dell'istruzione moderna, una rivoluzione silenziosa sta avendo luogo all'interno dei sistemi digitali che gestiscono le nostre classi. Per decenni, gli insegnanti si sono affidati a voti e fogli di presenza per valutare l'andamento di uno studente, ma queste misure tradizionali arrivano spesso troppo tardi per aiutare un apprendista in difficoltà. Oggi, mentre le università spostano sempre più i loro corsi online, ogni clic, ogni accesso e ogni momento trascorso su una piattaforma digitale lascia una traccia. I ricercatori chiamano queste tracce "marcatori digitali". Sono le impronte digitali della vita quotidiana di uno studente in un corso, offrendo uno sguardo sulle loro abitudini, il loro impegno e le potenziali difficoltà molto prima che venga mai scritto un esame finale. La domanda che guida questo nuovo campo di studi è semplice ma profonda: possiamo leggere queste impronte digitali per individuare uno studente che sta per fallire, e possiamo farlo abbastanza presto da cambiare il suo percorso?

Questa è la sfida affrontata da un team di ricercatori dell'Università dello Zambia, che ha rivolto la propria attenzione a un corso del primo anno notoriamente difficile: Sistemi Informatici e Architettura. In questo corso, storicamente, quasi il quaranta percento degli studenti non supera l'esame, un tasso che lascia indietro molte menti brillanti prima ancora che i loro studi siano veramente iniziati. Gli istruttori sapevano che qualcosa non andava, ma mancavano di un modo per identificare chi fosse a rischio prima che fosse troppo tardi. Per risolvere il problema, il team ha deciso di guardare oltre i voti finali ed esaminare invece le briciole digitali lasciate dagli studenti nell'arco di quattro anni. Hanno raccolto dati da quasi trecento studenti, combinando le loro informazioni di base, i punteggi nei primi quiz e test, e i log grezzi di come interagivano con il sistema di apprendimento online dell'università. Il loro obiettivo era costruire un modello che potesse fungere da sistema di allerta precoce, segnalando gli studenti che probabilmente sarebbero stati bocciati, affinché gli insegnanti potessero intervenire con un supporto mentre c'era ancora tempo per invertire la rotta.

I ricercatori hanno iniziato ascoltando le persone che conoscevano meglio il corso: gli istruttori, i tutor e gli studenti stessi. Attraverso interviste e sondaggi, hanno identificato dieci fattori che sembravano influenzare il successo, come la gestione del tempo, la motivazione e se uno studente possedesse un computer. Hanno poi tradotto queste intuizioni umane in punti dati, creando un elenco completo di caratteristiche da testare. Hanno elaborato un punteggio speciale chiamato "slancio accademico ponderato", che osservava come lo studente si fosse comportato nei suoi primissimi quiz e test, dando maggiore importanza alle valutazioni iniziali successive, più complete. Hanno anche monitorato se uno studente avesse mai effettuato l'accesso al sistema online e quanti giorni distinti fossero stati attivi. Alimentando il modello con tutte queste informazioni, hanno testato quale combinazione di fattori potesse prevedere meglio chi sarebbe stato bocciato.

Ciò che hanno scoperto è stato sia sorprendente che rassicurante. Il predittore più potente del fallimento non era un complesso sondaggio sulla motivazione di uno studente o sulla sua precedente esperienza con i computer, ma piuttosto una semplice combinazione di tre cose: il loro slancio accademico iniziale, il loro background di base e una singola domanda sì-o-no su se avessero mai toccato il sistema di apprendimento online. Il modello ha scoperto che la prestazione dello studente nelle prime settimane di valutazione era il segnale più forte del suo successo futuro. Tuttavia, questo segnale era ancora più rivelatore se combinato con un semplice controllo della loro presenza digitale. Se uno studente aveva punteggi iniziali alti ma non aveva mai effettuato l'accesso al sistema online, era comunque ad alto rischio. Ciò suggeriva che alcuni studenti potessero stare procedendo basandosi sulla naturale capacità o su conoscenze pregresse, ignorando che stavano perdendo le strutture di supporto disponibili online, o forse essendo troppo fiduciosi nella propria capacità di superare il corso senza interagire con i materiali didattici.

Quando i ricercatori hanno testato il loro modello finale su un gruppo di studenti che non avevano mai visto prima, esso si è dimostrato straordinariamente efficace nel suo compito principale: trovare gli studenti che erano in difficoltà. Il sistema ha identificato correttamente l'ottantasette percento degli studenti che alla fine sono stati bocciati dal corso. Questo alto tasso di successo comportava un compromesso: il modello ha anche segnalato come a rischio alcuni studenti che avrebbero superato l'esame, con un tasso di falsi allarmi del quarantuno percento. I ricercatori sostengono che questo sia un prezzo accettabile da pagare in un contesto educativo. È molto meglio offrire aiuto extra a uno studente che non ne ha bisogno che mancare uno studente che sta lottando silenziosamente e sta per fallire. Il modello ha raggiunto questo risultato analizzando i dati disponibili appena cinque settimane dopo l'inizio del semestre, un arco temporale che offre agli istruttori una finestra cruciale per intervenire.

Lo studio ha anche rivelato che aggiungere dati più complessi non rendeva necessariamente la previsione migliore. L'inclusione di risposte dettagliate ai sondaggi riguardanti i sentimenti di uno studente o il suo specifico carico di lavoro non ha migliorato l'accuratezza del modello. Infatti, l'approccio più semplice — concentrarsi sui primi voti e su un controllo di base dell'attività online — ha funzionato meglio. Ciò suggerisce che, per questo specifico corso, le azioni intraprese da uno studente nelle prime settimane sono un indicatore più affidabile del suo futuro rispetto ai suoi sentimenti auto-riportati o ai dettagli del suo background. I ricercatori hanno utilizzato un metodo chiamato analisi SHAP per capire perché il modello prendesse le sue decisioni, il che ha confermato che lo slancio accademico ponderato era il fattore più importante, seguito da vicino dall'interazione tra quello slancio e se lo studente avesse interagito con il sistema online.

Questo lavoro offre un modello pratico di come le università possano utilizzare i dati che già possiedono per supportare i propri studenti. Concentrandosi su semplici e precoci marcatori digitali, gli educatori possono passare dal reagire al fallimento al prevenirlo. I ricercatori intendono trasformare le loro scoperte in una dashboard live che avvisi automaticamente gli istruttori quando uno studente mostra segni di difficoltà, fornendo loro ragioni chiare per l'allerta in modo che possano offrire un aiuto mirato. Sebbene lo studio sia stato condotto in un'unica università in Zambia, l'approccio suggerisce una verità universale: nell'era digitale, il modo in cui uno studente si presenta, anche nei minimi dettagli, spesso parla più forte del suo background o della sua fiducia iniziale. Il percorso verso il successo non è sempre nascosto in statistiche complesse, ma a volte nel ritmo silenzioso e costante del presentarsi a lezione, sia di persona che online.