Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

Ogni anno, le università di tutto il mondo affrontano una crisi silenziosa: una parte significativa dei loro studenti abbandona prima di conseguire la laurea. Questa non è solo una perdita per gli studenti, che spesso affrontano prospettive lavorative peggiori e guadagni inferiori, ma anche un pesante colpo finanziario per le istituzioni stesse. Per decenni, i ricercatori hanno cercato di risolvere questo enigma costruendo programmi informatici in grado di individuare quali studenti siano probabilmente destinati all'abbandono. Questi programmi, noti come modelli di apprendimento automatico (machine learning), analizzano la storia di uno studente — i suoi voti, la sua situazione finanziaria e il suo background — per predire il suo futuro. L'obiettivo è sempre stato quello di intercettare precocemente gli studenti a rischio affinché le scuole possano offrire aiuto prima che sia troppo tardi. Tuttavia, un difetto critico è persistito in questi sforzi. Sebbene i computer possano fare una previsione, raramente dicono alla scuola quanto debba fidarsi di tale previsione. Un modello può indicare che uno studente è a rischio, ma non offre modo di sapere se quell'avvertimento sia un fatto solido o un'ipotesi incerta. Senza conoscere l'affidabilità della previsione, le scuole rischiano di sprecare risorse su studenti che in realtà stanno bene o, peggio, di perdere di vista gli studenti che ne hanno davvero bisogno.

Un nuovo studio di Kazi Sabbir Ahmad Nahin, un ricercatore dell'Università del Kentucky, affronta questo problema cambiando il modo in cui queste previsioni vengono fornite. Invece di chiedere al computer di dare una risposta singola e definitiva come "questo studente si laureerà" o "questo studente abbandonerà", lo studio utilizza un metodo chiamato previsione conforme (conformal prediction). Questo approccio chiede al computer di fornire un insieme di possibili risultati insieme a una garanzia di quanto spesso quel set sarà corretto. Pensate alla differenza tra un meteorologo che dice "pioverà domani" senza alcun contesto, rispetto a dire "c'è una probabilità del 95 percento che piova, e se sbaglio, sarà in questo specifico intervallo di possibilità". Il ricercatore ha applicato questo metodo a dati provenienti da oltre 4.400 studenti di un'università portoghese, testando sei diversi tipi di modelli informatici per vedere quali potessero prevedere meglio se uno studente si sarebbe laureato, avrebbe abbandonato gli studi o sarebbe semplicemente rimasto iscritto.

Lo studio ha rilevato che i modelli informatici erano effettivamente molto bravi a distinguere tra gli studenti che avrebbero concluso i propri studi e quelli che se ne sarebbero andati. I modelli con le prestazioni migliori, che utilizzavano tecniche avanzate per apprendere dai dati, identificavano correttamente l'esito in circa il 90 percento dei casi quando consideravano solo i due risultati finali: laurea o abbandono. Tuttavia, la vera svolta è avvenuta quando i ricercatori hanno aggiunto lo strato di incertezza. Quando ai modelli è stato chiesto di essere altamente sicuri — specificamente, di avere ragione nel 95 percento dei casi — non hanno forzato una risposta singola per ogni studente. Invece, per circa il 9-12 percento degli studenti, i modelli hanno restituito un insieme contenente sia "laurea" che "abbandono". Questo non è stato un fallimento del computer; è stato un successo del nuovo metodo. Significava che, per questi specifici studenti, le prove disponibili non erano abbastanza forti da scegliere un futuro rispetto all'altro. Il computer stava onestamente ammettendo: "Non posso esserne sicuro ancora".

Questa incertezza era ancora più pronunciata quando i ricercatori hanno incluso una terza categoria: gli studenti che erano ancora iscritti ma non si erano ancora laureati. In questo scenario più complesso, i modelli hanno scoperto che per quasi il 40 percento degli studenti, le prove indicavano molteplici futuri possibili. Il gruppo degli "ancora iscritti" rappresenta uno stato transitorio in cui il percorso dello studente è realmente indeciso. Forzando un'etichetta singola su questi studenti, gli studi precedenti avrebbero potuto nascondere il fatto che la previsione fosse incerta. Il nuovo quadro metodologico, invece, ha reso visibile questa ambiguità. Ha mostrato che per una grande parte del corpo studentesco, la traiettoria non era ancora chiara e il computer non poteva prevedere con certezza il risultato finale. Questa è una distinzione cruciale per gli amministratori scolastici, poiché evita loro di trattare un'ipotesi incerta con lo stesso peso di un fatto solido.

Oltre a misurare l'incertezza, lo studio ha anche esaminato quali fattori guidassero queste previsioni. Utilizzando una tecnica che scompone il processo decisionale del computer, i ricercatori hanno scoperto che i segnali più forti derivavano dal progresso accademico dello studente. Nello specifico, il numero di corsi superati dallo studente e i suoi voti nel secondo semestre sono stati gli indicatori più potenti del suo futuro. Anche lo stress finanziario ha giocato un ruolo fondamentale; gli studenti che erano in ritardo con i pagamenti delle tasse o che avevano debiti erano più propensi a essere segnalati come a rischio. Questi risultati si allineano con le teorie di lungo corso sul perché gli studenti abbandonino gli studi, confermando che sia l'integrazione accademica che la stabilità finanziaria sono pilastri chiave della persistenza. Lo studio non ha sostenuto che questi fattori causino l'abbandono scolastico, ma piuttosto che siano gli indizi più affidabili che il computer può usare per individuare i problemi.

Le implicazioni di questo lavoro sono pratiche e immediate per il modo in cui le università gestiscono le proprie risorse. Lo studio propone un sistema a livelli per agire su queste previsioni. Se l'insieme di previsione di uno studente contiene solo "abbandono", la scuola può dare priorità a un supporto immediato e intensivo, come il tutoraggio o la consulenza finanziaria. Se l'insieme contiene solo "laurea", lo studente può essere lasciato in pace per continuare i propri studi senza interferenze non necessarie. Ma per gli studenti il cui insieme di previsione contiene molteplici esiti — quelli su cui il computer non riesce a decidere — lo studio suggerisce un approccio diverso. Questi studenti dovrebbero essere indirizzati a consulenti umani per un esame più approfondito. Un consulente può raccogliere ulteriori informazioni, come parlare con lo studente o controllare la sua frequenza, per aiutare a risolvere l'incertezza prima di prendere una decisione. Ciò trasforma il computer da giudice finale in uno strumento utile che evidenzia dove il giudizio umano è più necessario.

In definitiva, questa ricerca suggerisce che il futuro del supporto agli studenti non risiede nel costruire computer che abbiano sempre ragione, ma nel costruire sistemi che siano onesti su quando non sono sicuri. Quantificando l'incertezza, le scuole possono smettere di tirare a indovinare e iniziare a prendere decisioni informate. Possono dirigere le loro risorse limitate verso gli studenti che ne hanno più bisogno, evitando al contempo lo stigma e lo spreco derivanti dall'intervenire in casi in cui l'esito è in realtà chiaro. Lo studio conclude che, sebbene l'apprendimento automatico sia uno strumento potente per individuare schemi nei dati degli studenti, deve essere abbinato a metodi che ne misurino l'affidabilità. Solo allora questi sistemi potranno realmente sostenere l'obiettivo di aiutare ogni studente a raggiungere il traguardo.