Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
Questo studio dimostra che le precedenti segnalazioni di previsioni quasi perfette sulla laurea nell'istruzione superiore erano artefatti derivanti da un target leakage causato da attributi determinati dall'esito, e stabilisce che, utilizzando un protocollo corretto e privo di leakage su record amministrativi provenienti da Gaza, i modelli di machine learning raggiungono un'accuratezza elevata ma realistica (fino all'89,16%) con il numero di semestri completati come il predittore più forte.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nell'università moderna, ogni studente lascia dietro di sé una vasta traccia digitale. Dal momento in cui presentano la domanda, i loro nomi, i voti e le presenze vengono registrati nei sistemi amministrativi, creando un enorme archivio di storia accademica. Per decenni, i ricercatori hanno cercato di estrarre dati da questi archivi per trovare schemi che potessero predire chi concluderà il proprio percorso di studi e chi potrebbe abbandonarlo. L'obiettivo è identificare precocemente gli studenti in difficoltà, permettendo alle scuole di offrire aiuto prima che sia troppo tardi. Questo campo, noto come data mining educativo, si basa su una regola semplice ma rigorosa: una previsione deve essere effettuata utilizzando solo le informazioni disponibili in quel preciso momento. Se un modello utilizza un'informazione che esiste solo dopo che l'esito si è già verificato, sta utilizzando informazioni future. Questo errore, chiamato target leakage (dispersione del bersaglio), crea un falso senso di certezza, facendo apparire un modello perfetto quando in realtà sta solo leggendo la chiave delle risposte.
Un team di ricercatori a Gaza, Palestina, si è posto l'obiettivo di testare questa idea utilizzando vent'anni di registri dell'University College of Applied Sciences. Hanno esaminato i fascicoli di quasi 4.700 studenti che hanno studiato informatica tra il 2000 e il 2019. La loro indagine è iniziata con una scoperta sorprendente. Quando hanno costruito modelli informatici per predire la laurea utilizzando i dati esattamente come erano conservati nel sistema della scuola, i risultati sono stati sospettosamente perfetti. I modelli hanno raggiunto il 100 percento di accuratezza, il che significa che non hanno commesso un singolo errore. Questo sembrava un trionfo, ma i ricercatori si sono resi conto che i modelli non stavano effettivamente predicendo il futuro. Stavano semplicemente guardando due colonne specifiche nel database: l'anno in cui lo studente si è laureato e la sua media finale. Questi numeri compaiono nel sistema solo se lo studente ha già completato il proprio titolo di studio. Includendoli, ai modelli veniva essenzialmente fornita la risposta prima ancora di iniziare il test.
Una volta che i ricercatori hanno rimosso queste due colonne di "informazioni future", il quadro è cambiato completamente. I modelli, che includevano alberi decisionali, foreste casuali (random forests) e algoritmi di gradient boosting, hanno dovuto lavorare utilizzando solo le informazioni disponibili mentre gli studenti stavano ancora studiando. In queste condizioni oneste, l'accuratezza è scesa a un livello più realistico, attestandosi intorno all'89 percento. Sebbene questo sia comunque un risultato forte, è lontano dalla perfezione impossibile vista in precedenza. I ricercatori hanno scoperto che il segnale più potente per determinare se uno studente si sarebbe laureato non era la sua media dei voti, ma semplicemente quanti semestri aveva completato con successo. Uno studente che continuava a presentarsi e a concludere i periodi accademici aveva molte più probabilità di laurearsi rispetto a uno che aveva voti alti ma smetteva di frequentare. Ciò suggerisce che la costanza è un predittore di successo più forte rispetto alla performance accademica momentanea.
Lo studio ha anche esaminato quanto presto potessero essere effettuate queste previsioni. Quando i ricercatori hanno limitato i modelli all'uso delle sole informazioni disponibili al momento in cui lo studente si è presentato all'università — come i voti della scuola superiore e l'età — l'accuratezza è scesa a circa il 70 percento. Ciò indica che, sebbene le scuole possano ottenere un senso generale del rischio prima ancora che lo studente arrivi, il quadro reale emerge solo una volta che lo studente inizia il suo percorso e la sua storia di frequenza inizia a costruirsi. I ricercatori hanno anche controllato se i modelli trattassero equamente gli studenti maschi e femmine. Hanno scoperto che i modelli non discriminavano; anzi, poiché le studentesse in questo specifico gruppo avevano un tasso naturale di laurea più elevato, i modelli hanno predetto correttamente che avrebbero avuto maggiori probabilità di successo. La versione precedente dello studio aveva suggerito una regola diversa basata sul genere, ma si trattava di un'illusione creata dai dati errati.
Le implicazioni di questo lavoro vanno oltre una singola università a Gaza. Serve come monito per le istituzioni di tutto il mondo che sono desiderose di utilizzare l'intelligenza artificiale per gestire il successo degli studenti. I ricercatori hanno dimostrato che un modello può apparire incredibilmente potente pur essendo del tutto inutile se gli viene permesso di sbirciare la risposta. Hanno fornito un metodo chiaro affinché altre scuole possano controllare i propri dati alla ricerca di questi difetti nascosti. Per i consulenti universitari, le scoperte corrette offrono un percorso pratico da seguire: concentrarsi sugli studenti che smettono di frequentare le lezioni piuttosto che solo su quelli con voti bassi, e usare queste previsioni come spunto per una conversazione umana piuttosto che come una decisione automatizzata. Lo studio conclude che l'alta accuratezza non è l'unico parametro di un buon modello; un modello che è onesto su ciò che sa e su come lo sa è molto più prezioso per aiutare gli studenti a navigare nella propria istruzione.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.