How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education

Nella moderna università, una vasta quantità di vita studentesca lascia un'impronta digitale. Ogni volta che uno studente accede al sito di un corso, clicca su un link o scarica un documento, viene creato un record. Gli educatori e i ricercatori considerano da tempo queste tracce digitali come una finestra sul successo dello studente. La logica sembra semplice: se uno studente è attivo online, è probabile che sia impegnato e, se è impegnato, è probabile che ottenga buoni risultati nel corso. Questa convinzione ha guidato la creazione di dashboard e sistemi di allerta precoce progettati per individuare gli studenti in difficoltà contando i loro clic. Tuttavia, una domanda critica è rimasta senza risposta: l'attività in sé causa i buoni voti, o i buoni voti sono semplicemente il segno di uno studente che era già preparato e motivato? La differenza è enorme. Se l'attività è solo un sintomo del successo, allora costringere uno studente a cliccare più pulsanti non lo aiuterà ad apprendere. Se, invece, l'attività è un vero motore dell'apprendimento, allora incoraggiare una maggiore interazione potrebbe essere uno strumento potente per il miglioramento.

Un team di ricercatori si è proposto di sbrogliare questo rapporto utilizzando una massiccia collezione di dati provenienti dall'Open University nel Regno Unito. Hanno esaminato i record di oltre ventuno mila studenti che hanno partecipato a ventidue diversi corsi online. Il dataset era ricco, contenente dettagli sullo sfondo degli studenti, sulle loro prestazioni accademiche passate e oltre dieci milioni di interazioni con l'ambiente di apprendimento virtuale. I ricercatori si sono concentrati specificamente sul periodo precedente a quando uno studente sottoponeva un compito. Hanno contato il numero di clic e di attività che avvenivano nei giorni precedenti la scadenza della consegna, assicurandosi che nessuna attività avvenuta dopo la consegna del lavoro venisse conteggiata. Questa attenta tempistica era cruciale per garantire che stessero osservando un comportamento avvenuto prima che il risultato fosse noto.

Lo studio è iniziato esaminando i numeri grezzi, il tipo di associazione semplice che spesso appare nei rapporti standard. Hanno trovato un forte legame: per ogni incremento standard nel volume dell'attività online, il punteggio della valutazione aumentava di circa tre punti e un quarto. Questo numero è ciò che una tipica dashboard potrebbe evidenziare per suggerire che più attività equivale a una migliore prestazione. Tuttavia, i ricercatori sapevano che quel numero grezzo probabilmente includeva l'influenza di molti altri fattori. Gli studenti che avevano ottenuto buoni risultati in passato potrebbero cliccare di più naturalmente perché sono sicuri di sé, o potrebbero cliccare di più perché sono già bravi nella materia. Per trovare il vero effetto dell'attività stessa, i ricercatori hanno utilizzato un metodo statistico sofisticato progettato per eliminare queste differenze preesistenti. Hanno regolato i dati per tenere conto di tutto ciò che sapevano degli studenti prima che si aprisse la finestra di attività, inclusi i loro voti precedenti, il loro background demografico e la loro storia di utilizzo della piattaforma.

Quando i ricercatori hanno applicato questo aggiustamento, la storia è cambiata significativamente. Il legame tra attività e voti non è scomparso, ma si è ridotto considerevolmente. Dopo aver tenuto conto della storia precedente, l'aumento del punteggio è sceso da tre punti e un quarto a poco meno di un punto e tre quarti per lo stesso incremento di attività. Ciò significa che quasi la metà della connessione originale tra il cliccare e il punteggio era in realtà dovuta al background e alle prestazioni passate degli studenti, non all'attività stessa. Il legame rimanente, pur essendo ancora reale e statisticamente significativo, era molto più piccolo di quanto suggerissero i numeri grezzi. Indica che, sebbene l'attività online contenga informazioni utili su come si sta comportando uno studente, affidarsi ai numeri non corretti porterebbe le istituzioni a sovrastimare quanto il semplice aumento dei clic migliorerebbe il voto di uno studente.

I ricercatori hanno anche esaminato se questo rapporto aggiustato apparisse diverso per diversi tipi di studenti o diversi tipi di compiti. Hanno scoperto che il legame era più forte per i compiti che richiedevano risposte scritte e aperte valutate da un tutor umano, rispetto alle domande a scelta multipla valutate da un computer. Ciò suggerisce che il tipo di lavoro conta; l'attività digitale potrebbe essere più strettamente legata al pensiero profondo richiesto dai compiti in stile saggio rispetto ai quiz rapidi e automatizzati. Hanno anche scoperto che la connessione era più forte per gli studenti che avevano voti più bassi in passato. Per questi studenti, l'attività online sembrava essere un segnale più affidabile della loro prestazione attuale. Al contrario, il legame non mostrava una differenza chiara in base al fatto che uno studente provenisse da un contesto svantaggiato o avesse una disabilità dichiarata, sebbene i dati non fossero abbastanza precisi da escludere interamente piccole differenze.

Nonostante questi risultati, i ricercatori sono rimasti cauti nel sostenere che l'attività causi i voti. Per testare la presenza di fattori nascosti che non potevano misurare, hanno eseguito un controllo specifico. Si sono chiesti se l'attuale attività online potesse predire un voto di un compito precedente che era già stato completato prima che l'attività corrente iniziasse. Logicamente, i clic futuri non possono cambiare un voto passato. Eppure, i dati hanno mostrato che gli studenti che cliccavano di più in quella finestra avevano effettivamente punteggi più alti in quel compito precedente, anche dopo tutti gli aggiustamenti. Questo risultato segnala che ci sono ancora forze invisibili in gioco. Forse alcuni studenti sono naturalmente più motivati o hanno migliori abitudini di studio che esistono al di fuori del sistema digitale, guidando sia la loro attività online che i loro voti. Per questo motivo, i ricercatori hanno concluso che, sebbene il legame aggiustato sia reale, non è una garanzia che un intervento per forzare più clic aumenterebbe automaticamente i punteggi dell'intero ammontare del valore del numero aggiustato.

Lo studio offre una lezione chiara su come le università utilizzino i dati per supportare gli studenti. Le tracce digitali lasciate dagli studenti sono preziose, ma non sono un semplice interruttore che attiva l'apprendimento. L'associazione grezza tra attività e successo è forte, ma è pesantemente influenzata da chi è lo studente e da ciò che ha fatto in precedenza. Quando gli educatori usano questi numeri per decidere chi ha bisogno di aiuto, devono capire che i numeri raccontano una storia di correlazione, non necessariamente di causa ed effetto. Uno studente con bassa attività potrebbe aver bisogno di supporto, ma semplicemente dirgli di cliccare di più non servirà a risolvere il problema se la questione sottostante è una mancanza di conoscenze pregresse o di motivazione. L'approccio più efficace è usare questi segnali comportamentali come uno stimolo per la conversazione e la diagnosi, riconoscendo che l'attività è un segnale che indica lo stato di uno studente, piuttosto che una leva che può essere tirata per forzare un risultato migliore.