Generative AI Availability, Grades, and Student Satisfaction at a Large University
Utilizzando un'analisi di differenze nelle differenze su larga scala di oltre 138.000 studenti, questo studio non trova prove del fatto che la disponibilità dell'IA generativa abbia gonfiato in modo sproporzionato i voti o ridotto la soddisfazione degli studenti nei corsi suscettibili alla sostituzione tramite IA, attenuando così le preoccupazioni che gli studenti stiano delegando lo sforzo cognitivo all'IA senza apprendere.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui un assistente robotico magico e super intelligente appare dalla sera alla mattina. Questo robot può scrivere saggi, risolvere problemi di matematica e scrivere codice più velocemente di qualsiasi essere umano. Improvvisamente, una grande domanda sorge nelle scuole ovunque: se gli studenti usano questo robot per fare i compiti, impareranno ancora davvero la materia? O otterranno semplicemente voti perfetti senza mai aprire un libro di testo? Questo è il cuore di un dibattito nella scienza dell'educazione. I ricercatori stanno cercando di capire se questo "aiuto del robot" sia uno strumento utile che potenzia l'apprendimento o una "scorciatoia cognitiva" che permette agli studenti di saltare la fatica di pensare. È importante perché i voti sono come un segnale per il futuro; dicono ai college e ai datori di lavoro cosa sa uno studente. Se i voti iniziassero a valere meno perché tutti hanno usato il robot, l'intero sistema di smistamento degli studenti in lavori e carriere potrebbe andare in tilt.
Ora, facciamo uno zoom su uno studio massiccio proveniente da una enorme università del Midwest americano che ha cercato di risolvere questo mistero. I ricercatori erano come detective alla ricerca di un tipo specifico di "trucco magico". Sapevano che non tutte le classi sono uguali. Alcune classi sono come un "test a casa" dove puoi lavorare da solo nella tua stanza con il tuo laptop — queste sono le classi più probabili che siano "suscettibili" all'aiuto del robot. Altre classi sono come una "performance dal vivo" o un esame a libro chiuso dove devi mostrare le tue abilità in tempo reale davanti a un insegnante — queste sono molto più difficili da simulare per un robot.
Il team ha raccolto una montagna di dati: programmi di studio, voti e sondaggi tra gli studenti per oltre 138.000 studenti in migliaia di corsi, osservando gli anni prima e dopo il rilascio del famoso chatbot AI (ChatGPT) alla fine del 2022. Hanno usato un astuto trucco statistico chiamato approccio "differenza nelle differenze". Pensatelo come al confronto di due gruppi di corridori: un gruppo corre su una pista dove può usare un monopattino motorizzato (le classi suscettibili), e un altro gruppo deve correre a piedi (le classi non suscettibili). Volevano vedere se, dopo l'introduzione dei monopattini, il gruppo dei monopattini iniziasse improvvisamente a finire molto più velocemente dei corridori a piedi.
Ecco il colpo di scena: lo studio ha scoperto che il gruppo dei monopattini non è decollato improvvisamente. In effetti, i ricercatori hanno riscontrato nessuna differenza significativa nei voti finali tra le classi che potevano facilmente usare l'IA e quelle che non potevano. Che si trattasse di uno studente eccellente o di qualcuno che di solito faticava, l'IA non sembrava dare loro una spinta magica nel voto. Il "robot" non ha causato un'ondata di inflazione dei voti.
I ricercatori hanno anche controllato se gli studenti si sentissero diversamente riguardo ai loro corsi. Sentivano di capire meno la materia? Perdevano interesse? Il lavoro sembrava più facile? Ancora una volta, la risposta è stata per lo più "no". Una volta tenuto conto degli anni disordinati e confusi della pandemia (che avevano già cambiato il modo in cui funzionavano le scuole), l'introduzione dell'IA non sembrava far sentire gli studenti meno coinvolti o meno soddisfatti.
Quindi, qual è il verdetto? Lo studio suggerisce che la paura che gli studenti stiano usando l'IA per "sostituire" il proprio sforzo e ottenere voti facili sia esagerata, almeno in questo grande contesto universitario. Sebbene l'IA venga sicuramente utilizzata, non ha rotto il sistema di valutazione né ha fatto smettere gli studenti di imparare. Il "segnale" di un voto sembra ancora significare ciò che ha sempre significato. I ricercatori avvertono che questo non significa che l'IA non abbia alcun effetto, ma significa che l'idea spaventosa che i voti siano ora privi di senso a causa dei robot non è supportata dai dati che hanno raccolto. I voti non sono saliti, gli studenti non si sono disinteressati e il segnale di apprendimento rimane intatto.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.