Measuring Changes in Instructor Class Design and Student Learning After the Release of Large Language Models (LLMs)

Sintesi Tecnica: Misurazione dei Cambiamenti nella Progettazione dei Corsi da Parte dei Docenti e nell'Apprendimento degli Studenti Dopo il Rilascio dei Modelli Linguistici di Grandi Dimensioni (LLM)

Dichiarazione del Problema
La diffusa pubblicazione pubblica dei Modelli Linguistici di Grandi Dimensioni (LLM) alla fine del 2022 ha precipitato un cambiamento nell'istruzione superiore, tuttavia le prove empiriche riguardanti il suo impatto sui comportamenti di apprendimento degli studenti, sulla progettazione dei corsi da parte del corpo docente e sulla validità delle metriche tradizionali di valutazione rimangono scarse. Gli autori identificano un vuoto metodologico critico: le metriche tradizionali come i voti sono sempre più compromesse come proxy per l'apprendimento. Questa distorsione nasce da tre fattori: (1) la dinamica "gatto e topo" in cui i docenti ridisegnano gli incarichi per renderli resistenti agli LLM, rompendo la comparabilità longitudinale; (2) la possibilità che un uso non rilevato degli LLM gonfi artificialmente i voti senza corrispondenti guadagni nell'apprendimento; e (3) la penalizzazione degli studenti sorpresi nell'uso degli LLM, che può risultare in voti di bocciatura nonostante una comprensione concettuale effettiva. Di conseguenza, manca una dati triangolati che combinino registri storici dei voti con percezioni qualitative da parte sia del corpo docente che degli studenti per valutare le tendenze di apprendimento nell'"era post-LLM".

Metodologia
Questo studio impiega un disegno misto, multi-corso, condotto presso l'Università del Massachusetts, Boston (UMass Boston). La ricerca triangola tre fonti di dati distinte:

1. Analisi Quantitativa Retrospectiva: Dati storici sui voti che coprono fino a dieci anni in circa quindici corsi sono stati ottenuti dall'ufficio anagrafe dell'università. Questi dati permettono un confronto tra le medie dei punteggi (GPA), i tassi di abbandono e i tassi di bocciatura tra l'era pre-LLM (prima della primavera 2023) e l'era post-LLM.
2. Sondaggi per Docenti: Un sondaggio è stato distribuito al corpo docente per documentare i cambiamenti nella struttura del corso, nella progettazione degli incarichi e nei criteri di valutazione. Diciotto docenti hanno completato il sondaggio di ricerca. Il sondaggio ha utilizzato scale Likert e domande a risposta libera per catturare l'estensione e la natura delle adattazioni pedagogiche.
3. Sondaggi per Studenti: Sondaggi anonimi sono stati somministrati agli studenti (principalmente da programmi legati all'informatica) per valutare la frequenza di auto-dichiarata dell'uso degli LLM, i comportamenti di studio, la comprensione concettuale e le percezioni sulla validità dei voti. Per affrontare il bias di desiderabilità sociale, lo studio ha adottato un approccio a due punte: domande dirette sull'uso personale e domande indirette sull'uso da parte dei pari per calcolare un "indice di sottostima".

Lo studio ha utilizzato l'analisi tematica (Braun & Clarke) per i dati qualitativi e l'analisi statistica (correlazioni di Spearman, test t di Welch) per i dati quantitativi. La validità di contenuto degli strumenti di indagine è stata stabilita attraverso una revisione da parte di esperti di cinque professori universitari, raggiungendo un punteggio di accordo complessivo del 94,00% dopo la raffinazione degli elementi.

Contributi Chiave

• Evidenza Triangolata: Questo è il primo studio a esaminare simultaneamente i dati sui voti, le percezioni dei docenti e le auto-dichiarazioni degli studenti per analizzare il fenomeno degli LLM nell'istruzione superiore.
• Quantificazione del Cambiamento Pedagogico: Lo studio documenta la cronologia specifica e l'entità delle ridisegnazioni dei corsi, identificando un ritardo tra la disponibilità degli LLM e l'adattamento significativo da parte dei docenti.
• Indice di Sottostima: La ricerca fornisce un approccio metodologico per stimare il divario tra l'uso auto-dichiarato e l'uso effettivo degli LLM confrontando le stime sull'uso personale e sull'uso da parte dei pari.
• Discrepanza Voto-Apprendimento: Lo studio offre prove empiriche che collegano la mancanza di ridisegnazione dei corsi al gonfiaggio artificiale dei voti, suggerendo che nei corsi non modificati, l'accesso agli LLM correla con voti più alti ma potenzialmente un apprendimento autentico inferiore.

Risultati

• Adattamento dei Docenti: L'86,7% dei docenti rispondenti ha modificato i propri corsi in risposta alla GenAI. I cambiamenti più comuni hanno coinvolto il passaggio verso lavori in classe, valutazioni in classe e compiti di ragionamento concettuale (Figura 3). La gravità della ridisegnazione è aumentata significativamente dopo la primavera 2023, con molti docenti che hanno alterato il 20-40% o più dei loro incarichi.
• Tendenze dei Voti: Nell'era post-LLM, la GPA media degli studenti è aumentata leggermente da 2,96 a 3,00 (statisticamente significativa ma con un effetto trascurabile, d di Cohen = 0,04). Anche i tassi di abbandono e di bocciatura sono diminuiti leggermente.
• L'Anomalia del Corso "Invariato": È emersa una scoperta critica riguardante i due docenti che hanno riferito nessun cambiamento nella progettazione del loro corso. I loro corsi hanno mostrato un aumento sostanzialmente maggiore della GPA media (+0,25 punti) rispetto ai corsi insegnati da docenti che hanno ridisegnato i propri incarichi (+0,01 punti). Anche i tassi di abbandono sono diminuiti più drasticamente in questi corsi non modificati.
• Comportamento e Percezione degli Studenti: Gli studenti hanno sottostimato il loro uso personale degli LLM per gli incarichi valutati rispetto alle loro stime sull'uso da parte dei pari. Un uso auto-dichiarato degli LPM più elevato è correlato a una minore convinzione che i voti riflettano accuratamente l'apprendimento. Tuttavia, in questo campione, l'uso auto-dichiarato degli LLM non ha mostrato una correlazione statisticamente significativa con la GPA, il tempo di studio o i punteggi di comprensione concettuale (ConCal).
• Preoccupazioni degli Studenti: Gli studenti hanno espresso significativa ansia riguardo alla punizione per l'uso dell'IA (anche quando non lo facevano) e riguardo all'equità del sistema in cui i pari potrebbero utilizzare l'IA per ottenere voti più alti. C'era una forte richiesta, non sollecitata, di linee guida istituzionali e workshop sull'uso dell'IA.

Significato e Affermazioni
Gli autori posizionano questo lavoro come uno studio pilota destinato a informare ricerche e politiche istituzionali più ampie. L'articolo afferma che il suo significato principale risiede nel fornire una valutazione basata su evidenze delle tendenze di apprendimento utilizzando dati triangolati, necessaria affinché le università possano navigare nelle politiche sulla GenAI.

Lo studio conclude che, sebbene la maggior parte dei docenti stia attivamente ridisegnando i corsi per mitigare la dipendenza dall'IA, coloro che non si sono adattati stanno assistendo a un sostanziale gonfiaggio dei voti nelle loro classi. Ciò suggerisce che, senza adattamento pedagogico, l'accesso agli LLM può creare uno svantaggio competitivo per gli studenti che non utilizzano l'IA, mentre allo stesso tempo oscura il vero stato dell'apprendimento degli studenti. Gli autori affermano che i dati attuali supportano la necessità di politiche a livello universitario e di linee guida rivolte agli studenti, notando che le risorse istituzionali esistenti si concentrano quasi esclusivamente sui docenti. L'articolo evita esplicitamente di trarre generalizzazioni ampie a causa della sua natura di campione di convenienza in un singolo sito, esortando affinché questi risultati servano come fondamento per studi più ampi e multi-istituzionali.