Using an LLM to Investigate Students' Explanations on Conceptual Physics Questions

Riepilogo Tecnico: Utilizzo di un LLM per Indagare le Spiegazioni degli Studenti su Domande di Fisica Concettuale

Enunciato del Problema
Le valutazioni a scelta multipla (MC) basate sulla ricerca, come il Questionario Concettuale su Energia e Quantità di Moto (EMCS), sono strumenti standard per valutare la comprensione concettuale in fisica grazie alla loro scalabilità. Tuttavia, gli autori sostengono che i formati MC soffrono di limitazioni significative: non riescono a scoprire le diverse modalità con cui gli studenti ragionano sui concetti di fisica, non rivelano le specifiche risorse concettuali che gli studenti attivano e possono involontariamente rafforzare associazioni errate attraverso la ripetuta esposizione ai distrattori. Sebbene le risposte scritte a risposta aperta offrano approfondimenti pedagogici più profondi, la loro correzione su larga scala (ad esempio, in corsi con $N > 1.000$) è proibitivamente laboriosa e soggetta a inconsistenze. Lo studio affronta la necessità di un metodo scalabile e coerente per valutare le spiegazioni scritte degli studenti al fine di identificare queste risorse concettuali sottostanti.

Metodologia
Lo studio è stato condotto in un corso di fisica basato sul calcolo del primo semestre presso una grande università statunitense, coinvolgendo 1.131 studenti. I ricercatori hanno somministrato l'EMCS come pre-test e post-test. Per il post-test, tre domande specifiche (Q05, Q16 e Q23) sono state convertite dal loro formato MC originale in prompt scritti a risposta aperta. Queste domande sono state selezionate sulla base della letteratura che indicava bassi guadagni nel post-test e scarse prestazioni, suggerendo che gli studenti attivano frequentemente risorse concettuali improduttive su tali item.

Gli studenti sono stati istruiti a rispondere utilizzando il framework Claim-Evidence-Reasoning (CER), un metodo che avevano esercitato durante tutto il semestre. L'analisi dei dati ha utilizzato il Large Language Model (LLM) GPT-4o di OpenAI. L'LLM è stato sollecitato tramite un modello strutturato che agiva come un "educatore esperto in fisica" con una specifica rubrica per:

1. Valutare la correttezza dell'affermazione dello studente (risposta).
2. Valutare la correttezza delle prove e del ragionamento.
3. Assegnare categorie emergenti alle spiegazioni errate basate su pattern concettuali distinti (fino a sei categorie).
4. Utilizzare la sollecitazione "chain of thought" per passare attraverso i principi fisici prima di assegnare il punteggio.

Per validare le prestazioni dell'LLM, un correttore umano (HG) ha analizzato indipendentemente un campione casuale del 20% ($N=231$) delle risposte. Lo studio ha misurato l'accordo utilizzando il kappa di Cohen e ha confrontato la percentuale di classificazioni corrette. L'LLM è stato inoltre testato per la coerenza su più esecuzioni con un'impostazione di temperatura di 0,5.

Risultati Chiave

• Accuratezza della Correzione: L'LLM ha dimostrato un alto accordo con i correttori umani. La discrepanza nella correttezza complessiva (affermazione supportata da ragionamento corretto) è stata straordinariamente bassa, variando dallo 0% al 3% sulle tre domande. Il kappa di Cohen medio tra l'LLM e il correttore umano è stato di 0,77 (accordo sostanziale quasi perfetto), con punteggi per domanda individuale di 0,74, 0,65 e 0,89.
• Categorie Emergenti: L'LLM ha generato con successo categorie emergenti per spiegazioni errate che non erano predefinite. Ad esempio, sulla Q05, l'LLM ha identificato categorie come "Applicazione errata del tipo di collisione" e "Identificazione errata del tipo di collisione", che non erano presenti nei distrattori MC originali.
• Rivelazione di Concezioni Errate Nascoste: L'analisi ha rivelato casi in cui gli studenti fornivano l'affermazione corretta (risposta) basata su ragionamenti errati o improduttivi. Nel formato MC, questi studenti sarebbero stati classificati come corretti; tuttavia, l'LLM ha identificato le risorse concettuali difettose (ad esempio, l'applicazione errata della conservazione della quantità di moto in un contesto di collisione anelastica) che avevano portato alla risposta corretta per caso o per logica difettosa.
• Coerenza: L'LLM ha prodotto categorie emergenti coerenti su più esecuzioni, con una bassa deviazione standard nella percentuale di studenti classificati come completamente corretti.

Significato e Affermazioni
Gli autori rivendicano due contributi principali:

1. Affidabilità: Gli LLM opportunamente sollecitati (in particolare GPT-4o) possono valutare in modo affidabile la correttezza complessiva delle risposte scritte degli studenti, inclusa sia la risposta che la spiegazione di supporto, con livelli di accordo comparabili a quelli dei correttori umani. Ciò suggerisce che gli LLM possono alleviare il collo di bottiglia della correzione di domande di fisica a risposta aperta su larga scala.
2. Profondità di Insight: L'analisi basata su LLM rivela categorie emergenti di ragionamento errato che non sono catturate dalle opzioni fisse delle valutazioni MC tradizionali. Lo studio dimostra che gli LLM possono scoprire "innumerevoli modi di pensare" e risorse concettuali specifiche (sia produttive che improduttive) che rimangono nascoste nei formati MC standard.

Il documento conclude che, sebbene le valutazioni MC siano sufficienti per quantificare la percentuale di studenti con concezioni corrette, gli LLM offrono una via promettente per gli educatori per isolare specifici malintesi e indagare la ricchezza del ragionamento degli studenti in corsi con un'alta affluenza. Gli autori notano una limitazione riguardante il sottoinsieme di domande utilizzato (a causa di preoccupazioni sulla fatica degli studenti) e affermano che il lavoro futuro mirerà ad espandere questa analisi all'intero EMCS e a valutazioni di fisica più complesse.