Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

Nel mondo dell'apprendimento delle lingue, scrivere un saggio accademico è un atto complesso. Non si tratta semplicemente di scrivere correttamente le parole o di comporre frasi senza errori grammaticali. Per avere successo, uno studente deve anche sviluppare idee forti, connettere tali idee in modo fluido affinché il testo scorra logicamente e adottare un tono che si adatti alle aspettative serie e oggettive della conversazione accademica. Per decenni, gli insegnanti hanno faticato per valutare questi saggi in modo equo e coerente. Il giudizio umano è prezioso, ma è anche lento, costoso e soggetto a stanchezza, il che può portare a insegnanti diversi che assegnano punteggi differenti allo stesso lavoro. Ciò ha creato una domanda di computer in grado di leggere e valutare la scrittura automaticamente.

Recentemente, sono emersi potenti sistemi di intelligenza artificiale noti come modelli linguistici di grandi dimensioni. Si tratta degli stessi tipi di tecnologia che possono sostenere conversazioni, scrivere storie o rispondere a domande. Poiché sono in grado di comprendere molto bene il linguaggio umano, i ricercatori hanno iniziato a chiedersi se potessero anche agire come insegnanti equi e accurati, valutando i saggi degli studenti proprio come farebbe un essere umano. La speranza era che queste macchine potessero fornire feedback istantanei a migliaia di studenti contemporaneamente. Tuttavia, rimaneva una domanda critica senza risposta: queste macchine comprendono realmente cosa renda buona la scrittura, o stanno solo indovinando numeri che sembrano corretti? Per scoprirlo, un ricercatore di nome Pegah Merrikhi ha deciso di testare tre dei sistemi di IA più avanzati disponibili oggi contro lo standard di riferimento del giudizio umano.

Lo studio si è concentrato su un quadro specifico chiamato LICA, che suddivide la qualità di un saggio in quattro parti distinte. La prima parte è il Linguaggio (Language), che analizza la grammatica e il vocabolario. La seconda sono le Idee (Ideas), che misurano quanto siano profonde e ben supportate le argomentazioni. La terza è la Coesione (Cohesion), che verifica quanto le frasi e i paragrafi si tengano insieme. La parte finale è l'Appropriatezza Accademica (Academic Appropriateness), che valuta se la scrittura suoni come quella di un serio studioso, piuttosto che come una conversazione informale. La ricercatrice ha preso cinque saggi scritti da studenti di seconda lingua e ha chiesto a tre diversi sistemi di IA — GPT-4o, Claude 3.5 Sonnet e Gemini 1.5 Pro — di valutare ciascun saggio su queste quattro scale. Allo stesso tempo, un esperto umano ha fornito i punteggi "corretti". L'obiettivo era vedere quanto le macchine si avvicinassero all'esperto umano e come si confrontassero tra loro.

I risultati hanno rivelato una storia di sorprendente precisione unita a distinte personalità all'interno di questo specifico, piccolo test. Uno dei sistemi di IA, GPT-4o, ha operato con una precisione perfetta sui cinque saggi utilizzati per questa calibrazione preliminare. Ha replicato esattamente i punteggi dell'esperto umano in ogni singolo saggio e per ogni singola categoria in questo specifico campione, replicando efficacementamente il giudizio dell'esperto umano per questo limitato set di dati. Il secondo sistema, Claude 3.5 Sonnet, era anch'esso molto vicino all'esperto umano, ma mostrava una leggera tendenza a essere troppo generoso. Valutando il flusso delle idee e il tono accademico, ha assegnato punteggi leggermente più alti di quelli che l'esperto umano avrebbe dato. Non era sbagliato, ma era leggermente indulgente.

Il terzo sistema, Gemini 1.5 Pro, ha mostrato un modello differente. Sebbene fosse molto bravo nel giudicare come i paragrafi si collegassero, tendeva a essere più severo dell'esperto umano. Per quanto riguarda la valutazione della profondità delle idee dello studente e l'appropriatezza del tono accademico, ha assegnato punteggi sensibilmente più bassi rispetto all'esperto umano. Ciò suggerisce che, mentre la macchina poteva cogliere la struttura della scrittura, era più dura sul contenuto e sulla voce dello scrittore.

Forse il risultato più rivelatore non riguardava il confronto tra le macchine e gli umani, ma come le macchine si confrontavano tra loro. Quando i tre sistemi di IA hanno valutato i saggi senza alcun aiuto umano, sono concordati quasi perfettamente sugli aspetti tecnici del linguaggio e sul flusso del testo. Tuttavia, hanno faticato a concordare tra loro quando si trattava di giudicare il tono accademico e la qualità delle idee. Sulla questione se la scrittura suonasse appropriata per un contesto universitario, le macchine spesso discordevano, con una che era generosa e un'altra che era severa. Ciò indica che, sebbene questi sistemi siano eccellenti nel individuare grammatica e struttura, non possiedono ancora una comprensione singola e unificata di ciò che rende corretto un argomento accademico.

Lo studio conclude che questi strumenti di intelligenza artificiale sono abbastanza potenti da essere utili, ma non sono ancora pronti a sostituire interamente gli insegnanti umani. Possono gestire le parti meccaniche della valutazione con grande velocità e precisione, ma mancano ancora dell'intuizione umana costante necessaria per giudicare le sottili sfumature sociali e culturali della scrittura accademica. La ricercatrice suggerisce che l'approccio migliore sia quello di utilizzare queste macchine come assistenti che forniscono una prima bozza di feedback, mantenendo un insegnante umano nel processo per dare il giudizio finale, specialmente sugli aspetti più complessi della scrittura. Ciò assicura che gli studenti ricevano la velocità dell'automazione senza perdere la profondità della comprensione umana.