When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

Nel mondo dell'apprendimento di una seconda lingua, insegnanti e ricercatori si affidano da tempo a un quadro tripartito per comprendere quanto bene uno studente scriva. Essi osservano la complessità, ovvero quanto le strutture delle frasi siano intricate e variegate; l'accuratezza, che misura quanto la scrittura sia libera da errori grammaticali; e la fluidità, che conta quanti termini uno studente produce in un'unica unità di pensiero. Per decenni, misurare questi tratti ha richiesto che un esperto umano leggesse ogni frase, contasse le clausole e segnalasse ogni errore, un processo lento, costoso e difficile da ripetere in modo costante. Ora, l'intelligenza artificiale offre una nuova possibilità. I modelli linguistici di grandi dimensioni, gli stessi potenti sistemi informatici in grado di scrivere saggi o rispondere a domande, possono anche essere interrogati per contare istantaneamente queste caratteristiche linguistiche. Ma rimane una domanda critica: solo perché un computer concorda con un essere umano sulla classificazione generale dei saggi, esso produce effettivamente gli stessi numeri? Se un insegnante utilizza questi numeri per monitorare il progresso di uno studente nel tempo, un piccolo errore costante nel conteggio del computer potrebbe portare a una conclusione completamente errata sul fatto che lo studente stia migliorando o abbia difficoltà.

Un team di ricercatori dell'Università di Maragheh, in Iran, si è posto l'obiettivo di rispondere a questa domanda testando sei diversi sistemi di intelligenza artificiale pubblici rispetto a esperti umani. Hanno raccolto 90 saggi argomentativi scritti da 45 studenti universitari, con ogni studente che scriveva due saggi sullo stesso tema relativo ai social media, separati da due settimane. Gli esperti umani hanno prima letto ogni saggio e concordato su un unico set di numeri per complessità, accuratezza e fluidità basandosi su regole rigide. Successivamente, i ricercatori hanno inserito esattamente gli stessi saggi in sei diversi modelli di IA, inclusi sistemi noti come ChatGPT, Gemini e altri, chiedendo loro di applicare le stesse regole rigide e restituire i conteggi. L'obiettivo non era vedere se l'IA potesse scrivere un buon saggio, ma vedere se potesse agire come uno strumento di misurazione preciso, replicando i valori esatti che un essere umano calcolerebbe.

I risultati hanno rivelato un divario sorprendente tra ciò su cui l'IA e gli umani concordavano e ciò che effettivamente misuravano. Ogni singolo modello di IA mostrava una forte connessione con i punteggi umani; quando un essere umano valutava un saggio come avente un'alta complessità, anche l'IA lo valutava come alta. Ciò significa che i computer erano bravi a comprendere l'ordine relativo dei saggi. Tuttavia, quando i ricercatori hanno esaminato i numeri effettivi, i computer erano spesso errati in un modo specifico. Per la misura della complessità, che consiste nel contare quante clausole sono impacchettate in una frase, cinque modelli su sei sottostimavano costantemente il valore. Vedevano meno strutture complesse di quante ne vedessero gli umani. Questo non era un errore casuale; era un pregiudizio sistematico in cui i modelli sembravano perdere le parti intricate della scrittura dello studente. Al contrario, i modelli erano molto più bravi a misurare l'accuratezza. Potevano identificare in modo affidabile se una frase conteneva un errore grammaticale o meno, e i loro numeri erano molto più vicini ai conteggi umani.

Lo studio ha anche esaminato quanto i modelli potessero rilevare i cambiamenti nella scrittura di uno studente nel tempo. Poiché gli studenti avevano scritto due saggi, i ricercatori potevano vedere se l'IA notava gli stessi cambiamenti di prestazione che avevano notato gli umani. Gli esperti umani hanno scoperto che nel secondo saggio gli studenti scrivevano con significativamente meno errori grammaticali, ma producevano frasi più brevi e meno complesse. I modelli di IA hanno copiato con successo questo schema per l'accuratezza e la fluidità, identificando correttamente che gli studenti commettevano meno errori e scrivevano meno parole per frase. Tuttavia, per quanto riguarda la complessità, i modelli sono stati incoerenti. Alcuni non sono riusciti affatto a notare il calo di complessità, mentre altri hanno visto un cambiamento troppo piccolo. Ciò suggerisce che, sebbene un'IA possa essere utile per individuare tendenze generali in un grande gruppo di studenti, non può ancora essere affidata per fornire i numeri esatti necessari per un'analisi dettagliata della struttura della frase senza la supervisione umana.

Tra i sei sistemi testati, un modello chiamato DeepSeek è stato quello che si è comportato meglio in assoluto, bilanciando meglio l'accuratezza in tutte e tre le categorie rispetto agli altri. Un altro modello, ChatGPT, è stato particolarmente forte nel misurare l'accuratezza. Eppure, i ricercatori hanno sottolineato che nessun singolo modello era perfetto per ogni compito. La prestazione dell'IA dipendeva fortemente da ciò che veniva esattamente misurato. Un modello che è eccellente nel contare gli errori potrebbe essere scarso nel contare le strutture delle frasi. Questa scoperta sfida l'idea che un'alta correlazione tra i punteggi umani e quelli delle macchine significhi che i due siano intercambiabili. Suggerisce che l'uso dell'intelligenza artificiale per la valutazione linguistica richieda un approccio attento e specifico, in cui lo strumento venga validato per il compito specifico a cui è chiamato, piuttosto che assumere che funzioni ugualmente bene per tutto.

In definitiva, lo studio conclude che questi potenti sistemi informatici sono preziosi assistenti, ma non sostituti del giudizio umano in questo campo specifico. Possono scansionare rapidamente grandi quantità di scritti per trovare schemi generali o segnalare saggi che necessitano di un'ispezione più ravvicinata. Tuttavia, per misurazioni precise, specialmente riguardo alla complessità delle strutture delle frasi, i numeri che producono devono ancora essere controllati rispetto agli standard umani. La ricerca evidenzia che, nella ricerca di un'analisi del linguaggio automatizzata, la differenza tra muoversi nella stessa direzione e atterrare sullo stesso numero è una distinzione cruciale che ricercatori e insegnanti devono tenere a mente.