A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor

Immagina di essere un insegnante con una montagna di compiti da correggere. Hai 6.000 assignazioni di programmazione da controllare e i tuoi occhi sono stanchi. Entra in scena il "Correttore Digitale": un tipo di cervello informatico super intelligente chiamato Large Language Model (LLM). Pensa a questi modelli come a robot incredibilmente istruiti che hanno letto quasi tutto su internet, incluse milioni di righe di codice. Sono progettati per comprendere il linguaggio e la logica, quindi sembra un'idea perfetta quella di chiedere loro di correggere il lavoro degli studenti istantaneamente. Ma ecco il trucco: proprio come gli umani, questi robot hanno personalità diverse. Alcuni sono severi, altri sono alla mano e altri sono semplicemente strani. La grande domanda per le scuole è: se lasciamo che questi robot prendano il controllo della correzione, saranno equi? Concorderanno con gli insegnanti umani? O trasformeranno il sistema di valutazione in un gioco caotico dove un robot ti dà un A+ e un altro ti dà un F per lo stesso identico codice?

Questo articolo è come un enorme "test di assaggio" per questi correttori digitali. L'autore, Marcin Jukiewicz, ha raccolto 6.000 vere assignazioni di programmazione di un corso universitario e ha chiesto a 18 diverse versioni di questi robot IA di correggerle tutte. Non si è limitato a chiedere loro di dare un punteggio; ha osservato come pensavano, quanto fossero severi e se concordassero tra loro o con gli insegnanti umani. Lo studio rivela che questi modelli IA non sono un blocco uniforme di intelligenza; sono una famiglia di cugini molto diversi. Alcuni sono "liberali" e distribuiscono voti alti come caramelle, mentre altri sono "restrittivi" e bocciano gli studenti per piccoli errori. Anche più sorprendente, i robot della stessa azienda (come OpenAI o Google) tendono a pensare e a correggere in modi molto simili, quasi come se fossero stati cresciuti nella stessa casa con le stesse regole.

La scoperta più importante, tuttavia, è un po' un bagno di realtà. Anche il "miglior" robot IA dello studio mostrava solo un livello moderato di allineamento statistico con gli insegnanti umani, tutt'altro che un match perfetto. Nel mondo della correzione, questo è come due giudici in un talent show che danno punteggi completamente diversi allo stesso cantante. Lo studio suggerisce che, sebbene l'IA possa essere coerente con se stessa, fatica ancora a eguagliare il modo sfumato, comprensivo e consapevole del contesto tipico degli insegnanti umani. Inoltre, lo studio ha scoperto che le versioni "mini" o "nano" di questi modelli (quelle più piccole e meno costose) erano generalmente peggiori nel correggere rispetto ai loro fratelli grandi e completi. Quindi, se una scuola vuole usare l'IA per correggere i compiti, non può semplicemente scegliere un robot qualsiasi; deve scegliere con cura, perché la scelta del robot cambierà effettivamente i voti che gli studenti riceveranno.

La Grande Sfida dei Robot Correttori

Immagina di entrare in una classe dove 18 diversi robot sono seduti alle scrivanie, ognuno con una penna rossa in mano. Stanno per correggere una pila di 6.000 assignazioni di programmazione. Questi non sono robot qualunque; sono i più recenti e avanzati "Large Language Models" (LLM) di quattro grandi giganti tecnologici: OpenAI, Google, Anthropic e DeepSeek. L'obiettivo di questo studio era vedere se questi robot avrebbero concordato su chi ottiene un A, chi un B e chi viene bocciato.

I risultati sono stati un po' come un reality show dove i giudici non riescono ad accordarsi su nulla. L'autore ha scoperto che questi robot hanno "filosofie di correzione" distinte.

I Robot "Gentili" vs I Robot "Cattivi"
Alcuni robot erano incredibilmente generosi. Modelli come GPT-4o e Claude-haiku-3.5 erano i correttori "liberali". Tendevano a dare voti alti (un "1" o credito pieno) molto spesso. Se il codice di uno studente era per lo più corretto, questi robot erano felici di dargli un voto sufficiente. All'altro capo dello spettro, avevi i robot "restrittivi" come DeepSeek-Reasoner e GPT-4.1-nano. Erano i severi disciplinari. Erano molto più propensi a dare uno "0" (un voto insufficiente) se individuavano anche un piccolo errore. Erano i robot che ti boccerebbero per un punto e virgola mancante, mentre i robot gentili ti darebbero solo un leggero suggerimento.

Poi c'erano i robot "equilibrati", come Claude-sonnet-4 e Gemini-2.0-flash-lite. Erano i correttori di mezzo. Non ti davano solo un punteggio perfetto o uno insufficiente; amavano il punteggio "0.5". Erano quelli che dicevano: "Hai capito l'idea principale, ma hai saltato alcuni dettagli, quindi ecco un credito parziale".

La Somiglianza Familiare
Una delle scoperte più interessanti è stata che i robot della stessa azienda si comportavano come fratelli. Se guardavi i modelli di correzione dei diversi modelli OpenAI (come GPT-4o, GPT-5 e le loro versioni "mini"), questi si raggruppavano insieme. Pensavano allo stesso modo. Lo stesso accadeva con i modelli Gemini di Google e i modelli Claude di Anthropic. È come se OpenAI avesse insegnato a tutti i suoi robot a correggere in uno stile specifico, e Google avesse insegnato ai suoi un altro stile. Lo studio ha trovato sei gruppi distinti di robot: cinque "clan" principali con stili condivisi (GPT-5, GPT-4, Gemini, DeepSeek e Claude) più un gruppo speciale di "Outlier" che univa due modelli unici perché non rientravano da nessun'altra parte.

Il "Mini" vs Il "Mega"
Lo studio ha anche esaminato la dimensione dei robot. Le aziende tecnologiche rilasciano spesso versioni "mini" o "nano" dei loro modelli che sono più piccole, più veloci e meno costose da gestire. L'articolo ha scoperto che questi robot più piccoli erano generalmente peggiori nel correggere. I modelli "flagship" a grandezza naturale erano più coerenti e affidabili. È come confrontare uno chef professionista con un ragazzino che ha appena guardato un programma di cucina; il ragazzino potrebbe finire il piatto, ma il professionista è più propenso a ottenere il sapore giusto ogni volta. I modelli "mini" e "nano" avevano una minore concordanza con gli insegnanti umani, suggerendo che se una scuola cerca di risparmiare denaro usando i modelli più piccoli e meno costosi, potrebbe ottenere una qualità di correzione inferiore.

Il Fattore Umano
Ecco il colpo di scena che potrebbe sorprendervi. Quando l'autore ha confrontato tutti questi robot con i veri insegnanti che avevano corretto le stesse assignazioni, i robot non corrispondevano bene. In effetti, gli insegnanti umani erano i più generosi di tutti! Davano i punteggi medi più alti (0.726) ed erano molto più propensi a dare un "1" pieno rispetto a qualsiasi dei robot.

Il miglior robot, Claude-haiku-3.5, mostrava un punteggio di accordo statistico di 0.470 con gli insegnanti umani. Nel mondo della statistica, questo è considerato un accordo "moderato", non uno "buono". Per essere considerato "buono", solitamente serve un punteggio superiore a 0,75. Questo significa che se usaste questo robot per correggere i vostri compiti, probabilmente vi darebbe un voto diverso da quello del vostro insegnante, ed è più severo.

Il Paradosso della "Folla"
Lo studio ha fatto qualcosa di intelligente per testare i robot tra di loro. Inveve di confrontarli con gli umani, i ricercatori si sono chiesti: "Se prendiamo il voto più comune dato da tutti i 18 robot, è il voto 'vero'?" Quando lo hanno fatto, i robot concordavano molto meglio tra di loro (oltre l'80% di accordo per i modelli top). Questo suggerisce che i robot sono molto coerenti con i propri simili, ma sono tutti coerentemente diversi dagli insegnanti umani.

Questo solleva una grande domanda. I robot hanno ragione e gli insegnanti sono troppo indulgenti? O i robot stanno commettendo tutti lo stesso errore perché sono stati addestrati su dati simili? L'articolo suggerisce che, sebbene i robot siano coerenti, potrebbero mancare del "tocco umano": la capacità di capire che uno studente si è impegnato o che un piccolo errore non significa che non abbia appreso il concetto.

Cosa Significa per il Futur

L'articolo non dice che la correzione tramite IA sia rotta o che dovremmo smettere di usarla. Invece, avverte le scuole di fare attenzione. Scegliere un robot per correggere i compiti non è una decisione neutrale; è una scelta che cambia il risultato. Se scegli un robot "liberale", gli studenti potrebbero ottenere voti più alti. Se scegli un robot "restrittivo", gli studenti potrebbero ottenere voti più bassi.

Lo studio conclude che non possiamo semplicemente lasciare che l'IA prenda il controllo totale della correzione. Abbiamo ancora bisogno di insegnanti umani per tenere d'occhio le cose. I robot sono ottimi strumenti, ma sono come diversi tipi di calcolatrici: alcune arrotondano per eccesso, altre per difetto, e altre hanno pulsanti diversi. Finché non capiremo come farli concordare con gli insegnanti umani, dobbiamo ricordare che il voto che un robot vi dà potrebbe non essere lo stesso che vi darebbe il vostro insegnante. E nel mondo dell'istruzione, questa differenza conta moltissimo.