Leveraging Large Language Models for Assessments Grading and Personalised Feedback Generation: A Case of Software Engineering

Nelle aule delle moderne università sta avvenendo una rivoluzione silenziosa, guidata da un nuovo tipo di intelligenza artificiale nota come modello linguistico di grandi dimensioni. Questi non sono semplici motori di ricerca che recuperano fatti; sono sistemi addestrati su enormi quantità di scritti umani, capaci di comprendere il contesto, ragionare su problemi complessi e generare testi che imitano la conversazione umana. Per anni, gli educatori si sono chiesti se questi strumenti potessero fare qualcosa di più che limitarsi a chiacchierare; potevano davvero insegnare o, almeno, aiutare gli insegnanti a valutare le montagne di lavoro che gli studenti consegnano? Questa domanda è particolarmente complicata in campi come l'ingegneria del software, dove gli studenti non si limitano a scrivere saggi o risolvere problemi matematici. Invece, creano complessi progetti per sistemi software, disegnando diagrammi che mostrano come le diverse parti di un programma debbano connettersi e funzionare. Questi disegni visivi richiedono un occhio umano per individuare errori sottili nella logica e nella struttura. Se un computer potesse valutare questi compiti con precisione e offrire consigli utili su come migliorare, libererebbe gli insegnanti affinché possano concentrarsi su un apprendimento più profondo, ma solo se il computer fosse abbastanza affidabile da poter essere ritenuto degno di fiducia per il voto di uno studente.

Un team di ricercatori provenienti da università del Pakistan e del Regno Unito si è posto l'obiettivo di testare proprio questa idea. Volevano vedere se due dei sistemi di intelligenza artificiale più avanzati disponibili potessero valutare complessi compiti di progettazione del software e fornire un feedback personalizzato agli studenti. Per fare ciò, hanno raccolto 54 veri lavori di studenti da un corso di progettazione e architettura del software. Ogni studente aveva creato tre tipi specifici di diagrammi: un diagramma dei casi d'uso che mostra come gli utenti interagiscono con un sistema, un diagramma delle classi che delinea i blocoli costruttivi del software e un design di architettura a tre livelli che mappa i livelli del sistema. Un istruttore umano esperto aveva già valutato ogni singolo uno di questi compiti utilizzando un insieme rigoroso di regole, o rubrica, che definiva esattamente cosa fosse richiesto per il punteggio massimo. I ricercatori hanno poi inserito questi stessi compiti, insieme alle regole dell'istruttore, in due diversi modelli di intelligenza artificiale: uno di una società chiamata OpenAI e un altro di Google.

I ricercatori non hanno semplicemente chiesto ai computer di dare un punteggio. Hanno progettato un processo accurato per garantire che i modelli ragionassero passo dopo passo, proprio come farebbe un insegnante umano. Hanno chiesto ai modelli di controllare prima se lo studente avesse affrontato l'argomento corretto, poi di esaminare ogni parte della rubrica per vedere se gli elementi richiesti fossero presenti e, infine, di calcolare un punteggio basato sugli errori specifici riscontrati. Per assicurarsi che i risultati fossero stabili e non solo un colpo di fortuna, i ricercatori hanno chiesto a ciascun modello di valutare ogni compito tre volte separatamente e poi di mediare i risultati. Hanno anche costruito uno strumento web personalizzato per gestire l'intero processo, permettendo ai modelli di leggere i file PDF degli studenti, che contenevano sia testo che i complessi diagrammi, e generare un rapporto dettagliato per ogni studente.

Quando i ricercatori hanno confrontato i voti generati dal computer con i voti dell'istruttore umano, i risultati sono stati un misto di promessa e limitazione. I sistemi di intelligenza artificiale erano generalmente vicini al punteggio medio dell'insegnante umano, con i voti del computer che differivano di circa cinque punti su un totale di cinquanta in media. Tuttavia, i computer faticavano a eguagliare la capacità dell'insegnante umano di distinguere tra i migliori e i peggiori studenti. L'istruttore umano aveva assegnato una vasta gamma di punteggi, da un minimo di 19 a un massimo di 49, riflettendo una chiara comprensione di chi avesse padroneggiato la materia e chi no. I computer, invece, tendevano a comprimere questi punteggi in una fascia più stretta, dando spesso un voto leggermente più alto al lavoro mediocre e un voto leggermente più basso al lavoro eccellente. Ciò significava che, sebbene i computer fossero bravi nel dare una stima approssimativa della prestazione, non erano ancora abbastanza affidabili da sostituire un insegnante umano nel decidere un voto finale, poiché perdevano la capacità di classificare accuratamente gli studenti.

Nonostante le imperfezioni nella valutazione, il feedback generato dai computer è stato sorprendentemente ben accolto. Gli studenti che hanno ricevuto i commenti generati dall'IA li hanno trovati chiari, utili e favorevoli alla comprensione dei propri errori. Infatti, quando sono stati interrogati su quale feedback del computer preferissero, la stragrande maggioranza degli studenti ha scelto il modello di OpenAI, notando che i suoi commenti sembravano più personali e costruttivi, e più simili a quelli di un insegnante umano. Interessante è che questa preferenza non sempre coincideva con il computer che forniva il voto matematicamente più vicino; il modello che gli studenti preferivano per il suo stile di scrittura non era necessariamente quello più accurato nella valutazione. Ciò suggerisce che, per gli studenti, la qualità del consiglio conta più del numero esatto assegnato al loro lavoro.

Lo studio conclude che questi strumenti di intelligenza artificiale sono assistenti potenti ma non ancora pronti a prendere il comando interamente. Possono gestire il lavoro pesante di revisionare centinaia di compiti, individuare elementi mancanti nei diagrammi e redigere un feedback iniziale, il che fa risparmiare un tempo enorme agli insegnanti. Tuttavia, la ricerca suggerisce fortemente che un insegnante umano debba rimanere nel processo per revisionare i voti finali e garantire l'equità, specialmente per le valutazioni ad alta posta in gioco dove il futuro di uno studente dipende dal risultato. L'ideale futuro, secondo queste scoperte, è un approccio ibrido in cui il computer agisce come un primo lettore instancabile, offrendo una valutazione preliminare e suggerimenti dettagliati, mentre l'istruttore umano fornisce il giudizio finale e la comprensione sfumata che solo una persona può offrire. Questa partnership potrebbe trasformare l'educazione nell'ingegneria del software, rendendo il feedback personalizzato disponibile per ogni studente senza sovraccaricare gli insegnanti.