💬 NLP

Confidence Estimation in Automatic Short Answer Grading with LLMs

Questo articolo propone un framework ibrido di confidenza per la valutazione automatica delle risposte brevi che combina segnali basati sul modello con l'incertezza aleatoria derivata dal dataset per produrre stime di confidenza più affidabili e migliorare le prestazioni della valutazione selettiva rispetto agli approcci a fonte singola.

Autori originali: Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Hendrik Drachsler, Ulf Kroehne

Pubblicato 2026-05-04

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Hendrik Drachsler, Ulf Kroehne

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un'aula in cui un insegnante robot sta cercando di correggere risposte brevi scritte dagli studenti. Il robot è molto intelligente (è un Modello Linguistico di grandi dimensioni, o LLM), ma non è perfetto. A volte si confonde, e a volte la risposta dello studente è semplicemente vaga o difficile da capire.

Il grande problema è: Come fa il robot a sapere quando non è sicuro? Se il robot dice: "Sono sicuro al 90% che questa risposta sia corretta", ma in realtà è sbagliata, ciò è pericoloso. L'obiettivo di questo articolo è insegnare al robot a dire: "Non sono sicuro di questa, un umano dovrebbe controllarla".

Ecco come i ricercatori hanno risolto il problema, spiegato in modo semplice:

1. I Tre Modi in cui il Robot "Indovina" la propria Fiducia

I ricercatori hanno testato tre modi diversi per far sì che il robot ci dica quanto è fiducioso:

Il Metodo "Onestà" (Verbalizzazione): Hanno semplicemente chiesto al robot: "Su una scala da 0 a 1, quanto sei sicuro?". Il robot ha semplicemente inventato un numero.
- Il Problema: Il robot è come uno studente che è sicuro di sé anche quando ha torto. Tende a sovrastimare le proprie capacità.
Il Metodo "Matematica Interna" (Latente): Hanno esaminato la matematica interna del robot. Quando il robot sceglie una risposta, calcola la probabilità di ogni possibile parola che potrebbe dire dopo. Hanno usato questi numeri per indovinare la fiducia.
- Il Problema: Questo è stato in realtà il metodo peggiore. La matematica interna del robot non corrispondeva affatto alla realtà.
Il Metodo "Doppio Controllo" (Coerenza): Hanno posto al robot la stessa domanda cinque volte con impostazioni leggermente diverse. Se il robot dava la stessa risposta ogni volta, assumevano che fosse sicuro. Se cambiava idea, assumevano che non fosse sicuro.
- Il Risultato: Questo era accettabile, ma non perfetto.

2. Il Pezzo Mancante: Il Fattore "Domanda Confusa"

I ricercatori hanno realizzato che la fiducia del robot non era l'unica cosa che contava. A volte, la domanda stessa o la risposta dello studente sono intrinsecamente confuse, indipendentemente da quanto sia intelligente il robot.

L'Analogia: Immagina che uno studente scriva: "Il cielo è blu a causa dell'oceano". Questa è una frase strana e ambigua. Anche un insegnante umano potrebbe discutere se assegnare punti o meno. Questo è chiamato Incertezza Aleatoria (incertezza che proviene dai dati stessi).
La Soluzione: I ricercatori hanno creato un sistema per misurare quanto le risposte degli studenti fossero "disordinate". Hanno raggruppato insieme risposte simili nell'aspetto. Se un gruppo di risposte simili presentava un mix di voti "Corretto" e "Errato" da parte degli umani, quel gruppo veniva etichettato come "Molto Confuso".

3. La "Super-Fiducia" Ibrida

I ricercatori hanno combinato i segnali di fiducia del robot con questa nuova misurazione della "Domanda Confusa".

La Metafora: Immagina il robot come un meteorologo.
- La fiducia interna del robot è come il meteorologo che dice: "Il mio modello informatico dice che pioverà".
- L'incertezza del dataset è come guardare fuori dalla finestra e vedere: "Ma il cielo è effettivamente sereno e soleggiato".
- Se ascolti solo il modello informatico, potresti portare un ombrello quando non ti serve. Ma se combini il modello con le condizioni reali del cielo, ottieni una previsione molto migliore.

Mescolando il "Penso di sapere questo" del robot con i dati "Questa domanda è effettivamente insidiosa", hanno creato un Punteggio di Fiducia Ibrido.

4. Cosa è Successo? (I Risultati)

I ricercatori hanno testato questo nuovo Punteggio Ibrido contro i vecchi metodi:

Ordinamento Migliore: Quando hanno usato il Punteggio Ibrido per filtrare le risposte "dubbie" e inviarle agli umani, il robot ha indovinato correttamente le risposte rimanenti molto più spesso. Era come un buttafuori in un club che è molto più bravo a individuare i documenti falsi.
Più Onesto: I vecchi metodi spesso mentivano (dicevano di essere sicuri al 90% quando lo erano solo al 60%). Il Punteggio Ibrido era molto più onesto. Se diceva 80%, era effettivamente corretto l'80% delle volte.

5. Perché Questo è Importante

L'articolo conclude che non ci si può affidare ai sentimenti interni del robot da soli per sapere se ha ragione. Bisogna anche guardare quanto le risposte degli studenti siano disordinate o ambigue.

Utilizzando questa Fiducia Ibrida, le scuole possono utilizzare in sicurezza l'IA per correggere automaticamente la maggior parte delle risposte, inviando solo quelle davvero confuse o rischiose agli insegnanti umani. Questo fa risparmiare tempo agli insegnanti e garantisce che gli studenti ricevano voti equi, perché l'IA sa esattamente quando dire: "Ho bisogno di aiuto con questa".

1. Enunciato del Problema

La Valutazione Automatica di Risposte Brevi (ASAG) utilizzando Modelli Linguistici su Larga Scala (LLM) ha dimostrato prestazioni elevate senza necessità di fine-tuning specifico per il compito e può generare feedback sintetico. Tuttavia, la valutazione basata su LLM non è perfetta a causa della variabilità linguistica, di criteri di punteggio ambigui e del disaccordo intrinseco tra valutatori umani.

Nella valutazione educativa Human-in-the-Loop (HITL), i sistemi devono decidere quali risposte valutare automaticamente e quali deferire a esperti umani. Ciò richiede una stima della confidenza affidabile. Le sfide attuali includono:

Studio Insufficiente: La maggior parte delle ricerche esistenti sulla stima della confidenza si concentra sui Modelli Linguistici Pre-addestrati (PLM), non sui LLM generativi.
Bias Centrato sul Modello: I metodi esistenti si basano esclusivamente su segnali basati sul modello (incertezza epistemica), ignorando l'incertezza derivata dal dataset (incertezza aleatoria) che nasce da risposte studentesche ambigue o insufficientemente specificate.
Mancanza di Affidabilità: I punteggi di confidenza sono spesso utilizzati per una semplice sogliatura senza un'analisi rigorosa dell'affidabilità, portando a eccessiva sicurezza o a una mancata calibrazione in decisioni educative critiche.

2. Metodologia

Gli autori propongono un Framework Ibrido di Confidenza che integra segnali di confidenza basati sul modello con una stima esplicita dell'incertezza aleatoria derivata dal dataset.

A. Segnali di Confidenza Basati sul Modello (Incertezza Epistemica)

Lo studio valuta tre strategie distinte per estrarre la confidenza da un LLM (specificamente gpt-oss-20b):

Verbalizzazione: Invitare il modello a produrre esplicitamente un punteggio di confidenza (probabilità) insieme alla sua decisione di valutazione.
Latente: Calcolare la verosimiglianza logaritmica normalizzata del token di etichetta previsto utilizzando la distribuzione di probabilità interna del modello (softmax sui token di etichetta).
Coerenza: Campionare più previsioni a temperature variabili (da 0.2 a 1.0) e misurare la frequenza con cui il modello restituisce la stessa etichetta (stabilità).

Nota: Tutti i punteggi sono orientati in modo che valori più alti indichino una maggiore confidenza che una risposta sia corretta.

B. Incertezza Derivata dal Dataset (Incertezza Aleatoria)

Per catturare l'ambiguità intrinseca nei dati (ad esempio, risposte semanticamente simili ma con etichette umane conflittuali), gli autori operazionalizzano l'incertezza aleatoria tramite eterogeneità semantica:

Embedding: Le risposte degli studenti vengono inserite in vettori (embedded) utilizzando all-MiniLM-L6-v2.
Clustering: Il clustering gerarchico agglomerativo (linkage di Ward) raggruppa risposte semanticamente simili.
Quantificazione dell'Eterogeneità: Per ogni cluster, viene calcolata l'entropia di Shannon della distribuzione delle etichette. Un'entropia elevata indica che risposte semanticamente simili ricevono punteggi diversi dai valutatori umani, segnalando alta ambiguità.
Assegnazione: Le risposte di test ricevono il valore di entropia del loro centroide di cluster più vicino.

C. Fusione della Confidenza

I segnali basati sul modello ( $s_{verb}, s_{lat}, s_{cons}$ ) e il proxy dell'incertezza aleatoria ( $s_{alea}$ ) sono combinati in un vettore di caratteristiche.

Classificatore: Un classificatore Random Forest viene addestrato per mappare queste caratteristiche sulla probabilità di una valutazione corretta.
Calibrazione: Le probabilità di output vengono calibrate a posteriori utilizzando la scala di Platt (tramite validazione incrociata a 5 fold) per garantire che le probabilità previste corrispondano alle frequenze empiriche.
Baseline: Viene addestrata anche una variante "Ibrida (senza aleatorio)" per isolare il contributo dell'incertezza derivata dal dataset.

D. Metriche di Valutazione

Predizione Selettiva: Misurata tramite curve ROC (AUROC) e Curve Accuratezza-Rifiuto (AUARC). Questo valuta la capacità di filtrare gli errori a bassa confidenza.
Affidabilità: Misurata tramite Diagrammi di Affidabilità, Punteggio Brier, Errore di Calibrazione Atteso (ECE) e Errore di Calibrazione Massimo (MCE). Questo valuta se una confidenza prevista di $p$ corrisponde effettivamente a una precisione del $p$ %.

3. Contributi Chiave

Confronto Sistematico: Il primo studio sistematico che confronta strategie di confidenza basate su verbalizzazione, latente e coerenza specificamente per l'ASAG con LLM.
Framework Ibrido: Proposta di un metodo innovativo che fonde la confidenza basata sul modello con l'eterogeneità semantica per stimare l'incertezza aleatoria, affrontando il limite degli approcci basati solo sul modello.
Validazione Empirica: Dimostrazione che i punteggi di confidenza ibridi superano significativamente i metodi a fonte singola sia nell'accuratezza della valutazione selettiva che nell'affidabilità della calibrazione, fornendo una base razionale per la valutazione HITL.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su SciEntsBank, un dataset di circa 11.000 risposte brevi scientifiche.

Prestazioni di Predizione Selettiva:
- Fonte Singola: La confidenza latente ha ottenuto le prestazioni peggiori (AUROC più bassa). La verbalizzazione e la coerenza hanno ottenuto prestazioni moderate.
- Ibrido: Il modello ibrido che incorpora l'incertezza aleatoria ha ottenuto l'AUROC più alta (0.885) e l'AUARC più alta (0.876).
- Impatto: A un tasso di rifiuto del 40% (filtrando le risposte con confidenza più bassa del 40%), il modello ibrido ha raggiunto un'accuratezza del 90.0% sulle risposte rimanenti, rispetto al 70.4% senza selezione. Il modello ibrido senza incertezza aleatoria è stato competitivo ma costantemente inferiore, dimostrando il valore della modellazione dell'ambiguità dei dati.
Affidabilità e Calibrazione:
- Fonte Singola: La verbalizzazione ha mostrato eccessiva sicurezza (alto MCE). La latente era scarsamente calibrata. La coerenza aveva un errore medio basso ma un errore massimo elevato (fallimenti localizzati).
- Ibrido: Il modello ibrido con incertezza aleatoria ha ottenuto il Punteggio Brier più basso (0.138) e il MCE più basso (0.100). Ha tracciato da vicino la diagonale nei diagrammi di affidabilità, indicando che i suoi punteggi di confidenza sono altamente affidabili.

5. Significato e Conclusione

Oltre i Segnali del Modello: Il documento stabilisce che la confidenza basata sul modello da sola è insufficiente per l'ASAG. L'ambiguità nelle risposte studentesche (incertezza aleatoria) è una fonte distinta di errore che deve essere modellata esplicitamente.
Implementazione Sicura dell'IA: Fornendo punteggi di confidenza ben calibrati, il framework proposto consente una collaborazione più sicura tra uomo e IA. Gli educatori possono fidarsi del sistema per valutare automaticamente le risposte ad alta confidenza, segnando i casi ambigui per la revisione umana.
Supporto Decisionale Pratico: L'uso delle Curve Accuratezza-Rifiuto (ARC) offre uno strumento pratico per gli educatori per bilanciare l'accuratezza della valutazione contro il costo della revisione manuale, andando oltre la selezione arbitraria delle soglie.

In sintesi, questo lavoro avanza il campo dell'educazione assistita dall'IA dimostrando che integrare l'eterogeneità semantica dei dati con i segnali di confidenza degli LLM crea un sistema di valutazione più robusto, affidabile e interpretabile, adatto al dispiegamento nel mondo reale.