CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading

1. Il Problema

L'automazione della valutazione di risposte brevi (ASAG - Automated Short-Answer Grading) tramite Large Language Models (LLM) affronta due sfide fondamentali che ne limitano l'adozione in contesti educativi ad alto rischio:

1. Sovraconfidenza Sistemica: I modelli LLM istruiti tendono ad assegnare punteggi di confidenza elevati anche quando le loro previsioni sono errate. Questo rende impossibile per gli insegnanti distinguere quando fidarsi del modello e quando è necessaria un'intervento umano.
2. Degradazione sotto Shift di Distribuzione: Le prestazioni dei modelli crollano drasticamente quando incontrano nuovi tipi di domande, rubriche di valutazione diverse o pattern di risposta non visti durante l'addestramento iniziale. I sistemi statici non riescono ad adattarsi all'evoluzione dei curricula.

L'obiettivo è creare un sistema che non sia solo accurato, ma anche affidabile, capace di riconoscere la propria incertezza e di adattarsi nel tempo.

2. Metodologia: Il Framework CHiL(L)Grader

Il paper introduce CHiL(L)Grader, un framework Human-in-the-Loop (HiL) che integra tre meccanismi complementari per gestire l'incertezza e l'adattamento:

A. Calibrazione Post-Hoc (Temperature Scaling)

Per risolvere il problema della sovraconfidenza, il sistema applica una tecnica di temperature scaling post-addestramento.

• Il modello genera logit per tutte le possibili classi di voto.
• Viene ottimizzato un parametro scalare $T$ (temperatura) su un set di calibrazione per minimizzare l'Expected Calibration Error (ECE).
• Questo processo trasforma i punteggi di confidenza grezzi in stime probabilistiche affidabili che riflettono accuratamente l'incertezza reale del modello, senza alterare la sua accuratezza predittiva.

B. Predizione Selettiva (Selective Prediction)

Una volta calibrato, il modello utilizza una soglia di confidenza ($\tau$) per decidere il flusso di lavoro:

• Alta Confidenza ($\hat{c} \geq \tau$): La risposta viene accettata e assegnata automaticamente.
• Bassa Confidenza ($\hat{c} < \tau$): Il caso viene "reindirizzato" (deferred) a un valutatore umano per la correzione.
• Questo approccio garantisce che l'automazione venga applicata solo dove il modello è sicuro, massimizzando l'efficienza senza sacrificare la qualità.

C. Apprendimento Continuo (Continual Learning)

Le correzioni umane vengono utilizzate per aggiornare il modello in un ciclo iterativo:

• Fine-tuning con LoRA: Vengono aggiornati solo gli adattatori a basso rango (LoRA) del modello base, mantenendo i pesi originali fissi per preservare le conoscenze pregresse.
• Replay Buffer: Per evitare il catastrophic forgetting (dimenticanza catastrofica), il set di correzioni umane viene arricchito con un buffer di replay che contiene campioni storici bilanciati per scala di voto e tipo di domanda.
• Ricalibrazione: Dopo ogni ciclo di addestramento, la temperatura $T$ viene ricalibrata per adattarsi al nuovo stato del modello.

3. Contributi Chiave

1. Novità Architetturale: CHiL(L)Grader è il primo framework HiL per ASAG che integra calibrazione della confidenza, predizione selettiva e deferral umano in un sistema unificato.
2. Affidabilità: Dimostra empiricamente che la calibrazione riduce l'ECE del 53-65% su diversi dataset, rendendo i punteggi di confidenza utilizzabili per decisioni operative.
3. Adattabilità: Il ciclo di apprendimento continuo permette al sistema di generalizzare su domande e rubriche non viste, migliorando le prestazioni nel tempo grazie al feedback umano.
4. Efficienza: Il sistema automatizza il 35-65% delle risposte con qualità da esperto, riducendo significativamente il carico di lavoro degli insegnanti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset diversi (DAMI, SciEntsBank, EngSAF) che coprono domini, scale di voto e difficoltà differenti.

• Prestazioni di Calibrazione:

  • Su DAMI, l'ECE è sceso da 0.270 a 0.094 (-65%).
  • Su EngSAF, l'ECE è sceso da 0.097 a 0.046 (-53%).
  • La temperatura ottimale varia per dataset (es. $T^* < 1$ per affinare la confidenza, $T^* > 1$ per smussare la sovraconfidenza), confermando la necessità di una calibrazione specifica.

• Qualità della Valutazione (QWK - Quadratic Weighted Kappa):

  • Dopo un singolo ciclo di correzione umana, il sistema raggiunge un QWK di 0.882 su DAMI (soglia di qualità da esperto $\geq 0.80$) sul 35.1% delle risposte accettate automaticamente.
  • Esiste un divario significativo (+0.347 QWK) tra le risposte accettate dal modello e quelle rifiutate, dimostrando che il gate di confidenza separa efficacemente i casi affidabili da quelli incerti.
  • Su SciEntsBank (scenario più difficile con domande totalmente nuove), il sistema mostra un miglioramento progressivo attraverso i cicli, recuperando le prestazioni dopo uno shift di distribuzione iniziale.

• Analisi di Ablazione:

  • Senza il buffer di replay, il QWK crolla a 0.025 a causa del catastrophic forgetting.
  • Modelli più piccoli (3B parametri) falliscono nel mantenere la conoscenza pregressa durante il fine-tuning.

5. Significato e Implicazioni

Il lavoro dimostra che l'automazione completa della valutazione educativa è attualmente rischiosa a causa dell'incertezza non quantificata degli LLM. CHiL(L)Grader offre una soluzione pratica:

• Sicurezza: Garantisce che le decisioni ad alto rischio siano prese da umani, mentre le decisioni a basso rischio sono automatizzate.
• Scalabilità: Riduce il carico di lavoro degli insegnanti del 35-65% mantenendo standard di qualità elevati.
• Adattabilità Dinamica: Il sistema evolve insieme al corso, adattandosi a nuove domande e rubriche senza bisogno di riaddestramenti massivi da zero.

In sintesi, il paper stabilisce che la quantificazione dell'incertezza e la calibrazione sono prerequisiti essenziali per l'implementazione sicura e affidabile dell'AI nell'istruzione, trasformando il grading automatizzato da un sostituto imperfetto dell'umano a un assistente intelligente e collaborativo.