Sintesi Tecnica: Dallo Scoring alle Spiegazioni

Definizione del Problema

I modelli di valutazione automatizzata sono sempre più impiegati per assegnare valutazioni di qualità basate su rubriche a prestazioni linguistiche complesse, come le trascrizioni di lezioni scolastiche. Tuttavia, questi sistemi funzionano tipicamente come "black box", fornendo punteggi scalari senza offrire approfondimenti sul ragionamento sottostante. Questa mancanza di trasparenza è particolarmente problematica in contesti educativi ad alto impatto, dove gli stakeholder devono comprendere, fidarsi e potenzialmente contestare i giudizi automatizzati. Sebbene i Large Language Models (LLM) possano generare razionali a testo libero, la letteratura recente suggerisce che queste spiegazioni possano essere persuasive ma non fedeli al reale processo decisionale del modello. La sfida centrale affrontata consiste nel determinare quali parti di un testo guidino effettivamente il punteggio basato su una rubrica e come valutare se una spiegazione catturi fedelmente tali driver.

Metodologia

Gli autori propongono un quadro unificato per l'interpretabilità a livello di frase della valutazione basata su rubriche, istanziato sulla dimensione della Qualità del Feedback (QoF) del sistema Classroom Assessment Scoring System (CLASS) utilizzando il corpus NCTE (6.005 segmenti di trascrizione di classi di matematica elementare annotati).

Setup Sperimentale

Lo studio confronta due famiglie di modelli:

1. Modelli di Linguaggio Pre-addestrati (PLM) con Fine-tuning: Includendo BERT, ALBERT, RoBERTa e DeBERTa (varianti base e large). Questi modelli sono sottoposti a fine-tuning per la regressione al fine di predire un punteggio QoF da 1 a 7.
2. Large Language Models (LLM) con Instruction-tuning: Includendo varianti di Llama 3.1, Mixtral, Qwen 3 e Mistral. Questi modelli eseguono la valutazione tramite few-shot prompting e il ranking delle frasi tramite zero-shot prompting.

Protocolli di Interpretabilità e Valutazione

Il framework valuta le spiegazioni attraverso tre meccanismi primari:

• Generazione della Spiegazione:
  • SHAP (SHapley Additive exPlanations): Applicato a livello di embedding della frase all'interno di un'architettura PLM gerarchica per generare attribuzioni di feature agnostiche rispetto al modello.
  • Razionali LLM: Gli LLM vengono istruiti per classificare le 10 frasi più influenti per un determinato punteggio.
• Analisi della Fedeltà (Basata sulla Delezione): Il sistema rimuove progressivamente le prime $k$ frasi (dove $k=10$) identificate da un metodo di spiegazione e riavvia il modello di valutazione. L'entità del cambiamento della predizione ($\Delta$) funge da proxy per la fedeltà; spostamenti più ampi indicano che la spiegazione ha identificato con successo il testo influente.
• Valutazione Cross-Modello: Le spiegazioni generate da una famiglia di modelli (ad esempio, SHAP da un PLM) vengono utilizzate per perturbare l'input dell'altra famiglia (ad esempio, un LLM), e viceversa. Questo testa se le spiegazioni si trasferiscono in modo robusto tra le architetture o se rimangono specifiche del modello.
• Metriche di Allineamento: La similarità di Jaccard e la correlazione di Spearman vengono calcolate per misurare la sovrapposizione nella selezione delle frasi tra SHAP e LLM.

Contributi Chiave

1. Framework Generale: Un framework principato per l'interpretabilità a livello di frase che combina attribuzioni di valore di Shapley agnostiche rispetto al modello con razionali generati da LLM, specificamente adattato per la valutazione basata su rubriche.
2. Analisi Comparativa: Un confronto sistematico tra PLM specializzati con fine-tuning rispetto a LLM tramite prompting, sia sulla performance di valutazione che sulla fedeltà della spiegazione.
3. Valutazione della Fedeltà: Una valutazione empirica dei metodi di spiegazione utilizzando test basati sulla delezione, rivelando che SHAP identifica le frasi che guidano affidabilmente le predizioni, mentre i razionali degli LLM inducono spesso spostamenti minori e meno coerenti.
4. Consistenza Cross-Modello: Un protocolo innovativo che dimostra come le attribuzioni SHAP si trasferiscano in modo robusto tra le architetture, mentre i razionali degli LLM esercitano un'influenza limitata e inconsistente sugli altri modelli.
5. Implicazioni Educative: Una discussione sulla progettazione di strumenti di feedback trasparenti, mettendo in guardia contro l'uso di razionali LLM non validati come giustificazioni autorevoli in contesti ad alto impatto.

Risultati

Performance di Valutazione (RQ1)

• PLM: I PLM con fine-tuning superano significativamente gli LLM in termini di accuratezza della predizione. Il miglior PLM (DeBERTaV3 large) raggiunge un Errore Assoluto Medio (MAE) di 0.96, paragonabile a un baseline costante. Tuttavia, i PLM con fine-tuning mostrano una compressione delle etichette, predicendo raramente punteggi agli estremi (1 o 7) e collassando verso la fascia centrale (3–5).
• LLM: Gli LLM tramite prompting mostrano tassi di errore più elevati (miglior MAE: 1.02 per Mistral Small) ma producono predizioni che coprono l'intero intervallo 1–7, preservando meglio la variabilità dei punteggi rispetto ai PLM.

Fedeltà della Spiegazione (RQ2)

• SHAP vs. LLM: I test basati sulla delezione mostrano che le frasi identificate da SHAP producono spostamenti di predizione più grandi e coerenti rispetto a quelle selezionate dagli LLM.
• Allineamento: La sovrapposizione tra la selezione delle frasi di SHAP e quella degli LLM è bassa (media similarità di Jaccard: 0.085; media correlazione di Spearman: 0.062).
• Stabilità: Gli LLM mostrano una controllabilità limitata, spesso fallendo nel restituire l'esatto numero di frasi richieste, e i loro razionali inducono cambiamenti di predizione più piccoli e spesso instabili, anche quando applicati ai modelli che li hanno generati.

Trasferimento Cross-Modello (RQ3)

• Da PLM a LLM: Rimuovere le frasi identificate da SHAP (da un PLM) causa spostamenti significativi e immediati nelle predizioni degli LLM, suggerendo che SHAP identifichi caratteristiche rilevanti tra le architetture.
• Da LLM a PLM: Rimuovere le frasi identificate dagli LLM produce spostamenti di predizione sostanzialmente minori nei PLM rispetto alla rimozione basata su SHAP. I razionali degli LLM spesso risultano in traiettorie non monotone, indicando che non catturano in modo affidabile le caratteristiche che guidano le predizioni dei PLM.

Significato e Assertività

Il documento conclude che SHAP fornisce spiegazioni più fedeli e trasferibili per la valutazione basata su rubriche rispetto ai razionali generati dagli LLM. Sebbene gli LLM offrano una usabilità immediata e distribuzioni di punteggio più ampie, le loro spiegazioni sono spesso non fedeli alla computazione sottostante e non generalizzano bene tra le architetture dei modelli.

Gli autori affermano che il framework proposto offre una base principesca per valutare i modelli di valutazione e le loro spiegazioni in contesti educativi ad alto impatto. Essi sottolineano che, in contesti come il feedback per gli insegnanti, dove fiducia e contestabilità sono vitali, fare affidamento su razionali LLM non validati è rischioso. Al contrario, i metodi di attribuzione agnostici rispetto al modello come SHAP forniscono una base più stabile per una valutazione trasparente e azionabile. Il lavoro non sostiene che gli LLM siano inutili per la valutazione, ma evidenzia che i loro attuali razionali non dovrebbero essere trattati come giustificazioni autorevoli per i giudizi automatizzati senza una rigorosa valutazione della fedeltà.