From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges

Sintesi Tecnica: Dalle Rubriche ai Punteggi Affidabili (RULERS)

Formulazione del Problema
Il documento affronta la sfida di utilizzare modelli linguistici di grandi dimensioni (LLM) congelati e a scatola nera come giudici per la valutazione testuale basata su rubriche. Sebbene gli LLM offrano scalabilità, allinearli agli standard di punteggio umani rimane difficile a causa di tre modalità di fallimento ricorrenti:

1. Deriva nell'Esecuzione della Rubrica: La stessa rubrica viene reinterpretata in modo diverso al momento dell'inferenza a causa di variazioni nella formulazione del prompt, nell'ordine dei criteri o nel modello di base, portando a definizioni instabili dei criteri e a confini di punteggio non stabili.
2. Attribuzione del Punteggio Non Verificabile: I punteggi o le giustificazioni sono spesso generati senza prove che possano essere verificate rispetto al testo di input, rendendo le spiegazioni in formato libero potenzialmente infedeli o insufficienti per una valutazione affidabile.
3. Disallineamento su Scala Umana: I punteggi grezzi del modello, i giudizi sulle caratteristiche o i segnali di confidenza spesso non corrispondono alle specifiche distribuzioni di punteggio e alle convenzioni sui confini utilizzati dai valutatori umani.

Gli autori inquadrano questo problema non semplicemente come un compito di ingegneria dei prompt, ma come un problema di trasferimento dei criteri: l'obiettivo è trasferire l'intento di una rubrica scritta da un umano in un protocollo di punteggio stabile, verificabile e allineato all'uomo per un LLM congelato, senza aggiornare i parametri del modello.

Metodologia: Il Framework RULERS
Il documento introduce RULERS, un framework a tre fasi progettato per operare al momento dell'inferenza e affrontare le modalità di fallimento identificate senza effettuare il fine-tuning del modello giudice.

• Fase I: Specifica e Blocco della Rubrica
  La rubrica in linguaggio naturale scritta da un umano ($R$) viene convertita in un pacchetto strutturato, riutilizzabile e "bloccato" a livello di compito ($B$). Questo pacchetto include:

  • Caratteristiche di valutazione ($T$).
  • Una lista di controllo operativa ($C$) in cui ogni elemento è assegnato a una scala decisionale (0, 1, 2) e a un tipo di fondamento delle prove.
  • Ancore di punteggio specifiche per il compito e descrizioni dei confini ($S$).
  • Regole di prova ($E$) che definiscono come le citazioni devono essere ancorate al testo di input.
    Una volta indotto, il pacchetto viene serializzato, hashato e riutilizzato invariato per tutte le istanze nel compito, prevenendo la reinterpretazione dei criteri al momento dell'esecuzione.

• Fase II: Esecuzione della Rubrica Basata su Prove
  Il giudice congelato esegue il pacchetto bloccato contro il testo di input ($x$), che viene segmentato in unità atomiche. Il modello produce un output strutturato contenente:

  • Decisioni della lista di controllo ($d$).
  • Prove citate ($E_x$) che devono soddisfare operatori specifici (ad esempio, citazioni letterali di frasi, intervalli di paragrafi o diagnosi a livello di documento) in base al tipo di elemento della lista di controllo.
  • Indicatori di verifica ausiliari.
    Il sistema verifica che le prove citate siano fondate nel testo di input (ad esempio, verificando se una citazione appare effettivamente nella frase citata). Questa fase aggrega le decisioni in punteggi grezzi delle caratteristiche e genera segnali strutturati per la calibrazione.

• Fase III: Allineamento della Distribuzione su Scala Umana
  Per affrontare il disallineamento, un passaggio di calibrazione post-hoc leggero mappa i segnali strutturati del modello sulla scala di punteggio umana.

  • Un modello di regressione ridge del secondo ordine viene adattato su un set di calibrazione etichettato ($D_{cal}$) per prevedere un punteggio latente ($z$) dalle caratteristiche strutturate.
  • Un allineamento di distribuzione monotono (mappatura delle quantili) trasforma il punteggio latente per corrispondere alla funzione di distribuzione cumulativa empirica dei punteggi umani.
  • Questa mappatura viene fissata dopo la calibrazione e applicata alle istanze di test tenute da parte.

Contributi Chiave

1. Formulazione del Problema: Gli autori riformulano la valutazione basata su rubriche come un problema di trasferimento dei criteri, spostando l'attenzione dal fatto che gli LLM possano comprendere le rubriche al fatto che l'intento della rubrica possa essere trasferito in procedure stabili e verificabili.
2. Framework RULERS: Propongono un protocollo unificato che combina il blocco della rubrica, l'esecuzione basata su prove e la calibrazione su scala umana. Questo approccio mira specificamente alla deriva nell'esecuzione, all'attribuzione non verificabile e al disallineamento della scala.
3. Validazione Empirica: Il framework è stato valutato su quattro diversi benchmark governati da rubriche (ASAP 2.0, SummHF, DREsS, WebNLG) e su più modelli di base congelati (GPT-4o, Llama-3.1).

Risultati

• Allineamento Umano: RULERS ottiene un accordo più forte con i punteggi umani (misurato dal Quadratic Weighted Kappa, QWK) nella maggior parte degli scenari valutati rispetto a baseline come la Valutazione Olistica Diretta (DHS), la Specializzazione Multi-Characteristica (MTS) e CheckEval.
• Allineamento Distributivo: Il metodo corrisponde meglio alle distribuzioni empiriche dei punteggi umani, preservando sia la massa centrale che la dispersione delle valutazioni, e mostra una maggiore stabilità tra diversi modelli di base.
• Robustezza: RULERS dimostra robustezza rispetto a perturbazioni semanticamente equivalenti della rubrica (ad esempio, riordinare i criteri o parafrasare), mentre le baseline che si affidano alla formulazione grezza del prompt mostrano cali significativi delle prestazioni.
• Studi di Ablazione: La rimozione di una delle tre fasi (blocco, fondamento delle prove o allineamento della distribuzione) degrada le prestazioni, confermando che tutti i componenti contribuiscono ai risultati finali.
• Controllo della Calibrazione: Gli esperimenti mostrano che applicare il passaggio di calibrazione da solo agli output delle baseline non riproduce pienamente i guadagni di RULERS, indicando che i segnali a monte strutturati e basati su prove sono cruciali.

Significato e Affermazioni
Il documento afferma che una valutazione affidabile da parte degli LLM richiede criteri fissi, prove tracciabili e interpretazione calibrata del punteggio piuttosto che la sola formulazione del prompt o la scala del modello. Trattando la rubrica come una struttura di punteggio latente e trasferendola in un protocollo bloccato, RULERS fornisce un'alternativa scalabile, verificabile e allineata all'uomo alle metriche tradizionali basate su riferimenti e al prompting non strutturato degli LLM. Gli autori sottolineano che questo framework è progettato per giudici congelati e a scatola nera, rendendolo applicabile a modelli pronti all'uso senza la necessità di un fine-tuning specifico per il compito.

Limitazioni Notate dagli Autori
Gli autori riconoscono che RULERS dipende dalla qualità della rubrica sorgente (la rende operativa ma non corregge rubriche difettose), si basa sulla capacità del modello di base congelato scelto e richiede un set di calibrazione etichettato per la fase di allineamento. Notano inoltre che la generalizzazione a domini o formati di rubrica sostanzialmente diversi richiede una nuova specifica e una ricalibrazione.