Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge

1. Il Problema: Il Bias dell'Intervallo di Punteggio (Score Range Bias)

L'articolo affronta una sfida critica nell'uso dei Large Language Models (LLM) come giudici automatici ("LLM-as-a-Judge"), in particolare nel contesto della valutazione diretta (direct assessment), dove un modello assegna un punteggio numerico a un output senza confronti a coppie.

• Definizione del Bias: Gli autori identificano un nuovo tipo di distorsione chiamato Score Range Bias. Questo fenomeno si verifica quando la correlazione tra i giudizi dell'LLM e quelli umani varia significativamente a seconda dell'intervallo di punteggio predefinito (es. 0-4, 1-5, 2-6, 3-7), anche se la scala concettuale rimane la stessa (es. una scala Likert a 5 punti).
• Osservazione Chiave: I modelli tendono a favorire specifici valori di punteggio indipendentemente dalla qualità reale del contenuto. Ad esempio, i modelli della famiglia Llama-3 tendono a sovrastimare il punteggio "4" in un intervallo 2-6, mentre i modelli Qwen-2.5 tendono a favorire il punteggio "2".
• Implicazione: Questo bias rende i risultati delle valutazioni instabili e non generalizzabili. Se un modello funziona bene con un intervallo 1-5, potrebbe fallire miseramente con un intervallo 2-6, limitando l'affidabilità degli LLM come giudici universali.

2. Metodologia: Decodifica Contrastiva (Contrastive Decoding)

Per mitigare questo bias, il paper propone l'uso della Decodifica Contrastiva, una tecnica adattata dal lavoro di Li et al. (2023) e O'Brien & Lewis (2023).

• Concetto Fondamentale: L'ipotesi è che i modelli appartenenti alla stessa famiglia (es. Llama-3 8B e Llama-3 3B) condividano bias simili (come la preferenza per certi numeri). Utilizzando un modello più piccolo come "assistente", è possibile sottrarre questi bias condivisi dal modello principale ("main model").

• Meccanismo Tecnico:
  La probabilità del token successivo viene modificata combinando le distribuzioni di probabilità di due modelli:
  $$\log p_{main} - \lambda \log p_{asst}$$
  Dove:

  • $p_{main}$ è la probabilità del modello principale.
  • $p_{asst}$ è la probabilità del modello assistente (della stessa famiglia ma più piccolo).
  • $\lambda$ è un iperparametro che controlla l'intensità della sottrazione.
  • Viene introdotta una temperatura $t$ per normalizzare le distribuzioni dei logit, poiché i modelli di dimensioni diverse hanno scale di logit differenti (es. il modello 3B ha logit massimi diversi dal 14B).

• Configurazione Sperimentale:

  • Task: Valutazione della coerenza, rilevanza e consistenza nei riassunti (dataset SummEval).
  • Modelli: Famiglie Llama-3 (8B come main, 3B/1B come assistente) e Qwen-2.5 (14B/7B come main, 3B come assistente).
  • Intervalli di Test: Sono stati testati quattro intervalli diversi: 0-4, 1-5, 2-6, 3-7.

3. Risultati Chiave

Gli esperimenti dimostrano che la decodifica contrastiva migliora significativamente la robustezza delle valutazioni rispetto agli intervalli di punteggio.

• Mitigazione del Bias:
  • I modelli grezzi (greedy decoding) mostrano correlazioni con le annotazioni umane che crollano drasticamente quando si cambia l'intervallo di punteggio.
  • L'uso della decodifica contrastiva stabilizza queste correlazioni. Ad esempio, per la famiglia Llama-3 nell'intervallo 2-6 (dove il modello 3B grezzo fallisce quasi completamente), la combinazione 8B-3B mostra un miglioramento significativo.
• Miglioramenti Quantitativi:
  • Si osserva un miglioramento medio relativo fino al 11.7% nella correlazione di Spearman con i giudizi umani attraverso i diversi intervalli di punteggio.
  • Specificamente, per Qwen 14B, il miglioramento medio è stato del 11.7% (da .392 a .438).
  • Per Llama 8B, il miglioramento è stato del 6.7% (da .330 a .352).
• Distribuzione dei Punteggi:
  • Le distribuzioni dei punteggi generati con la decodifica contrastiva si avvicinano molto di più alla distribuzione delle annotazioni umane, eliminando i picchi anomali (es. la preferenza eccessiva per il punteggio 4 o 2) osservati nei modelli grezzi.
• Scelta del Modello Assistente:
  • L'analisi mostra che l'uso di un assistente troppo grande (es. 7B per un main 14B) può degradare le prestazioni, penalizzando i logit corretti del modello principale. Modelli assistenti più piccoli (es. 3B) sono più efficaci nel cancellare il bias senza distruggere la capacità valutativa del modello principale.

4. Contributi Principali

1. Identificazione del Bias: Dimostrazione empirica che i giudici LLM soffrono di un "Score Range Bias", dove le prestazioni variano in base all'intervallo numerico scelto, indipendentemente dalla qualità del contenuto.
2. Condivisione del Bias Familiare: Evidenzia che modelli della stessa famiglia (ma di dimensioni diverse) codificano bias simili, rendendoli candidati ideali per la cancellazione reciproca.
3. Soluzione Pratica: Propone la decodifica contrastiva come metodo efficace e robusto per mitigare questo bias, migliorando la stabilità delle valutazioni su intervalli non standard (es. 2-6 o 3-7) e non limitandosi alla classica scala 1-5.

5. Significato e Implicazioni

Questo lavoro è significativo per l'ecosistema di valutazione degli LLM per diversi motivi:

• Affidabilità: Fornisce un metodo per rendere le valutazioni automatiche più robuste e meno dipendenti da configurazioni arbitrarie (come la scelta dell'intervallo di punteggio).
• Flessibilità: Permette di esplorare intervalli di punteggio alternativi (es. 0-4 o 2-6) senza temere un crollo delle prestazioni, aprendo la strada a metriche di valutazione più granulari o adattate a domini specifici.
• Efficienza Computazionale: Sebbene richieda l'inferenza di due modelli, la tecnica è compatibile con le tecniche di speculative decoding già utilizzate nell'industria per accelerare l'inferenza, rendendo l'approccio praticabile in scenari reali.
• Limiti: Lo studio è limitato alla lingua inglese e a modelli fino a 14B parametri a causa dei vincoli computazionali, e si concentra principalmente sul task di riassunto, sebbene i risultati siano promettenti per altre metriche (coerenza, rilevanza, consistenza).

In conclusione, il paper dimostra che il "Score Range Bias" è un problema reale e risolvibile, e che l'uso intelligente di modelli più piccoli come assistenti può "pulire" i giudizi dei modelli più grandi, rendendoli strumenti di valutazione più equi e affidabili.