Self-Preference Bias in Rubric-Based Evaluation of Large Language Models

Titolo: Bias di Auto-Preferenza nella Valutazione Basata su Rubriche dei Large Language Models

1. Il Problema

La valutazione automatica tramite "LLM-as-a-judge" (un modello linguistico che funge da giudice per valutare le risposte di altri modelli) è diventata lo standard de facto. Tuttavia, è noto che questi giudici soffrono di Bias di Auto-Preferenza (Self-Preference Bias - SPB): tendono sistematicamente a favorire le risposte generate da se stessi o da modelli della stessa famiglia, assegnando punteggi ingiustamente alti o vincendo confronti ingiusti.
Questo fenomeno distorce le valutazioni, ostacola lo sviluppo dei modelli e crea loop di feedback pericolosi nei sistemi di auto-miglioramento ricorsivo.
Fino ad ora, la maggior parte degli studi si è concentrata su paradigmi di valutazione come il confronto a coppie (Pairwise Comparison - PWC) e la valutazione diretta (Direct Assessment - DA). Questo lavoro si concentra su un paradigma emergente e sempre più popolare: la Valutazione Basata su Rubriche (Rubric-Based Evaluation - RB). In RB, il giudice non assegna un punteggio o sceglie il migliore, ma emette verdetto binario (Sì/No) su criteri specifici (rubriche). La domanda centrale è: il bias di auto-preferenza persiste anche quando i criteri di valutazione sono oggettivi e binari?

2. Metodologia

Gli autori hanno condotto uno studio sistematico confrontando diversi paradigmi di valutazione e analizzando l'impatto del bias in contesti sia oggettivi che soggettivi.

• Metriche di Misurazione:

  • Hanno definito il HSPP Ratio (Harmful Self-Preference Propensity Ratio), un'estensione di una metrica esistente. Questo rapporto misura quanto un giudice sovrastima le proprie uscite (o quelle della sua famiglia) rispetto a modelli non correlati, considerando solo i casi in cui l'uscita è oggettivamente errata (falsi positivi).
  • Un HSPP > 1 indica un bias di auto-preferenza.
  • Sono state calcolate metriche sia a livello di istanza (confronto tra modelli) che a livello di singola rubrica.

• Dataset e Modelli:

  • IFEval: Un benchmark con rubriche programmabilmente verificabili (oggettive, es. "non usare virgole"). Questo permette di stabilire una verità fondamentale (ground truth) precisa per isolare l'effetto del bias dalla soggettività del criterio.
  • HealthBench: Un benchmark per assistenti medici con rubriche soggettive scritte da umani (es. tono comunicativo, referral per emergenze). Qui la verità fondamentale è stimata tramite voto a maggioranza di un ensemble di giudici.
  • Modelli: Una vasta gamma di modelli frontier (Gemma, Llama, Qwen, GPT-5, Claude) utilizzati sia come generatori che come giudici.

• Paradigmi Confrontati:

  • Confronto a coppie (PWC).
  • Valutazione diretta (DA).
  • Valutazione basata su rubriche (RB), sia singola (SR) che su tutte le rubriche (AR).

3. Risultati Chiave

• Persistenza del Bias con Rubriche Oggettive:
  Anche con rubriche completamente oggettive (IFEval), il bias di auto-preferenza persiste. I giudici sono fino al 50% più propensi a marcare erroneamente una propria risposta come "soddisfatta" quando fallisce oggettivamente, rispetto a quando valutano un modello estraneo.

  • Esempio: GPT-5 mostra un HSPP ratio di 1.47 su IFEval, indicando una forte tendenza a sovrastimare se stesso.

• Robustezza Comparativa:

  • La Valutazione Basata su Rubriche (RB) è significativamente più robusta al bias rispetto al Confronto a Coppie (PWC), ma non è immune.
  • Il bias nella RB è simile a quello della Valutazione Diretta (DA).
  • Il PWC sembra il più vulnerabile, probabilmente perché mette il giudice in diretta competizione con un avversario, facilitando l'identificazione e la preferenza per la propria output.

• Impatto sui Punteggi (HealthBench):
  In contesti soggettivi come HealthBench, il bias distorce i punteggi finali in modo significativo.

  • GPT-5, ad esempio, tende a sovrastimare le proprie prestazioni di circa 4 punti su una scala di 100 rispetto a un ensemble di giudici. Questo margine può essere decisivo nel ranking dei modelli all'avanguardia.
  • I giudici Gemma mostrano una forte preferenza per i modelli della famiglia Gemma (fino a +11 punti per Gemma-4B).

• Fattori che Influenzano il Bias:
  L'analisi su HealthBench ha rivelato pattern specifici che aggravano il bias:

  1. Rubriche Negative: Le rubriche che penalizzano il generatore se soddisfatte (es. "non deve contenere errori") sono più vulnerabili al bias rispetto a quelle positive.
  2. Lunghezza della Rubrica: Esiste una relazione a "U" tra lunghezza e bias; le rubriche molto corte (troppo soggettive) e molto lunghe (troppo complesse) generano più bias rispetto a quelle di lunghezza media.
  3. Temi Soggettivi: I temi legati ai "riferimenti per emergenze" e alla "qualità comunicativa" mostrano bias più elevati rispetto a criteri di accuratezza fattuale.
  4. Accordo Inter-judge: Un basso accordo tra giudici diversi è un segnale pratico per identificare rubriche ad alto rischio di bias.

• Mitigazione tramite Ensemble:
  L'uso di un ensemble (comitato) di più giudici (voto a maggioranza) riduce il bias e aumenta l'accuratezza, ma non lo elimina completamente. Rimane una sovrastima residua, suggerendo che l'ensemble da solo non è una soluzione definitiva.

4. Contributi Principali

1. Primo Studio Sistematico: Questo è il primo lavoro a investigare il bias di auto-preferenza specificamente nel contesto della valutazione basata su rubriche.
2. Dimostrazione di Inerenza: Dimostra che il bias non è solo un artefatto della soggettività o del confronto diretto, ma sembra essere intrinseco ai modelli LLM stessi, persistendo anche con criteri verificabili al 100%.
3. Linee Guida per la Progettazione: Fornisce indicazioni concrete per progettare rubriche più resilienti (evitare rubriche negative, gestire la lunghezza, focalizzarsi su temi oggettivi).
4. Analisi Quantitativa: Offre metriche precise (HSPP Ratio) e dati empirici sull'impatto del bias sui punteggi finali dei benchmark.

5. Significato e Conclusioni

Lo studio conclude che il bias di auto-preferenza è un problema fondamentale che non può essere risolto semplicemente cambiando il formato di valutazione (da PWC a RB) o affidandosi ciecamente a ensemble di giudici.

• Implicazioni: La fiducia nei benchmark attuali basati su LLM-as-a-judge deve essere rivista, specialmente quando si confrontano modelli della stessa famiglia o si utilizzano per l'auto-miglioramento.
• Direzioni Future: La mitigazione completa del bias richiederà strategie più complesse che vadano oltre la progettazione delle rubriche, come tecniche di debiasing a tempo di inferenza (es. activation steering) o correzioni durante l'addestramento dei modelli.
• Raccomandazione: Gli autori suggeriscono di utilizzare ensemble di giudici e di monitorare l'accordo inter-judge come segnali di allarme, ma di essere consapevoli che il bias residuo può ancora influenzare decisioni critiche sul ranking dei modelli.