Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge

1. Problemstellung: Score Range Bias in LLM-Judges

Große Sprachmodelle (LLMs) werden zunehmend als automatisierte Bewerter („LLM-as-a-Judge") eingesetzt, um Texte zu bewerten. Eine gängige Methode ist die direkte Bewertung (Direct Assessment), bei der das Modell einem Output eine numerische Note aus einem vordefinierten Bereich (z. B. 1–5) zuweist.

Das Paper identifiziert ein bisher wenig beachtetes, aber kritisches Problem: den Score Range Bias (Verzerrung durch den Notenbereich).

• Phänomen: Die Bewertungsergebnisse eines LLM-Judges sind extrem empfindlich gegenüber der Verschiebung des Notenbereichs, obwohl der semantische Inhalt und die Skalenstruktur (z. B. eine 5-Punkte-Skala) identisch bleiben.
• Beispiel: Ein Modell bewertet denselben Text konsistent anders, wenn der Bereich von „1–5" auf „2–6" oder „0–4" verschoben wird.
• Ursache: Die Autoren vermuten, dass dies mit der Schwierigkeit von LLMs bei einfachen arithmetischen Aufgaben zusammenhängt. Modelle neigen dazu, bestimmte Zahlen innerhalb eines Bereichs zu bevorzugen (z. B. tendieren Llama-Modelle im Bereich 2–6 stark zur Note 4, während Qwen-Modelle zur Note 2 neigen), unabhängig von der tatsächlichen Qualität des Inhalts.
• Folge: Dies führt zu inkonsistenten Korrelationen mit menschlichen Bewertungen, je nachdem, welcher Notenbereich gewählt wird, was die Zuverlässigkeit automatischer Evaluationen untergräbt.

2. Methodik: Contrastive Decoding zur Bias-Minderung

Um dieses Problem zu lösen, schlagen die Autoren eine Methode vor, die auf Contrastive Decoding basiert, inspiriert von früheren Arbeiten (Li et al., 2023) und dem Konzept der „Family Enhancement Bias" (Goel et al., 2025).

Das Prinzip:
Die Idee ist, dass Modelle derselben Familie (z. B. verschiedene Größen von Llama-3 oder Qwen-2.5) ähnliche systematische Verzerrungen (Bias) kodieren. Durch die Kombination eines Hauptmodells (Main Model) mit einem kleineren Assistenten-Modell (Assistant Model) aus derselben Familie können diese ähnlichen Bias-Muster gegeneinander aufgerechnet werden.

Technische Umsetzung:
Anstatt nur die Wahrscheinlichkeiten des Hauptmodells $p_{main}$ zu verwenden, wird die Ausgabe durch eine modifizierte Logit-Verteilung berechnet:
$$\log p_{final} = \log p_{main} - \lambda \log p_{asst}$$
Dabei ist:

• $p_{main}$: Die Wahrscheinlichkeitsverteilung des Hauptmodells.
• $p_{asst}$: Die Wahrscheinlichkeitsverteilung des Assistenten-Modells (z. B. ein kleineres Modell derselben Familie).
• $\lambda$: Ein Hyperparameter, der die Stärke des Assistenten-Modells steuert.
• $t$: Eine Temperatur-Konstante, die die Logit-Verteilung des Assistenten skaliert, um sie mit dem Hauptmodell abzugleichen (wichtig, da die Logit-Magnituden je nach Modellgröße variieren).

Dieser Ansatz zielt darauf ab, die gemeinsamen, fehlerhaften Tendenzen (den Bias gegenüber bestimmten Noten) zu eliminieren, während die eigentliche Bewertungsfähigkeit des Hauptmodells erhalten bleibt.

3. Experimentelles Setup

• Aufgabe: Zusammenfassungsqualität (Summarization) mit Fokus auf die Metrik „Kohärenz" (Coherence), basierend auf dem Datensatz SummEval.
• Modelle:
  • Llama-3 Familie: Hauptmodelle (8B, 1B) und Assistenten (3B, 1B).
  • Qwen-2.5 Familie: Hauptmodelle (14B, 7B) und Assistenten (3B).
• Variablen: Die Experimente wurden über vier verschiedene Notenbereiche durchgeführt: 0–4, 1–5, 2–6 und 3–7.
• Metriken: Korrelation mit menschlichen Annotationen (Pearson, Spearman, Kendall).

4. Wichtige Ergebnisse

Die Ergebnisse belegen die Existenz des Bias und die Wirksamkeit der Gegenmaßnahme:

1. Nachweis des Bias:

   • Ohne Korrektur zeigen Modelle starke Verzerrungen. Beispielsweise geben Llama-3-Modelle im Bereich 2–6 häufig die Note 4 aus, während Qwen-2.5-Modelle zur Note 2 neigen.
   • Die Korrelation mit menschlichen Bewertungen variiert drastisch je nach Notenbereich. Ein Modell kann im Bereich 1–5 gut abschneiden, im Bereich 2–6 jedoch katastrophal schlecht performen.

2. Wirksamkeit von Contrastive Decoding:

   • Die Anwendung von Contrastive Decoding führt zu einer stabilen Korrelation über alle Notenbereiche hinweg.
   • Verbesserung: Im Durchschnitt über alle Notenbereiche wurde eine relative Verbesserung der Spearman-Korrelation um bis zu 11,7 % (bei Qwen 14B) und 6,7 % (bei Llama 8B) erzielt.
   • Besonders im Bereich 2–6, wo die Basismodelle oft versagen, konnte Contrastive Decoding die Leistung signifikant steigern (z. B. bei Llama 8B von .257 auf .337 Spearman-Korrelation).

3. Rolle des Assistenten-Modells:

   • Die Wahl des Assistenten ist kritisch. Kleinere Modelle (z. B. 3B oder 1B) aus derselben Familie fungieren als effektive „Bias-Filter".
   • Warnung: Die Verwendung eines größeren Assistenten-Modells (z. B. 7B als Assistent für 14B) kann die Leistung verschlechtern, da das größere Assistenten-Modell die korrekten Logits des Hauptmodells „bestraft" anstatt den Bias zu neutralisieren.

4. Robustheit:

   • Die Methode funktioniert konsistent über verschiedene Modellgrößen und Familien hinweg und ermöglicht es, auch nicht-standardisierte Notenbereiche (wie 0–4 oder 2–6) zuverlässig zu nutzen.

5. Bedeutung und Schlussfolgerung

Das Paper leistet einen wesentlichen Beitrag zur Zuverlässigkeit von LLM-basierten Evaluationssystemen:

• Neue Erkenntnis: Es identifiziert den „Score Range Bias" als eine fundamentale Schwäche bei der direkten Bewertung durch LLMs, die oft übersehen wird, wenn man sich nur auf den Standardbereich 1–5 verlässt.
• Praktische Lösung: Contrastive Decoding bietet eine einfache, aber effektive Methode, um diese systematischen Fehler zu korrigieren, ohne das Hauptmodell neu zu trainieren.
• Ressourceneffizienz: Da die Methode oft in Kombination mit „Speculative Decoding" (wo ein kleines Modell ohnehin zur Beschleunigung genutzt wird) eingesetzt werden kann, fällt der zusätzliche Rechenaufwand in der Praxis oft gering aus.
• Zukunftsaussicht: Die Analyse-Frameworks und die Korrekturmethode ermöglichen es, LLM-Judges über den traditionellen 1–5-Bereich hinaus einzusetzen und die Evaluierung in verschiedenen Kontexten robuster zu gestalten.

Zusammenfassend zeigt die Arbeit, dass LLM-Judges zwar anfällig für scheinbar willkürliche numerische Verzerrungen sind, diese jedoch durch geschickte Kombination von Modellen derselben Familie effektiv kompensiert werden können.