💬 NLP

Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks

Diese Studie zeigt, dass auf LLM basierende Richter über verschiedene Durchläufe hinweg eine signifikante Intra-Rater-Inkonsistenz aufweisen, was die Zuverlässigkeit ihrer Bewertungen untergräbt, und untersucht, ob solche Evaluierungen dennoch durch spezifische Leitlinien effektiv genutzt werden können.

Ursprüngliche Autoren: Rajarshi Haldar, Julia Hockenmaier

Veröffentlicht 2026-04-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rajarshi Haldar, Julia Hockenmaier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Der „Achterbahn"-Richter

Stellen Sie sich vor, Sie stellen einen berühmten Food-Kritiker ein, um ein neues Restaurant zu bewerten. Sie bitten ihn, dasselbe Gericht dreimal hintereinander zu probieren, am selben Tisch sitzend, mit derselben Serviette davor.

Probieren 1: Er gibt ihm eine 5-Sterne-Bewertung und nennt es „ein Meisterwerk".
Probieren 2: Er gibt ihm eine 2-Sterne-Bewertung und nennt es „fad und überkocht".
Probieren 3: Er gibt ihm eine 4-Sterne-Bewertung und sagt, es sei „ordentlich, braucht aber mehr Salz".

Wenn das passieren würde, würden Sie diesem Kritiker nicht vertrauen. Sie würden erkennen, dass sein Urteil wie ein Roulette-Rad ist – es dreht sich und landet jedes Mal auf einer anderen Zahl, obwohl das Essen (die Eingabe) sich nie verändert hat.

Genau das haben die Forscher festgestellt, als sie Large Language Models (LLMs) aufforderten, als Richter für andere KI-generierte Texte zu fungieren. Sie entdeckten, dass diese KI-Richter unter „Rating Roulette" leiden.

Das Problem: Der KI-Richter kann sich nicht mit sich selbst einig werden

In der Welt der KI verwenden wir oft eine KI, um die Arbeit einer anderen KI zu benoten. Dies wird als „LLM-as-a-Judge" bezeichnet. Es ist beliebt, weil es schneller und günstiger ist als die Einstellung von Menschen.

Die Forscher führten jedoch einen einfachen Test durch:

Sie nahmen ein Stück Text (wie eine Nachrichtenzusammenfassung oder ein Chat-Gespräch).
Sie baten denselben KI-Richter, ihn dreimal mit exakt denselben Anweisungen zu bewerten.
Sie prüften, ob die KI jedes Mal dieselbe Punktzahl vergab.

Das Ergebnis: Die KI-Richter waren völlig inkonsistent.

Bei einer Aufgabe namens SummaC (Prüfung, ob eine Zusammenfassung faktisch wahr ist), stimmte der beste KI-Richter nur in etwa 79 % der Fälle mit sich selbst überein.
Bei einer Aufgabe namens MT-Bench (Rangfolge von Chatbot-Gesprächen) sank die Übereinstimmung noch weiter. Ein KI-Richter gab in nur 61 % der Fälle exakt dreimal hintereinander dieselbe Antwort.

Es ist, als würde die Stimmung des Richters jedes Mal ändern, wenn Sie eine Frage stellen, obwohl sich die Frage und die Antwort nicht verändert haben.

Der „Magische Trick", der nach hinten losgeht

Man könnte denken: „Okay, sagen wir der KI einfach, sie soll aufhören, zufällig zu sein. Schalten wir den Teil ihres Gehirns aus, der das 'Würfeln' macht, damit sie immer dieselbe Antwort gibt."

Die Forscher versuchten dies. Sie stellten die KI auf 100 % deterministisch ein (ohne Zufall).

Wurde sie konsistenter? Ja.
Wurde sie ein besserer Richter? Nein.

Tatsächlich wurden ihre Noten im Vergleich zu menschlichen Richtern schlechter, als sie die KI zwangen, das Würfeln einzustellen. Es ist, als würde man einen Koch zwingen, jedes einzelne Mal exakt dasselbe Rezept zu verwenden; er mag dann zwar keine Fehler mehr machen, aber er hört auch auf, kreativ oder anpassungsfähig zu sein, und das Essen schmeckt am Ende schlechter.

Das Papier schlägt vor, dass es einen Zielkonflikt gibt: Um eine gute Note zu erhalten, die der menschlichen Meinung entspricht, braucht die KI ein wenig „Zufall" (Variabilität). Aber derselbe Zufall macht die KI in sich selbst inkonsistent.

Der menschliche Vergleich: Sind Menschen besser?

Die Forscher untersuchten auch menschliche Richter, um zu sehen, ob dies ein Problem ist, das nur die KI betrifft.

Menschliche Experten: Wenn Experten denselben Text bewerteten, stimmten sie sich ziemlich gut, aber nicht perfekt, miteinander ab.
Crowd-Arbeiter: Wenn normale Menschen (Crowd-Arbeiter) den Text bewerteten, waren sie sich oft untereinander und mit den Experten uneinig.
Die Überraschung: In einigen Fällen waren die KI-Richter tatsächlich konsistenter mit sich selbst als Menschen untereinander. Da die Scores der KI jedoch so volatil waren, ist es schwer zu sagen, ob die KI eigentlich „richtig" liegt oder nur „Glück" hat.

Warum ist das wichtig? (Die Analogie des „kaputten Lineals")

Stellen Sie sich vor, Sie versuchen, die Höhe eines Baumes zu messen.

Der alte Weg: Sie verwenden ein Lineal, das leicht verbogen ist. Es ist nicht perfekt, aber es ist stabil.
Der neue Weg (KI-Richter): Sie verwenden ein Lineal aus Gummi. Manchmal dehnt es sich, manchmal zieht es sich zusammen. Selbst wenn Sie denselben Baum dreimal messen, erhalten Sie drei verschiedene Zahlen.

Wenn Sie ein Gummilineal verwenden, können Sie dem Messergebnis nicht vertrauen. Das Papier argumentiert, dass die Verwendung eines LLM als Richter derzeit wie die Verwendung eines Gummilineals ist.

Wenn Sie den Test einmal durchführen, erhalten Sie eine Punktzahl.
Wenn Sie ihn erneut durchführen, erhalten Sie eine andere Punktzahl.
Wenn Sie ihn ein drittes Mal durchführen, erhalten Sie eine dritte Punktzahl.

Da sich die Punktzahl jedes Mal ändert, wissen wir nicht, ob die KI wirklich gut darin ist, Qualität zu beurteilen, oder ob sie nur ratet.

Was haben sie bei verschiedenen Aufgaben gefunden?

Die Forscher testeten drei verschiedene Arten von „Spielen", die die KI spielen musste:

Wahr oder Falsch (SummaC): Ist die Zusammenfassung faktisch korrekt? (Binäre Wahl).
- Ergebnis: KI-Richter waren inkonsistent, aber neuere, größere Modelle waren etwas besser.
Die 1-bis-5-Sterne-Bewertung (SummEval): Bewerten Sie die Zusammenfassung in Bezug auf „Kohärenz", „Flüssigkeit" usw.
- Ergebnis: Die KI war sehr inkonsistent, insbesondere bei „Flüssigkeit" (wie glatt der Text klingt). Interessanterweise war die KI manchmal besser darin, die Flüssigkeit zu beurteilen, als Menschen darin, sich untereinander zu einigen.
Die Battle Royale (MT-Bench): Welcher von zwei Chatbots gab eine bessere Antwort?
- Ergebnis: Dies war die schwierigste Aufgabe. Die KI-Richter waren hier extrem volatil und änderten oft ihre Meinung darüber, welcher Chatbot besser war.

Das Fazit: Wie man das Roulette-Rad repariert

Das Papier bietet einige praktische Tipps für Personen, die KI-Richter einsetzen möchten:

Vertrauen Sie nicht einem einzelnen Lauf: Wenn Sie eine KI bitten, etwas zu bewerten, nehmen Sie nicht einfach die erste Antwort. Bitten Sie sie, es dreimal zu bewerten, und nehmen Sie den Durchschnitt oder die Mehrheitsentscheidung. Dies glättet den „Roulette"-Effekt und ergibt eine Punktzahl, die näher an dem liegt, was ein Mensch sagen würde.
Schalten Sie den Zufall nicht aus: Obwohl Zufall Inkonsistenz verursacht, macht das vollständige Abschalten die KI schlechter darin, menschliche Meinungen zu treffen. Sie brauchen ein wenig Chaos, um die richtige Antwort zu erhalten.
Prüfen Sie Ihre eigene Konsistenz: Bevor Sie einem KI-Richter vertrauen, sollten Sie prüfen, ob er mit sich selbst einig ist. Wenn er sich nicht mit sich selbst einig sein kann, wird er wahrscheinlich auch nicht mit Ihnen einig sein.

Zusammenfassung

Das Papier zeigt, dass KI-Richter derzeit unzuverlässig sind, weil sie jedes Mal, wenn sie dieselbe Frage gestellt bekommen, unterschiedliche Antworten geben. Sie sind wie ein Roulette-Rad und nicht wie eine stabile Waage. Obwohl neuere KI-Modelle etwas konsistenter sind, haben sie immer noch Schwierigkeiten, zuverlässig zu sein. Die beste Lösung derzeit besteht darin, die KI zu bitten, das Spiel mehrmals zu spielen und die Ergebnisse zu mitteln, anstatt einem einzelnen „Dreh" des Rades zu vertrauen.

1. Problemstellung

Da die Generierung natürlicher Sprache (NLG) allgegenwärtig wird, hat sich die Bewertung von Modelloutputs von traditionellen Metriken (z. B. BLEU, ROUGE) hin zu LLM-as-a-Judge-Frameworks verschoben, bei denen Large Language Models (LLMs) generierten Texten Scores oder Rangfolgen zuweisen. Obwohl diese Frameworks Skalierbarkeit bieten und besser mit menschlichen Präferenzen übereinstimmen als n-Gramm-Metriken, leiden sie unter einem kritischen, oft übersehenen Mangel: niedriger Intra-Rater-Reliabilität (Selbstzuverlässigkeit).

Die Autoren identifizieren, dass LLM-Richter eine signifikante Selbstinkonsistenz aufweisen. Wenn dasselbe LLM über mehrere Durchläufe hinweg mit identischen Eingaben, Hyperparametern und Einstellungen konfrontiert wird, liefert es häufig unterschiedliche Bewertungen. Diese Varianz macht einzelne Urteile potenziell willkürlich und erschwert die Bestimmung der wahren Qualität der Bewertungsfähigkeiten des LLMs. Darüber hinaus stützen sich bestehende Studien oft auf Metriken wie Korrelation oder Genauigkeit, um LLMs mit Menschen zu vergleichen, die zufällige Übereinstimmungen nicht berücksichtigen und somit die wahrgenommene Zuverlässigkeit möglicherweise aufblähen.

2. Methodik

Die Autoren führten eine umfassende empirische Studie über drei verschiedene NLG-Benchmarks durch, um die Selbstzuverlässigkeit und deren Auswirkungen auf die Bewertungleistung zu quantifizieren.

Datensätze & Aufgaben

SummaC: Eine binäre Klassifikationsaufgabe (Konsistent vs. Inkonsistent) für faktische Konsistenz in der Zusammenfassung.
SummEval: Eine multimetrische Zusammenfassungsbewertung unter Verwendung einer 1–5 Likert-Skala über vier Dimensionen: Kohärenz, Konsistenz, Flüssigkeit und Relevanz.
MT-Bench: Eine Aufgabe zur Rangfolge von Mehrfach-Dialogen, bei der ein Richter die bessere Antwort zwischen zwei Modellen auswählt (Modell A, Modell B oder Unentschieden).

Experimentelles Setup

Modelle: Drei LLMs wurden als Richter eingesetzt: Llama-3.1-70B-Instruct, DeepSeek-R1-Distill-Qwen und Qwen3-32B.
Verfahren: Jeder Richter wurde dreimal auf demselben Datensatz mit identischen Prompts und Einstellungen ausgeführt, um die Intra-Rater-Varianz zu messen.
Metriken für Übereinstimmung:
- Krippendorffs Alpha ( $\alpha$ ): Die primäre Metrik zur Messung der Übereinstimmung. Sie wurde anstelle von Genauigkeit oder Korrelation gewählt, da sie zufällige Übereinstimmungen korrigiert und fehlende Daten, unterschiedliche Anzahlen von Richtern sowie verschiedene Datentypen (nominal, ordinal, intervall) handhabt.
- Distanzfunktionen: Nominaldistanz für binäre Aufgaben (SummaC); Ordinaldistanz für Likert-Skalen und Rangfolgen (SummEval, MT-Bench).
- Balanced Accuracy: Für SummaC verwendet, um Klassenungleichgewichte zu berücksichtigen.
Vergleiche: Die Studie verglich:
- Selbstzuverlässigkeit: Übereinstimmung eines LLM mit sich selbst über mehrere Durchläufe.
- Inter-Rater-Reliabilität: Übereinstimmung zwischen LLMs und menschlichen Richtern (Experten und Crowdworker/Turker).
- Auswirkung auf die Leistung: Der Effekt von „Mehrheitsvoting" (Aggregation mehrerer Durchläufe) im Vergleich zu „Keinem Sampling" (Setzen der Temperatur auf 0) auf die Übereinstimmung mit menschlichen Goldstandards.

3. Hauptbeiträge

Quantifizierung der Selbstinkonsistenz: Das Papier liefert die erste systematische Quantifizierung niedriger Intra-Rater-Reliabilität bei LLM-Richtern über verschiedene Aufgaben hinweg (Zusammenfassung, Faktenprüfung und Dialog).
Der Trade-off zwischen Varianz und Leistung: Die Autoren zeigen eine kontraintuitive Erkenntnis auf: Das Deaktivieren des Samplings (Setzen der Temperatur auf 0), um deterministische Ausgaben zu erzwingen, verringert die Übereinstimmung des LLM mit menschlichen Urteilen. Dies legt nahe, dass die inhärente Stochastizität von LLMs, obwohl sie Selbstinkonsistenz verursacht, tatsächlich dabei hilft, den Lösungsraum zu erkunden, um Antworten zu finden, die näher am menschlichen Konsens liegen.
Kritik an Bewertungsmetriken: Die Studie hebt hervor, dass Standardmetriken wie Genauigkeit und Korrelation die Übereinstimmung zwischen LLMs und Menschen überschätzen, da sie keine Korrektur für Zufall vornehmen. Krippendorffs Alpha zeigt deutlich niedrigere und realistischeren Übereinstimmungsniveaus auf.
Aufgabenspezifische Variabilität: Die Inkonsistenz ist nicht einheitlich; sie variiert erheblich je nach Aufgabe (z. B. niedriger bei MT-Bench als bei SummaC) und je nach Metrik (z. B. ist „Flüssigkeit" für LLMs berüchtigt schwer konsistent zu bewerten).

4. Hauptergebnisse

Selbstzuverlässigkeit (Intra-Rater)

SummaC: Krippendorffs $\alpha$ reichte von 0,32 (Llama 3.1) bis 0,79 (Qwen 3). Selbst das beste Modell (Qwen 3) erreichte die 0,8-Schwelle für „gute" Übereinstimmung nur knapp.
SummEval: Die Selbstzuverlässigkeit variierte je nach Metrik. Während Kohärenz und Konsistenz eine moderate Zuverlässigkeit aufwiesen, hatte Flüssigkeit bei allen Modellen eine sehr niedrige Zuverlässigkeit.
MT-Bench: Die Selbstzuverlässigkeit war am niedrigsten, mit $\alpha$ -Werten um 0,26–0,56. Qwen 3 stimmte in nur 61,3 % der Fälle über drei Durchläufe hinweg mit sich selbst überein.
Fazit: LLM-Richter sind hochgradig volatil, oft sogar stärker als menschliche Richter.

Übereinstimmung mit Menschen

Metrik-Bias: Bei Verwendung von Genauigkeit schienen LLMs mit hohen Raten mit Menschen übereinzustimmen (z. B. 0,827 für Menschen gegen Menschen in MT-Bench). Bei Verwendung von Krippendorffs Alpha sank die menschlich-menschliche Übereinstimmung jedoch auf 0,478, und die LLM-menschliche Übereinstimmung sank noch weiter (z. B. Qwen 3 gegen Menschen: 0,426).
Experten vs. Crowd: Menschliche Experten zeigten eine höhere Übereinstimmung untereinander als Crowdworker. LLMs zeigten eine bescheidene Übereinstimmung mit Experten, weichen jedoch signifikant von Crowdworkern ab, was darauf hindeutet, dass LLMs zwar besser mit Expertenurteilen übereinstimmen, aber dennoch hinter dem „Goldstandard" zurückbleiben.

Auswirkung von Sampling-Strategien

Mehrheitsvoting: Die Aggregation von Ergebnissen aus mehreren Durchläufen (z. B. Annahme der Mehrheitsstimme von 3 Durchläufen) verbesserte die Übereinstimmung mit menschlichen Labels im Vergleich zu einem einzelnen Durchlauf.
Deterministischer Modus (Temp=0): Das Ausführen des Modells ohne Sampling (zur Eliminierung der Varianz) verschlechterte die Leistung. Beispielsweise sank bei SummaC die Balanced Accuracy von Qwen 3 von 80,6 % (Mehrheitsvoting) auf 79,2 % (Kein Sampling). Dies zeigt, dass das Erzwingen von Determinismus die Fähigkeit des Modells beeinträchtigt, sich an menschliche Präferenzen anzupassen.

5. Bedeutung und Empfehlungen

Bedeutung:
Das Papier stellt das aktuelle Paradigma der „Single-Run"-LLM-Bewertung in Frage. Es zeigt auf, dass der „Goldstandard" von LLM-as-a-Judge instabil ist. Wenn ein LLM nicht mit sich selbst übereinstimmen kann, ist seine Nützlichkeit als zuverlässiger Bewerter beeinträchtigt. Die Ergebnisse deuten darauf hin, dass die stochastische Natur von LLMs nicht nur ein Fehler, sondern ein Merkmal ist, das hilft, einen menschlich abgestimmten Konsens zu erreichen, und dass deren Entfernung nachteilig ist.

Empfehlungen für zukünftige Forschung:

Selbstzuverlässigkeit berichten: Bewertungsframeworks müssen die Intra-Rater-Reliabilität (z. B. Krippendorffs Alpha) neben der Inter-Rater-Übereinstimmung berichten.
Zufallskorrigierte Metriken verwenden: Vermeiden Sie Genauigkeit/Korrelation für die Richterbewertung; verwenden Sie stattdessen Krippendorffs Alpha oder Cohens Kappa.
Mehrere Durchläufe aggregieren: Anstelle eines einzelnen Inferenzvorgangs verwenden Sie Mehrheitsvoting oder die Aggregation mehrerer Durchläufe, um Scores zu stabilisieren und die Übereinstimmung mit menschlichen Urteilen zu verbessern.
Determinismus nicht erzwingen: Vermeiden Sie das Setzen der Temperatur auf null, um Konsistenzprobleme zu beheben, da dies die Leistung verschlechtert.
Menschliche Selbstzuverlässigkeit messen: Zukünftige Benchmarks sollten wiederholte menschliche Annotationen einschließen, um eine realistische Obergrenze für die LLM-Selbstzuverlässigkeit zu etablieren.

Zusammenfassend argumentieren die Autoren, dass LLM-as-a-Judge zwar eine skalierbare Alternative zur menschlichen Bewertung darstellt, deren aktuelle Implementierung jedoch unter erheblichem „Rating Roulette" (Zufälligkeit) leidet. Eine robuste Bewertung erfordert die Anerkennung dieser Varianz, die Verwendung geeigneter statistischer Metriken und die Nutzung mehrerer Inferenzdurchläufe anstatt sich auf Single-Shot-Urteile zu verlassen.