Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge

Diese Studie zeigt, dass die als Richter eingesetzten großen Sprachmodelle selbst bei identischen Eingaben, verschiedenen Temperatursettings und unterschiedlichen Modellfamilien erhebliche Inkonsistenzen bei der Vergabe numerischer Bewertungen aufweisen, was die Zuverlässigkeit und Fairness von automatisierten Evaluierungsprozessen in Produktionsumgebungen in Frage stellt.

Das Wesentliche

Wenn KI-Richter nicht immer gleich urteilen: Eine Studie über das Chaos hinter den Kulissen

Stellen Sie sich vor, Sie gehen zu einem Gerichtssaal, um einen Streit zu schlichten. Sie geben dem Richter (in diesem Fall einer Künstlichen Intelligenz) den exakt gleichen Fall vor. Sie erwarten, dass der Richter heute und morgen, bei jedem neuen Versuch, das exakt gleiche Urteil fällt.

Die Studie von Fiona Lau zeigt uns jedoch ein beunruhigendes Bild: Unsere digitalen Richter sind oft chaotisch. Selbst wenn sie denselben Fall sehen, können sie an einem Tag eine 10 von 10 Punkten geben und am nächsten Tag nur eine 3. Und das passiert nicht nur bei verschiedenen Richtern, sondern sogar beim selben Richter!

Hier ist die Geschichte der Studie, einfach erklärt:

1. Das Problem: Der "Zufalls-Richter"

In der modernen Welt nutzen Firmen und Forscher KI-Modelle (wie GPT-4, Gemini oder Claude), um Texte automatisch zu bewerten. Man nennt das "LLM-as-a-judge" (KI als Richter).

• Die Erwartung: Wenn die KI denselben Text bewertet, sollte das Ergebnis immer gleich sein.
• Die Realität: Die KI ist wie ein Künstler, der jeden Morgen mit einer anderen Laune aufwacht. Selbst wenn man ihr sagt: "Sei heute ganz streng und logisch" (was man technisch als "Temperatur = 0" bezeichnet), macht sie manchmal trotzdem kleine Fehler oder ändert ihre Meinung.

Die Analogie: Stellen Sie sich vor, Sie bestellen jeden Morgen denselben Kaffee in derselben Kaffeebar. Manchmal ist er heiß, manchmal lauwarm, und manchmal schmeckt er nach etwas anderem, obwohl der Barista denselben Kaffee zubereitet hat. Das ist für eine Firma, die auf diese Bewertungen angewiesen ist, ein Albtraum.

2. Was wurde getestet?

Die Forscher haben fünf der bekanntesten KI-Modelle getestet (von OpenAI, Google und Anthropic) und ihnen echte Fragen aus einem Firmen-Chatbot gegeben. Sie haben die Antworten auf drei Dinge geprüft:

1. Relevanz: Beantwortet die KI die Frage überhaupt?
2. Genauigkeit: Sind die Fakten richtig?
3. Vollständigkeit: Ist alles Wichtige enthalten?

Dabei haben sie die KI 10-mal hintereinander denselben Text bewerten lassen, um zu sehen, wie sehr die Punkte schwanken.

3. Die überraschenden Ergebnisse

• Das "Vollständigkeits"-Problem: Besonders bei der Frage "Ist die Antwort vollständig?" waren die KI-Richter am unzuverlässigsten.

  • Vergleich: Stellen Sie sich vor, ein Lehrer bewertet einen Aufsatz. Bei der Frage "Hast du die Aufgabe verstanden?" (Relevanz) sind alle Lehrer sich einig. Aber bei der Frage "Hast du alles gesagt, was man sagen könnte?" (Vollständigkeit), urteilen sie völlig unterschiedlich. Der eine sagt: "Perfekt!", der andere: "Fehlt noch was."

• Verschiedene Familien, verschiedene Meinungen:

  • Die Modelle von Google (Gemini) waren sehr großzügig und gaben oft volle Punkte für Vollständigkeit.
  • Die Modelle von Anthropic (Claude) waren oft strenger und gaben bei denselben Antworten viel niedrigere Punkte.
  • Die Moral: Wenn Sie einen Kundenanruf an eine KI weiterleiten, entscheidet die Wahl des KI-Modells darüber, ob der Kunde als "zufrieden" oder "unzufrieden" eingestuft wird – nur weil ein anderer Algorithmus im Hintergrund läuft.

• Der "Temperatur"-Trick funktioniert nicht immer:
  In der KI-Welt gibt es einen Schalter namens "Temperatur".

  • Hohe Temperatur: Die KI ist kreativ, wild und zufällig (wie ein Dichter).
  • Niedrige Temperatur (0): Die KI soll streng, logisch und vorhersehbar sein (wie ein Roboter).
  • Das Ergebnis: Die Forscher dachten, wenn sie die Temperatur auf 0 stellen, wird die KI perfekt vorhersehbar. Falsch! Bei manchen Modellen (wie Google) wurde es tatsächlich viel stabiler. Bei anderen (wie Anthropic) änderte sich fast nichts. Die KI blieb auch im "strengen Modus" manchmal launisch.

4. Warum ist das ein Problem für die echte Welt?

Wenn eine Bank oder ein Krankenhaus eine KI nutzt, um Entscheidungen zu treffen (z. B. "Ist diese E-Mail wichtig?" oder "Ist diese Antwort sicher genug?"), dann ist Konsistenz alles.

• Das Risiko: Wenn die KI heute sagt "Ja, das ist sicher" und morgen "Nein, das ist gefährlich" – obwohl sich nichts geändert hat –, dann ist das System unzuverlässig. Kunden könnten unfair behandelt werden, oder wichtige Fehler könnten übersehen werden.
• Das Format-Chaos: Manchmal gab die KI sogar die falsche Antwortformatierung (z. B. statt "Score: 0,8" schrieb sie "Score: 0,8 Punkte"). Das bringt Computerprogramme zum Absturz, die diese Daten automatisch lesen sollen.

5. Was lernen wir daraus?

Die Studie sagt uns: Vertraue nicht blind auf die KI als Richter.

• KI ist nicht deterministisch: Selbst wenn man alles genau so einstellt, wie man will, bleibt ein Rest von "Zufall" übrig.
• Überprüfe die Stabilität: Bevor man eine KI in ein wichtiges System einbaut, sollte man nicht nur schauen, wie gut sie ist, sondern wie stabil sie ist. Ein KI-Richter, der immer eine 5 gibt (auch wenn sie falsch ist), ist manchmal besser als einer, der zwischen 1 und 10 springt.
• Mensch im Loop: Wir brauchen wahrscheinlich eine Mischung aus KI und Menschen, oder wir müssen die KI mit mehreren Modellen gleichzeitig prüfen lassen, um sicherzugehen, dass das Ergebnis nicht nur ein Zufallstreffer war.

Fazit:
Die KI ist ein mächtiges Werkzeug, aber sie ist noch kein perfekter, unfehlbarer Richter. Sie ist eher wie ein sehr talentierter, aber manchmal launischer Assistent. Wenn wir sie in kritischen Systemen einsetzen, müssen wir ihre Launen kennen und Vorsichtsmaßnahmen treffen, damit wir nicht auf dem falschen Fuß erwischt werden.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung der Arbeit „Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge" von Fiona Lau auf Deutsch.

1. Problemstellung

Die Verwendung von Large Language Models (LLMs) als automatisierte Bewerter („LLM-as-a-Judge") hat in Forschung und Unternehmensumgebungen stark zugenommen, insbesondere für Aufgaben wie Routing, Triage, Gate-Logik und Qualitätskontrollen. Während die Genauigkeit, Voreingenommenheit und die Ausrichtung auf menschliche Präferenzen von LLM-Bewertern bereits untersucht wurden, bleibt die Konsistenz bei der Vergabe numerischer Scores ein weitgehend unerforschtes Gebiet.

Das Kernproblem besteht darin, dass LLMs inhärent nicht-deterministisch sind. Selbst bei identischen Eingaben (Prompts) und scheinbar deterministischen Einstellungen (z. B. Temperatur = 0) können Modelle unterschiedliche Ausgaben generieren. Für Unternehmensprozesse, die auf stabilen numerischen Bewertungen basieren, stellt diese Variabilität ein erhebliches Risiko für Fairness, Wiederholbarkeit und operative Zuverlässigkeit dar. Bisherige Studien konzentrierten sich oft auf Multiple-Choice-Aufgaben oder Auswahlentscheidungen, nicht jedoch auf scoring-basierte Urteile, bei denen qualitative Kriterien in numerische Werte (z. B. 0 bis 1) übersetzt werden müssen.

2. Methodik

Die Studie führt eine systematische Evaluation durch, um die Stabilität von Score-basierten Urteilen zu messen.

• Datensatz: Es wurden reale Frage-Antwort-Paare aus einem unternehmensinternen Retrieval-Augmented Generation (RAG)-System verwendet. Dies gewährleistet eine hohe ökologische Validität und vermeidet Benchmark-Verschmutzung.
• Bewertungskriterien: Drei Dimensionen wurden bewertet:
  1. Relevanz: Beantwortet die Antwort die Frage direkt?
  2. Genauigkeit (Accuracy): Ist die Information faktisch korrekt?
  3. Vollständigkeit (Completeness): Deckt die Antwort alle benötigten Informationen ab? (Dieses Kriterium ist besonders wichtig für RAG-Systeme).
• Modelle: Fünf weit verbreitete proprietäre Modelle wurden getestet:
  • OpenAI: GPT-4o, GPT-4o-mini
  • Google: Gemini-2.5-Flash
  • Anthropic: Claude-Haiku-4.5, Claude-Sonnet-4.5
• Experimentelles Design:
  • Jedes Modell bewertete denselben Datensatz über 10 Wiederholungen.
  • Zwei Temperatur-Einstellungen wurden verglichen: Temperatur = 0 (theoretisch deterministisch) und Temperatur = 1 (stochastisch).
  • Alle Modelle erhielten denselben Prompt (siehe Anhang 1), der eine strukturierte Ausgabe mit Begründung und Score (0–1) forderte.

3. Wichtige Beiträge und Ergebnisse

Die Studie beantwortet drei zentrale Forschungsfragen (RQ) und liefert folgende Erkenntnisse:

RQ1: Wie konsistent ist ein Modell bei der Bewertung derselben Frage über mehrere Durchläufe hinweg?

• Ergebnis: Alle Modelle zeigten signifikante Inkonsistenzen, selbst bei Temperatur = 0.
• Vollständigkeit als Schwachpunkt: Das Kriterium „Vollständigkeit" wies die höchste Variabilität auf, gefolgt von Genauigkeit und Relevanz.
• Temperatur-Effekt: Temperatur = 0 eliminierte die Zufälligkeit nicht vollständig. Bei Anthropic-Modellen (Claude/Sonnet) war die Reduktion der Standardabweichung minimal; bei einigen Fällen (z. B. Claude bei Vollständigkeit) blieb die Variabilität sogar hoch. GPT-Modelle zeigten eine deutlichere Stabilisierung, und Gemini zeigte bei Temperatur = 0 in vielen Fällen eine Varianz von nahezu Null.

RQ2: Wie unterscheiden sich verschiedene Modelle bei der Bewertung derselben Eingabe?

• Ergebnis: Es gibt systematische Unterschiede in der „Strenge" und Interpretation zwischen Modellfamilien.
• Beispiele:
  • Gemini neigte dazu, generöser zu sein (höhere Scores für Vollständigkeit).
  • Claude-Modelle bewerteten bestimmte Antworten (z. B. bei Frage 14) als fundamental unpassend (nahezu 0), während GPT und Gemini dieselben Antworten positiv bewerteten.
  • Bei Frage 21 bewertete Gemini eine Antwort als vollständig (1.0), während GPT-4 sie nur als teilweise vollständig (0.5) einstufte, da keine alternativen Ressourcen vorgeschlagen wurden.
• Implikation: Dieselbe Eingabe kann je nach verwendetem Modell zu völlig unterschiedlichen Scores führen, was downstream-Entscheidungen (Routing, Triage) inkonsistent macht.

RQ3: Inwiefern beeinflusst die Temperatur die Score-Konsistenz?

• Ergebnis: Der Einfluss der Temperatur ist nicht einheitlich.
  • GPT & Gemini: Profitieren stark von Temperatur = 0; die Varianz sinkt deutlich.
  • Anthropic: Zeigt nur marginale Verbesserungen oder sogar erhöhte Variabilität bei Temperatur = 0.
• Fazit: Die Annahme, dass Temperatur = 0 zu deterministischen Ergebnissen führt, gilt nicht universell für alle Modellarchitekturen.

Zusätzliche Beobachtung:
Die Studie identifizierte Formatierungsinkonsistenzen. Selbst bei ähnlichen Scores weichen die Ausgaben der Modelle manchmal von der geforderten Struktur ab, was zu Parsing-Fehlern in automatisierten Pipelines führt.

4. Signifikanz und Implikationen

Die Arbeit hat weitreichende Konsequenzen für den Einsatz von LLMs in der Produktion:

1. Operatives Risiko: Da Scores oft als Gatekeeper für Geschäftsprozesse dienen, führt die Inkonstanz zu unfairen oder inkonsistenten Kundenerlebnissen (z. B. unterschiedliches Routing derselben Anfrage).
2. Neue Metrik für Zuverlässigkeit: Unternehmen sollten LLMs nicht nur nach ihrer durchschnittlichen Leistung (Mean Score), sondern auch nach ihrer Stabilität (Standardabweichung) bewerten. Ein konsistent falsches Modell ist oft besser handhabbar als ein inkonsistentes, da seine Fehler vorhersehbar sind.
3. Empfehlungen für die Praxis:
   • Vermeidung von reinen LLM-Bewertungen ohne menschliche Aufsicht oder hybride Ansätze.
   • Einsatz robusterer Parsing-Strategien (z. B. sekundäre Parser-Modelle) statt einfacher Regex, um Formatierungsfehler zu kompensieren.
   • Sorgfältige Auswahl des Modells basierend auf dessen spezifischem Variabilitätsprofil.
4. Rechtliche und ethische Aspekte: Die Nicht-Deterministik wirft Fragen zur Haftung (z. B. bei rechtlichen Ansprüchen) und zur Fairness auf, insbesondere wenn Entscheidungen auf instabilen Scores basieren.

Fazit

Die Studie belegt, dass aktuelle LLMs als Bewerter in scoring-basierten Szenarien erhebliche Instabilitäten aufweisen, die durch einfache Parameteranpassungen (Temperatur = 0) nicht vollständig behoben werden können. Dies unterstreicht die Notwendigkeit, die Zuverlässigkeit von LLM-Judges durch Monitoring, robuste Architektur und hybride Evaluierungsansätze zu sichern, bevor sie in kritischen Unternehmensworkflows eingesetzt werden.