💬 NLP

Judging Against the Reference: Uncovering Knowledge-Driven Failures in LLM-Judges on QA Evaluation

Diese Arbeit zeigt auf, dass LLM-basierte Richter bei der QA-Evaluierung häufig daran scheitern, bereitgestellte Referenzantworten einzuhalten, wenn diese mit dem internen parametrischen Wissen der Modelle kollidieren, was zu einer unzuverlässigen Bewertung führt, die trotz gängiger Minderungsstrategien bestehen bleibt.

Ursprüngliche Autoren: Dongryeol Lee, Yerin Hwang, Taegwan Kang, Minwoo Lee, Younhyung Chae, Kyomin Jung

Veröffentlicht 2026-06-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dongryeol Lee, Yerin Hwang, Taegwan Kang, Minwoo Lee, Younhyung Chae, Kyomin Jung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr klugen, belesenen Bibliothekar ein, um einen Stapel Schüleraufsätze zu bewerten. Ihre Regel ist simpel: „Bewerte den Schüler ausschließlich basierend auf dem Lösungsschlüssel, den ich dir gebe, und nicht auf dem, was du aus deinem eigenen Gedächtnis weißt.“

Diese Arbeit untersucht, was passiert, wenn dieser Bibliothekar eine KI (ein Large Language Model oder LLM) ist und der Lösungsschlüssel einen „Trick“ enthält.

Das Setup: Der „vertauschte“ Lösungsschlüssel

Die Forscher erstellten einen speziellen Test. Sie nahmen eine Reihe von Fragen und deren korrekte Antworten (den „Goldstandard“). Dann tauschten sie heimlich die richtige Antwort gegen eine falsche aus, die plausibel klang.

Original-Szenario:
- Frage: Wer gewann die F1-Meisterschaft 2024?
- Lösungsschlüssel (Gold): Max Verstappen.
- Antwort des Schülers: Max Verstappen.
- Urteil des KI-Richters: ✅ Korrekt. (Einfach so).
Das „vertauschte“ Szenario:
- Frage: Wer gewann die F1-Meisterschaft 2024?
- Lösungsschlüssel (Gold): Lando Norris. (Hinweis: In der Realität ist das falsch, aber die KI wird angewiesen, dies für diesen Test als die „Goldene Wahrheit“ zu akzeptieren).
- Antwort des Schülers: Lando Norris.
- Urteil des KI-Richters: ❌ Inkorrekt.

Warte, was? Der Schüler hat den Lösungsschlüssel perfekt getroffen! Aber die KI gab ihm eine ungenügende Note. Warum? Weil das interne Gedächtnis der KI (ihr „parametrisches Wissen“) schrie: „Nein! Max Verstappen hat gewonnen! Lando Norris hat nicht gewonnen!“ Die KI ignorierte die Anweisungen und den Lösungsschlüssel, weil sie ihrem eigenen Gedächtnis mehr vertraute.

Die Kernentdeckung: Das „Besserwisser“-Problem

Die Arbeit bezeichnet dies als ein „Knowledge-Driven Failure“ (ein wissensgesteuertes Versagen).

Stellen Sie sich den KI-Richter wie einen Besserwisser-Schüler vor, der sich weigert, eine Prüfung abzulegen, wenn der Lösungsschlüssel des Lehrers seinen Erinnerungen aus der Oberstufentzeit widerspricht. Selbst wenn der Lehrer sagt: „Für diese spezifische Prüfung ist die Antwort X“, beharrt der Schüler darauf: „Nein, ich weiß genau, dass es Y ist“, und bewertet die Arbeit basierend auf Y.

Die Forscher fanden heraus:

Es betrifft alle: Selbst die klügsten, leistungsfähigsten KI-Modelle (wie GPT-4o, GPT-5 und riesige Llama-Modelle) zeigen dieses Verhalten.
Es wird schlimmer mit der Popularität: Wenn die „falsche“ Antwort im Schlüssel eine berühmte Person oder Tatsache ist (wie „Elon Musk“ oder „Der Mond“), ist die KI wahrscheinlicher bereit, den Schlüssel zu ignorieren. Je berühmter die Tatsache, desto stärker ist der interne Glaube der KI und desto schwieriger ist es, diesen zu überschreiben.
Größer ist nicht besser: Das Modell größer zu machen (mehr „Gehirnkapazität“ hinzuzufügen), löste das Problem nicht. Tatsächlich waren größere Modelle manchmal sogar sturer, weil sie über mehr internes Wissen verfügten, auf das sie sich verlassen konnten.

Die „Zaubersprüche“ funktionierten nicht

Die Forscher versuchten, dies durch „Zaubersprüche“ (Prompts) zu beheben. Sie probierten aus:

Direkte Anweisungen: „Bitte ignoriere dein eigenes Wissen und schaue nur auf den Schlüssel!“
Lautes Denken (Chain-of-Thought): „Denke Schritt für Schritt, bevor du bewertest.“
Beispiele: Dem der KI Beispiele zeigen, wie man es macht.

Das Ergebnis: Keines davon funktionierte. Die KI bevorzugte immer noch ihr eigenes Gedächtnis gegenüber den bereitgestellten Anweisungen, wenn diese im Konflikt standen. Es ist wie wenn man einem störrischen Hund sagt: „Jag nicht dem Eichhörnchen nach, schau auf den Ball!“, während das Eichhörnchen direkt vor ihm ist. Der Instinkt des Hundes (parametrisches Wissen) überschreibt den Befehl.

Warum das wichtig ist

In der realen Welt nutzen wir diese KI-Richter, um alles zu bewerten – von Schultests bis hin zu medizinischen Ratschlägen. Wir gehen davon aus, dass sie fair sind und die Regeln befolgen.

Diese Arbeit zeigt einen kritischen Fehler auf: Wenn die „Regeln“ (die Referenzantwort) im Widerspruch zu dem stehen, was die KI „weiß“ (ihre Trainingsdaten), wird die KI die Regeln brechen.

Wenn ein Datensatz mit neuen Fakten aktualisiert wird (z. B. „Der Gewinner der Wahl 2025 ist Person B“), die KI aber immer noch „erinnert“, dass es Person A ist, wird die KI jede Antwort, die Person B nennt, ungerechtfertigt als falsch bewerten, selbst wenn Person B die korrekte Antwort gemäß den neuen Daten ist.

Das Fazbeurteil (Bottom Line)

Die Arbeit kommt zu dem Schluss, dass wir KI-Richtern derzeit nicht zutrauen können, einem Lösungsschlüssel strikt zu folgen, wenn dieser mit dem internen Gedächtnis der KI kollidiert. Es handelt sich nicht um einen Bug im Code; es ist eine fundamentale Gewohnheit der Art und Weise, wie diese Modelle denken. Sie sind so überzeugt von ihrem eigenen „Wissen“, dass es ihnen schwerfällt, als neutraler Schiedsrichter zu fungieren, wenn sich die Fakten ändern.

Kurz gesagt: Der KI-Richter ist ein brillanter Bibliothekar, der sich weigert, den Katalog der Bibliothek zu benutzen, wenn dieser nicht mit dem übereinstimmt, was er im Internet gelesen hat. Bis wir das beheben, können wir ihnen nicht voll vertrauen, Antworten basierend auf einer spezifisch bereitgestellten Referenz zu bewerten.

Technisches Resümee: Beurteilung gegen die Referenz

Problemstellung

Die Arbeit befasst sich mit einem kritischen, untererforschten Ausfallmodus im „LLM-as-a-judge“-Paradigma für die Bewertung von Fragen und Antworten (Question Answering, QA). Während Large Language Models (LLMs) zunehmend eingesetzt werden, um Kandidatenantworten automatisch gegen eine bereitgestellte Referenzantwort (Gold Standard) zu bewerten, ist ihr Vermögen, diese Referenz strikt einzuhalten, wenn sie mit dem internen parametrischen Wissen des Modells kollidiert, unzureichend verstanden. Die Autoren identifizieren, dass LLMs die bereitgestellte Referenz oft ignorieren, wenn eine vorhandene Referenzantwort absichtlich durch eine falsche Entität ersetzt wird, die den internen Überzeugungen des Judges widerspricht. Anstatt die Kandidatenantwort basierend auf der gegebenen Instruktion und der Referenz zu bewerten, greift der Judge auf sein eigenes parametrisches Wissen zurück, was zu unzuverlässigen Bewertungen und einer verminderten Evaluierungsgenauigkeit führt. Dieses Problem ist besonders relevant, da sich faktisches Wissen weiterentwickelt und Datensätze absichtlich kontrafaktische Ziele kodieren können, die von den Trainingsdaten eines Modells abweichen.

Methodik

Um dieses Phänomen systematisch zu untersuchen, führen die Autoren ein Swapped-Reference QA Evaluation Framework ein. Dieses Framework konstruiert kontrollierte Evaluierungsinstanzen, um Konflikte zwischen der bereitgestellten Referenz und dem internen Wissen des Judges zu induzieren.

Datensatzkonstruktion: Die Autoren kuratierten vier bestehende QA-Datensätze (NaturalQuestions-Open, PopQA, SciQ und FreshQA). Sie wandten Named Entity Recognition (NER) an, um Entitäten in den Referenzantworten zu identifizieren, und führten anschließend ein Reference Swapping unter Verwendung mehrerer Strategien durch:
- Random Swap (RS): Ersetzen der ursprünglichen Referenz durch eine andere Entität desselben Typs aus dem Datensatz (z. B. das Ersetzen einer Person durch eine andere).
- Plausible Swap (PS): Ersetzen der Referenz durch eine plausible, aber falsche Antwort, die von einem starken Modell (GPT-5) generiert wurde.
- Popularity-High/Low Swap: Ersetzen der Referenzen durch Entitäten mit variierender Wikipedia-Seitenaufruf-Popularität, um den Effekt der Wissensstärke zu testen.
- Evaluator-Knowledge Swap: Ersetzen der Referenz durch die spezifische Antwort, die das Judge-Modell selbst generieren würde, wodurch ein Szenario geschaffen wird, in dem die getauschte Referenz perfekt mit der internen Überzeugung des Judges übereinstimmt.
Kandidatengenerierung: Für jede getauschte Referenz generiert das Framework entsprechende ausführliche Kandidatenantworten, die mit der getauschten Referenz übereinstimmen, sowie Kandidaten, die mit der ursprünglichen Referenz übereinstimmen.
Meta-Evaluation: Die Studie evaluiert 13 verschiedene LLM-Judges (darunter GPT-4o, GPT-5, Llama-3 und Qwen-3 Familien) über diese Datensätze hinweg. Die Kernmetrik ist die Reference-Polarity Accuracy Gap (RPAG), definiert als die Differenz in der Genauigkeit zwischen der ursprünglichen Referenz-Einstellung ( $ACC_o$ ) und der getauschten Referenz-Einstellung ( $ACC_s$ ). Ein hoher RPAG deutet darauf hin, dass die Leistung des Judges signifikant sinkt, wenn die Referenz getauscht wird, was ein Versagen bei der Konditionierung auf den bereitgestellten Text offenbart.
Mitigationsanalyse: Die Autoren testeten, ob gängige Prompting-Strategien – Direkte Instruktionen, In-Context Learning (ICL), Chain-of-Thought (CoT) und CoT mit Self-Consistency – diese Schwachstelle mildern könnten.

Kernergebnisse

Weit verbreitete Vulnerabilität: Über alle 13 Judge-Modelle und vier Datensätze hinweg verursachte das Tauschen der Referenzantwort einen scharfen Abfall der Bewertungszuverlässigkeit. Selbst starke Modelle wie GPT-4o und GPT-5 zeigten eine signifikante Degradierung der Genauigkeit (z. B. Rückgänge von 30–50 % in Random-Swap-Szenarien).
Übermäßige Abhängigkeit von parametrischem Wissen: Der Ausfall wird durch die übermäßige Abhängigkeit des Judges von seinen internen Überzeugungen getrieben. Wenn die getauschte Referenz mit dem parametrischen Wissen des Judges übereinstimmt (Evaluator-Knowledge Swap), verschwindet die Vulnerabilität (RPAG nähert sich Null). Wenn die getauschte Referenz hingegen im Konflikt mit starken internen Überzeugungen steht, ignoriert der Judge die bereitgestellte Referenz.
Wissensstärke und Popularität: Die Vulnerabilität korreliert mit der Stärke des konfliktierenden Wissens. Swaps, die mit hochpopulären Entitäten (starke Priors) einhergehen, verursachen größere Genauigkeitsabfälle als Swaps mit obskuren Entitäten. Ebenso zeigen Fragen, die stabile, lang bestehende Fakten betreffen, eine höhere Vulnerabilität als solche, die sich auf schnell wechselndes oder zeitsensibles Wissen beziehen.
Skalierung hilft nicht: Die Erhöhung der Modellkapazität (z. B. der Wechsel von 8B zu 70B Parametern) mildert das Problem nicht; in einigen Fällen zeigten größere Modelle eine größere Vulnerabilität, was darauf hindeutet, dass eine gesteigerte Kapazität die Abhängigkeit vom internen Weltwissen eher stärkt als die Adhärenz an externe Instruktionen zu verbessern.
Limitierungen des Promptings: Gängige Mitigationsstrategien, einschließlich detaillierter Instruktionen und Chain-of-Thought-Prompting, konnten das Problem nicht lösen. Bemerkenswerterweise verstärkte CoT-Prompting unter Hochkonflikt-Bedingungen (Random Swap) teilweise die Vulnerabilität, da der Denkprozess die Tendenz des Modells zu verstärken schien, seine eigenen parametrischen Überzeugungen zu nutzen, um die bereitgestellte Referenz zu überschreiben.

Bedeutung und Beiträge

Die Arbeit leistet drei primäre Beiträge:

Identifizierung eines kritischen Ausfallmodus: Sie deckt auf, dass LLM-Judges häufig die Evaluierungsinstruktionen ignorieren, wenn die Referenzantwort im Widerspruch zu ihrem parametrischen Wissen steht – eine fundamentale Einschränkung in der referenzkonditionierten Evaluierung.
Systematisches Framework: Sie führt ein kontrolliertes Swapped-Reference QA Evaluation Framework ein, das eine feingliedrige Analyse der Adhärenz von Judges über Datensätze, Swap-Typen und Wissens-Alignments hinweg ermöglicht.
Diagnostische Erkenntnisse: Sie identifiziert, dass die Ursache in der Unfähigkeit liegt, Wissenskonflikte zugunsten der bereitgestellten Referenz zu lösen, und dass Standard-Prompting-Techniken nur begrenzte Hilfe bieten.

Die Autoren kommen zu dem Schluss, dass diese Ergebnisse ein grundlegendes Risiko im „LLM-as-a-judge“-Paradigma verdeutlichen. Die Unfähigkeit, bereitgestellte Referenzen zuverlässig zu befolgen, wenn diese mit internem Wissen kollidieren, deutet darauf hin, dass aktuelle Evaluierungsprotokolle problematisch sein können, wenn sie auf Aufgaben angewendet werden, die sich entwickelnde Fakten oder kontrafaktische Szenarien betreffen. Die Arbeit motiviert die Entwicklung neuer Protokolle und Trainingsmethoden, die eine stärkere Adhärenz an bereitgestellte Referenzen erzwingen können, anstatt sich auf die internen Priors des Modells zu verlassen.

Hinweis: Die Arbeit stellt explizit fest, dass sie keine konkrete Mitigationsstrategie vorschlägt, sondern sich auf die Diagnose des Ausfallmodus konzentriert. Zudem beschränkt sie ihren Umfang auf die QA-Evaluierung und merkt an, dass die Ergebnisse ohne weitere Untersuchung nicht direkt auf andere referenzkonditionierte Aufgaben wie Zusammenfassungen oder Dialogbewertungen verallgemeinerbar sind.