Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge

Dieses Paper führt Judge-LS ein, ein Meta-Evaluationsprotokoll, das zeigt, dass LLM-as-a-Judge-Systeme zwar eine erhebliche Präferenzinstabilität und Genauigkeitsverluste bei der Bewertung von chinesischen oder sprachwechselnden Inhalten im Vergleich zu englischen Inhalten aufweisen, sie jedoch nicht systematisch Englisch gegenüber übersetzungsgleichen chinesischen Antworten bevorzugen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten, automatisierten Schiedsrichter (eine KI), dessen Aufgabe es ist, zwei Personen beim Beantworten einer Frage zuzusehen und zu entscheiden, wer die bessere Arbeit geleistet hat. Genau so werden viele moderne KI-Systeme heute getestet: Eine KI fungiert als Richter für andere KIs.

Dieses Paper stellt eine einfache, aber knifflige Frage: Kümmert sich dieser Schiedsrichter um die Sprache, in der die Antworten gegeben werden, oder interessiert ihn nur die Qualität der Antworten?

Denken Sie an einen Kochwettbewerb. Wenn zwei Köche exakt dieselbe köstliche Suppe zubereiten, aber einer der Köche sie in einem schicken französischen Restaurant präsentiert und der andere in einem einfachen Imbisslokal, bewertet der Richter die französische Präsentation dann höher, nur weil sie „vornehmer“ klingt? Oder schmeckt der Richter die Suppe und erkennt, dass sie identisch ist?

Das Experiment: Der „Sprachtranslator“-Test

Die Forscher nahmen einen Standard-Satz von 419 Fragen und Antworten (ein Benchmark namens LLMBar) und ließen sie durch vier verschiedene KI-Richter laufen. Dies taten sie in drei verschiedenen „Kostümen“:

1. Englisch: Die Originalversion.
2. Chinesisch: Dieselben Fragen und Antworten, perfekt ins Chinesische übersetzt.
3. Code-Switching: Eine Mischung aus Englisch und Chinesisch (wie zum Beispiel: „Please send the email to the manager“, wobei Sprachen natürlich gemischt werden).

Sie führten auch einen speziellen „Tie-Breaker“-Test (Entscheidungs-Test) durch. Sie nahmen eine perfekte englische Antwort und deren perfekte chinesische Übersetzung und baten den Richter, diese zu vergleichen. Da der Inhalt identisch ist, sollte der Richter sagen: „Es ist ein Unentschieden!“

Was sie herausfanden

Die Ergebnisse waren etwas überraschend und zeigten, dass die Schiedsrichter nicht so neutral sind, wie wir es hoffen würden.

• Der „Englischer Akzent“-Bias: Jeder einzelne Richter performte am besten, wenn die Antworten auf Englisch gegeben wurden. Wenn die Antworten auf Chinesisch oder in einer Mischsprache waren, machten die Richter mehr Fehler. Es ist, als ob der Schiedsrichter ein wenig verwirrt oder weniger scharfsinning wird, wenn die Teilnehmer in einem anderen Dialekt sprechen, selbst wenn die Logik dieselbe ist.
• Das „Flip-Flop“-Problem: In etwa 11 % bis 14 % der Fälle änderte der Richter seine Meinung, nur weil sich die Sprache änderte.
  • Analogie: Stellen Sie sich vor, Richter A sagt: „Koch 1 gewinnt!“, wenn die Speisekarte auf Englisch ist. Aber wenn man ihm dieselbe Speisekarte auf Chinesisch überreicht, sagt Richter A plötzlich: „Eigentlich gewinnt Koch 2!“, obwohl das Essen gar nicht verändert wurde. Dies wird als „Preference Flip“ (Präferenzumkehr) bezeichnet.
• Es ist nicht nur „Englisch ist besser“: Man könnte denken, die Richter lieben einfach Englisch und hassen alles andere. Aber der „Tie-Breaker“-Test zeigte etwas Komplexeres. Wenn die Richter tatsächlich einen Gewinner zwischen einer englischen Antwort und ihrer chinesischen Übersetzung wählten, entschieden sie sich tatsächlich häufiger für Chinesisch als für Englisch!
  • Das Fazit: Das Problem ist nicht, dass die Richter blind Englisch bevorzugen. Das Problem ist, dass sie instabil sind. Sie lassen sich leicht davon beeinflussen, wie die Informationen präsentiert werden – sei es die Sprache, die Reihenfolge der Antworten oder eine Mischung aus beidem.

Warum das wichtig ist

Wenn Sie ein KI-System bauen, das Menschen in China helfen soll oder gemischte Sprachgespräche verarbeiten muss, können Sie einem auf Englisch trainierten Richter nicht einfach vertrauen, um fair zu sein.

• Der „brüchige“ Richter: Ein guter Richter sollte wie eine solide Waage sein. Wenn man das gleiche Gewicht darauf legt, sollte sie die gleiche Anzeige liefern, egal ob man das Gewicht in Kilogramm oder Pfund beschreibt. Diese KI-Richter sind eher wie eine wackelige Waage; die Anzeige ändert sich, je nachdem, wie man sie hält.
• Die Kosten der Verwirrung: Da die Richter ihre Entscheidungen so oft ändern (etwa in 1 von 10 Fällen), könnten sie versehentlich eine schlechtere KI als die Gewinnerin einstufen, nur weil der Test in einer anderen Sprache verfasst wurde.

Der vorgeschlagene Lösungsansatz

Die Autoren schlagen einen neuen, leichtgewichtigen „Gesundheitscheck“ namens Judge-LS vor. Bevor Sie einem KI-Richter vertrauen, Modelle in einer multilingualen Welt zu bewerten, sollten Sie diesen einfachen Test durchführen:

1. Übersetzen Sie den Test in die Zielsprache.
2. Lassen Sie den Richter erneut laufen.
3. Prüfen Sie, ob der Richter seine Meinung ändert.

Wenn der Richter seine Meinung zu oft ändert, ist er nicht bereit für den Job. Es ist, als würde man einen Schiedsrichter einstellen, der durch einen anderen Akzent verwirrt wird; man braucht einen Schiedsrichter, der das Spiel bewertet, nicht die Sprache.

Kurz gesagt: Das Paper beweist, dass KI-Richter derzeit empfindlich auf Sprachänderungen reagieren. Sie sind nicht einfach nur „Englisch-Liebhaber“, sondern „instabile Beobachter“, die auf ihre Konsistenz getestet werden müssen, bevor wir ihnen zutrauen können, zu entscheiden, welche KI die beste ist.

Technische Zusammenfassung

Technisches Resümee: Bevorzugt der Richter Englisch? Evaluierung der Sprachwechsel-Invarianz bei LLM-as-a-Judge

1. Problemstellung

Die weit verbreitete Nutzung von Large Language Models (LLMs) als automatisierte Richter für die Bewertung von offenem Instruktionsfolgen-Verhalten führt zu einer kritischen Zuverlässigkeitsfrage: Bewertet ein Richter die semantische Qualität einer Antwort, oder reagiert seine Präferenz auf die Sprache, in der der Vergleich präsentiert wird?

Obwohl LLM-as-a-Judge eine Skalierbarkeit und semantische Wahrnehmung bietet, die über referenzbasierte Metriken hinausgeht, erbt es die Biases generativer Modelle. Vorangegangene Arbeiten haben Positions-Bias, Verbositäts-Bias und Prompt-Sensitivität dokumentiert. Diese Arbeit isoliert einen spezifischen Ausfallmodus der Zuverlässigkeit: Sprachwechsel-Invarianz (Language-Switching Invariance). Konkret wird untersucht, ob ein Richter seine Präferenz beibehält, wenn ein paarweiser Vergleich in Englisch, Chinesisch oder einer chinesisch-englischen Sprachwechsel-Variante präsentiert wird, unter der Annahme, dass die zugrunde liegende Qualitätsrelation (das „Gold-Label“) unverändert bleibt.

2. Methodik: Das Judge-LS Protokoll

Die Autoren schlagen Judge-LS vor, ein leichtgewichtiges, trainingsfreies Meta-Evaluationsprotokoll, das darauf ausgelegt ist, die Sprachwechsel-Invarianz ausschließlich mittels API-Aufrufen zu testen.

2.1 Basiselemente und Transformation

• Datensatz: Die Studie nutzt den vollständigen LLMBar Benchmark, bestehend aus 419 paarweisen Items (ein natürlicher Subset und vier adversarielle Subsets) mit objektiven Gold-Labels, die angeben, welche Antwort den Instruktionen besser folgt.
• Sprachvarianten: Für jedes Item werden drei Versionen generiert:
  1. EN: Die ursprüngliche englische Version.
  2. ZH: Eine natürliche vereinfachte chinesische Übersetzung der Instruktion und beider Kandidaten-Outputs.
  3. LS: Eine natürliche chinesisch-englische Sprachwechsel-Variante, die englische Fachbegriffe, Eigennamen und technische Begriffe dort beibehält, wo dies angemessen ist.
• Transformationsmodell: gpt-4.1-mini wird für die Übersetzung verwendet. Der Prompt weist das Modell explizit an, alle faktischen, mathematischen, Formatierungs- und Instruktionsfolge-Fehler beizubehalten, um sicherzustellen, dass die Gültigkeit des Gold-Labels nicht durch „stille Reparaturen“ kompromittiert wird.
• Audit: Ein automatisches Audit überprüft die Vollständigkeit der Felder und markiert Hochrisiko-Varianten (z. B. starke Längenverkürzung, numerische Token-Abweichungen). 19 Items (4,5 %) wurden markiert; eine Sensitivitätsanalyse schließt diese aus.

2.2 Experimentelles Design

• Richter: Vier API-zugängliche Modelle wurden evaluiert:
  • GPT-4.1 Mini
  • Claude Haiku 4.5
  • Gemini 2.5 Flash
  • DeepSeek V4 Flash
• Urteilsbildung: Jedes Item wird unter allen drei Sprachbedingungen evaluiert. Für jede Bedingung erhält der Richter beide ursprünglichen und vertauschten Antwortordnungen (A vs. B). Zusätzlich werden translationsäquivalente Tie-Probes erstellt, indem die englische Gold-Antwort gegen ihre chinesische Übersetzung verglichen wird, um die Sprachpräferenz in „Tie“-Szenarien zu testen.
• Gesamtvolumen: Das Experiment generierte 13.408 erfolgreiche, eindeutige paarweise Urteile.

2.3 Metriken

Die Studie berichtet über mehrere diagnostische Metriken über die einfache Genauigkeit hinaus:

• Strict und Tie-Half Accuracy: Misst die Übereinstimmung mit den Gold-Labels, wobei letztere eine Teilgutschrift für „Tie“-Vorhersagen gewähren.
• Language-Invariance Flip Rate: Der Prozentsatz der Urteile, bei denen sich die Präferenz allein aufgrund der Sprachtransformation (EN vs. ZH/LS) ändert.
• Gold-Correctness Flip Rate: Der Prozentsatz der Fälle, in denen ein korrektes Urteil nach der Übersetzung inkorrekt (oder umgekehrt) wird.
• Position Inconsistency: Die Rate, mit der sich der Gewinner ändert, wenn die Antwortreihenfolge vertauscht wird.
• Tie-Probe Language Preference: Die Verteilung der Siege zwischen Englisch und Chinesisch in translationsäquivalenten Tie-Probes.
• Statistische Rigorosität: Die Arbeit verwendet Wilson-95%-Konfidenzintervalle und exakte zweiseitige McNemar-/Binomialtests für Paarvergleiche.

3. Kernergebnisse

3.1 Genauigkeit und Stabilität

• Englische Überlegenheit: Alle vier Richter erreichten ihre höchste Genauigkeit in Englisch. Beispielsweise sank die Tie-Half-Genauigkeit von DeepSeek von 90,5 % (EN) auf 87,8 % (ZH) und 88,9 % (LS).
• Signifikante Flip-Raten: Sprachtransformationen induzierten Präferenz-Flips in 10,7 % bis 14,4 % der Fälle im Vergleich zu Englisch.
  • GPT-4.1 Mini und Claude Haiku waren am empfindlichsten gegenüber chinesischen Übersetzungen (14,4 % bzw. 14,2 % Flip-Rate).
  • DeepSeek und Gemini zeigten niedrigere, aber dennoch substanzielle Flip-Raten (~11,1 %).
• Auswirkung auf die Korrektheit: Die Gold-Correctness Flip-Raten spiegelten die Präferenz-Flip-Raten eng wider, was darauf hindeutet, dass es sich nicht um harmlose Wechsel zwischen einer korrekten Antwort und einem Unentschieden handelt, sondern um tatsächliche Änderungen in der Ausrichtung des Richters an der objektiven Wahrheit. Paarweise Signifikanztests lehnten die Symmetrie für alle Modell-Sprach-Vergleiche ab ($p \le 0,011$).

3.2 Sprachpräferenz vs. Instabilität

• Kein systematischer English-Bias bei Ties: Entgegen der Hypothese, dass Richter inhärent Englisch bevorzugen, wurden translationsäquivalente Tie-Probes in der überwiegenden Mehrheit der Fälle als „Tie“ bewertet (z. B. DeepSeek: 97,5 %, GPT-4.1 Mini: 95,6 %).
• Chinesische Präferenz bei Nicht-Ties: Wenn die Richter kein Unentschieden feststellten, favorisierten sie häufiger die chinesische Version gegenüber der englischen Version. Dies deutet darauf hin, dass das Problem nicht ein einfacher „English-first“-Prior ist, sondern vielmehr eine Instabilität darin, wie Richter unterschiedliche linguistische Präsentationen verarbeiten.

3.3 Interaktion mit dem Positions-Bias

• Sprachwechsel verstärkt die Positionssensitivität: Die Positionsinkonsistenz (Änderung des Gewinners bei Vertauschung der Reihenfolge) nahm in den Sprachwechsel-Bedingungen (LS) signifikant zu.
  • Die durchschnittliche Positionsinkonsistenz stieg über alle Modelle hinweg von 12,1 % (EN) auf 18,1 % (LS).
  • Gemini Flash zeigte die größte Steigerung, von 10,3 % (EN) auf 22,2 % (LS).
• Adversarielle Schwierigkeit: Adversarielle Subsets (z. B. Adv-GPTOut) wiesen eine geringere Genauigkeit und höhere Flip-Raten auf, was darauf hindeutet, dass Sprachtransformationen eine zusätzliche Ebene der Komplexität für bereits herausfordernde Reasoning-Aufgaben hinzufügen.

4. Beiträge

1. Judge-LS Protokoll: Einführung eines einfachen, ressourcenschonenden Protokolls zur Testung der Sprachwechsel-Invarianz in der LLM-as-a-Judge-Evaluierung ohne Modelltraining.
2. Umfassendes Benchmarking: Transformation des vollständigen 419-Item LLMBar Benchmarks in englische, chinesische und sprachwechselnde Varianten unter Beibehaltung der Gold-Labels.
3. Groß angelegte Evaluierung: Evaluierung von vier diversen API-Richtern über 13.408 Urteile hinweg, einschließlich Antwortreihenfolge-Vertauschungen und translationsäquivalenter Tie-Probes.
4. Diagnostischer Rahmen: Berichterstattung über einen multidimensionalen Satz von Metriken, einschließlich Flip-Raten, Positionsinkonsistenz, Unsicherheitsschätzungen und Sensitivitätsanalysen, die mechanisch riskante Varianten ausschließen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass das zentrale Risiko in der multilingualen LLM-Evaluierung nicht notwendigerweise darin besteht, dass Richter „Englisch bevorzugen“, sondern dass sie sensibel gegenüber der sprachlichen Präsentation sind, was die Korrektheit beeinflusst und mit dem Positions-Bias interagiert.

• Implikation für die Zuverlässigkeit: Eine Flip-Rate von 10–14 % ist groß genug, um Modell-Rankings zu verändern, wenn Systeme enge Punktabstände aufweisen. Wenn ein Leaderboard einen englischen Richter-Prompt verwendet, um chinesische oder sprachwechselnde Antworten zu bewerten, spiegelt die berichtete Leistung möglicherweise die Kombination aus Antwortqualität und der Sprachsensitivität des Richters wider.
• Design-Prinzip: Evaluations-Pipelines sollten als zu testende Systeme betrachtet werden. Ein robuster Richter muss Kernpräferenzen unter label-erhaltenden Oberflächen-Transformationen beibehalten, ähnlich wie robuste Klassifikatoren irrelevante Input-Perturbationen handhaben müssen.
• Praktischer Workflow: Die Autoren empfehlen einen fünfstufigen Workflow für die multilinguale Evaluierung: (1) Baseline-Englisch-Evaluierung mit Reihenfolge-Vertauschungen, (2) Transformation in Zielsprachen, (3) Audit und Sensitivitätsanalyse, (4) Berechnung der Invarianz-Flips mit Konfidenzintervallen und (5) Tie-Probes, um Bias von Instabilität zu unterscheiden.

Die Studie kommt zu dem Schluss, dass aktuelle LLM-Richter noch nicht invariant gegenüber der Sprachpräsentation sind und dass die Nutzung einer einzigen Sprachbedingung für die multilinguale Modellauswahl eine fragile Praxis ist.