LLM Evaluators are Biased across Languages
Diese Arbeit zeigt, dass mehrsprachige LLM-Evaluatoren eine konsistente, statistisch signifikante Verzerrung aufweisen, bei der ressourcenarme Sprachen höhere Bewertungen erhalten und Sicherheitsfilter leichter passieren als ressourcenreiche Sprachen, ein kritischer Fehler, der trotz der hohen Übereinstimmung der Evaluatoren bei relativen Rangfolgen durch Standardmetriken der paarweisen Genauigkeit unentdeckt bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der jedes Mal, wenn Sie einem superintelligenten Roboter eine Frage stellen, er Ihnen in Ihrer eigenen Sprache antwortet. Diese Roboter, sogenannte Large Language Models (LLMs), sind wie digitale Enzyklopädien, die Geschichten schreiben, mathematische Probleme lösen und über alles Mögliche chatten können. Aber woher wissen wir, ob sie eine gute Arbeit leisten? Wir brauchen einen Schiedsrichter. In der Welt der KI werden diese Schiedsrichter als „Evaluatoren“ bezeichnet. Es handelt sich entweder um andere Roboter, die darauf trainiert wurden, Noten zu vergeben, oder um menschenähnliche Prompts, die die KI dazu auffordern, sich selbst zu bewerten. Normalerweise prüfen wir, ob diese Schiedsrichter fair sind, indem wir sehen, ob sie in der Lage sind, zwischen zwei Optionen die „bessere“ Antwort korrekt auszuwählen – so wie ein Richter, der entscheidet, welches von zwei Gemälden schöner ist. Dies wird als „Paarvergleichsgenauigkeit“ (pairwise accuracy) bezeichnet. Wenn der Schiedsrichter in 90 % der Fälle den richtigen Gewinner wählt, gehen wir davon aus, dass er eine großartige Arbeit leistet und seine Bewertung unabhängig von der gesprochenen Sprache fair ist.
Es gibt jedoch ein verborgenes Problem mit dieser Annahme. Nur weil ein Schiedsrichter sagen kann, welches von zwei Gemälden besser ist, bedeutet das nicht, dass er sie mit demselben Lineal misst. In der realen Welt könnte ein 4-Sterne-Restaurant in Tokio als kulinisches Meisterwerk gelten, während ein 4-Sterne-Restaurant in New York vielleicht nur als „okay“ angesehen wird. Die Sterne bedeuten je nach Ort etwas anderes. Dieses Paper mit dem Titel „LLM Evaluators are Biased across Languages“ untersucht, ob unsere KI-Schiedsrichter unter derselben kulturellen Verwirrung leiden. Die Forscher wollten wissen: Wenn eine KI eine perfekte Antwort auf Englisch gibt, vergibt sie dann dieselbe exakte Punktzahl, wenn die Antwort in Hindi, Farsi oder Ukrainisch übersetzt wird? Oder verändert die Sprache selbst die Punktzahl, selbst wenn die Bedeutung exakt dieselbe bleibt?
Das Team stellte ein massives Experiment auf, um dies herauszufinden. Sie nahmen exakt dieselben Anweisungen und Antworten und übersetzten sie in 23 verschiedene Sprachen, die von weit verbreiteten wie Englisch und Spanisch bis hin zu anderen wie Hebräisch und Hindi reichten. Dann baten sie acht verschiedene Arten von KI-Evaluatoren – einige, die lediglich dazu aufgefordert werden, eine Punktzahl zu vergeben, und andere, die speziell darauf trainiert wurden, eine „Belohnungszahl“ (reward number) zu vergeben – diese identischen Antworten zu bewerten.
Die Ergebnisse waren ein Schock. Die Evaluatoren benutzten nicht dasselbe Lineal. Obwohl der Inhalt semantisch identisch war (das heißt, er bedeutete exakt dasselbe), schwankten die Punktzahlen je nach Sprache massiv. Der Bias war enorm: Auf einer Skala von 1 bis 5 betrug der Unterschied zwischen den am höchsten bewerteten und den am niedrigsten bewerteten Sprachen etwa 0,5 Punkte. Das ist eine gewaltige Lücke in der Welt der Benotung.
Hier liegt die Wendung, die die Sache so schwierig macht: Die Evaluatoren sahen auf dem Papier immer noch perfekt aus. Als die Forscher die „Paarvergleichsgenauigkeit“ überprüften (ob der Schiedsrichter die bessere Antwort wählte), waren die Werte unglaublich hoch, oft über 90 %. Die Schiedsrichter waren konsistent gut darin zu sagen: „Antwort A ist besser als Antwort B.“ Aber sie waren schlecht darin, konsistent zu bewerten, wie gut Antwort A tatsächlich war. Es ist wie ein Richter, der zwar immer korrekt den Sieger eines Rennens bestimmt, dem Sieger aber 100 Punkte gibt, wenn er auf Französisch läuft, und nur 50 Punkte, wenn er auf Deutsch läuft.
Das Paper entdeckte ein klares Muster: Die Evaluatoren waren überraschend großzügig gegenüber ressourcenarmen Sprachen (Sprachen mit weniger verfügbaren Daten im Internet, wie Hindi oder Hebräisch) und strenger gegenüber ressourcenreichen Sprachen wie Englisch. Es ist, als ob die KI-Richter denken: „Ich bin mir nicht zu 100 % sicher, wie eine perfekte Antwort in dieser Sprache aussieht, also gebe ich ihr einfach eine hohe Punktzahl, um auf Nummer sicher zu gehen.“ Im Gegensatz dazu fühlten sie sich bei Englisch sehr sicher und streng und legten die Antworten an einen höheren Standard an.
Dies ist nicht nur ein Zahlenspiel; es hat reale Konsequenzen. Viele KI-Systeme nutzen einen „globalen Schwellenwert“ (global threshold), um zu entscheiden, was sicher für Nutzer angezeigt werden darf. Wenn beispielsweise ein Sicherheitsfilter so eingestellt ist, dass er alles mit einer Punktzahl unter einem bestimmten Wert blockiert, bedeutet der Bias, dass schädliche Inhalte in ressourcenarmen Sprachen viel wahrscheinlicher durch das Raster fallen. Das Paper fand heraus, dass unter einer einzigen globalen Regel die Akzeptanzrate für Inhalte zwischen den Sprachen um bis zu 43 Prozentpunkte variieren konnte. In einem spezifischen Beispiel wurde eine schädliche Frage auf Englisch korrekt blockiert, aber exakt dieselbe Frage auf Ukrainisch wurde zugelassen, weil der Evaluator ihr eine höhere Punktzahl gab.
Die Forscher untersuchten auch, warum dies geschieht. Sie vermuteten, dass es daran liegen könnte, dass die KI bei ressourcenarmen Sprachen weniger sicher ist. Sie fanden heraus, dass die KI tendenziell höhere Punktzahlen vergab, wenn sie weniger sicher war (gemessen an der „Überraschung“, die sie durch den Text empfand). Sie bewiesen jedoch, dass die Unsicherheit nicht die ganze Geschichte war. Selbst nachdem sie die Verwirrung der KI berücksichtigt hatten, sagte die Sprache selbst immer noch die Punktzahl voraus. Das bedeutet, dass der Bias ein tiefes, strukturelles Problem in der Art und Weise ist, wie diese Modelle gebaut werden, und nicht nur ein einfacher Fall von „Ich kenne diese Sprache nicht gut“.
Das Paper kommt zu dem Schluss, dass wir den Rohpunktzahlen dieser KI-Evaluatoren über verschiedene Sprachen hinweg nicht einfach vertrauen können. Wir können zwar einige der Probleme beheben, indem wir die Punktzahlen für jede Sprache anpassen, aber dies schafft eine neue Schwachstelle: Wenn jemand in einem einzigen Prompt Sprachen mischt (Code-Switching), könnte das System verwirrt darüber werden, welche Sprachregel anzuwenden ist, und schädliche Inhalte durchlassen. Die Autoren schlagen vor, dass wir, anstatt nur zu prüfen, ob Evaluatoren den „Gewinner“ auswählen können, Systeme entwickeln müssen, die darauf kalibriert sind, über alle Sprachen hinweg fair und konsistent zu sein – um sicherzustellen, dass eine 5-Sterne-Antwort in Hindi tatsächlich genauso wertvoll ist wie eine 5-Sterne-Antwort in Englisch.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.