💬 NLP

Language Bias under Conflicting Information in Multilingual LLMs

Die Studie zeigt, dass mehrsprachige Large Language Models bei widersprüchlichen Informationen in fünf Sprachen systematisch eine Antwort bevorzugen und dabei eine konsistente Sprachverzerrung aufweisen, die sich gegen Russisch und bei langen Kontexten zugunsten von Chinesisch äußert.

Ursprüngliche Autoren: Robert Östling, Murathan Kurfalı

Veröffentlicht 2026-04-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Robert Östling, Murathan Kurfalı

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🕵️‍♂️ Die große Lügen-Entlarvung: Wenn KI auf widersprüchliche Informationen trifft

Stell dir vor, du hast einen riesigen Haufen Zeitungen (den sogenannten „Heuhaufen"). In diesem Haufen sind zwei kleine Zettel versteckt (die „Nadeln"). Auf dem einen Zettel steht: „Der Sänger der Band X ist Herr Müller." Auf dem anderen Zettel steht: „Der Sänger der Band X ist Herr Schmidt." Beide Zettel liegen irgendwo in den Zeitungen, aber sie sagen das genaue Gegenteil.

Die Forscher haben sich gefragt: Was passiert, wenn ein KI-Modell (ein großes Sprachmodell) diesen Haufen liest und gefragt wird: „Wer ist der Sänger?"

Die Studie von Robert Östling und Murathan Kurfalı untersucht genau das, aber mit einem besonderen Twist: Die Zeitungen sind nicht alle auf Deutsch, sondern auf fünf verschiedenen Sprachen (Englisch, Chinesisch, Deutsch, Russisch, Türkisch).

Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

1. Die KI ist wie ein sturer Schüler, der nicht „Zwei" sagen will 🙅‍♂️

Das erste und vielleicht schockierendste Ergebnis ist: Die KI merkt den Streit gar nicht.
Wenn sie die widersprüchlichen Zettel findet, sagt sie nicht: „Hmm, da steht etwas Unterschiedliches." Stattdessen wählt sie einfach einen der beiden Namen aus und behauptet mit absoluter Sicherheit: „Es ist Herr Müller!" (oder Herr Schmidt).

Die Analogie: Stell dir vor, du fragst einen Wegweiser an einer Kreuzung, wo zwei Schilder in entgegengesetzte Richtungen zeigen. Der Wegweiser ignoriert das eine Schild komplett und zeigt stur auf das andere, als wäre das die einzige Wahrheit auf der Welt. Das passiert fast immer, egal wie groß der Zeitungsstapel ist.

2. Die Sprache ist der „unsichtbare Richter" ⚖️

Aber welche der beiden Lügen wählt die KI aus? Hier kommt die Sprache ins Spiel. Die Forscher haben herausgefunden, dass die KI eine Sprach-Bias (eine Voreingenommenheit) hat. Sie bevorzugt bestimmte Sprachen, wenn sie sich entscheiden muss.

Der „Russische Fluch": Egal welches KI-Modell man nimmt (ob aus den USA, Frankreich oder China), Informationen auf Russisch werden fast immer ignoriert. Wenn der „falsche" Name auf Russisch steht und der „richtige" auf Englisch, wählt die KI fast immer den Englischen. Es ist, als würde die KI Russisch automatisch als „unwichtiges Rauschen" abtun.
Der „Chinesische Bonus": Bei sehr langen Texten (dem riesigen Heuhaufen) neigen die KIs dazu, Informationen auf Chinesisch zu bevorzugen. Wenn der Name auf Chinesisch steht, hat er eine höhere Chance, ausgewählt zu werden als auf Englisch oder Deutsch.

3. Es ist egal, wo die KI geboren wurde 🌍

Man könnte denken: „Na klar, eine KI aus China mag Chinesisch lieber, und eine aus den USA mag Englisch."
Aber die Studie zeigt etwas Überraschendes: Das Muster ist fast überall gleich.

Sowohl KIs aus dem Westen (USA, Europa) als auch KIs aus dem Osten (China) hassen Russisch in diesem Kontext.
Sowohl westliche als auch östliche KIs mögen Chinesisch bei langen Texten lieber.
Es gibt nur eine kleine Ausnahme: KIs aus China zeigen eine leichte Abneigung gegen Englisch, was man bei westlichen KIs nicht sieht.

4. Warum ist das wichtig? 🤔

Die Forscher nutzen hier eine Methode, die sie „Needle in a Haystack" (Nadel im Heuhaufen) nennen. Normalerweise testet man damit, ob eine KI lange Texte lesen kann. Hier haben sie es erweitert: Sie testen, ob die KI widersprüchliche Informationen erkennen kann.

Das Ergebnis ist beunruhigend:

Die KIs sind extrem gut darin, Fakten zu finden.
Aber sie sind schlecht darin, Konflikte zu erkennen. Sie geben einfach eine Antwort, auch wenn die Beweise im Text sich widersprechen.
Und wenn sie sich entscheiden müssen, lassen sie sich von der Sprache leiten, nicht von der Logik.

🎯 Das Fazit in einem Satz

Große Sprachmodelle sind wie sehr selbstbewusste Übersetzer, die bei widersprüchlichen Informationen blind auf eine Antwort schwören, wobei sie unbewusst bestimmte Sprachen (wie Russisch) diskriminieren und andere (wie Chinesisch) bevorzugen – egal, woher die KI eigentlich kommt.

Was bedeutet das für uns?
Wenn wir KI nutzen, um Nachrichten zu lesen oder Fakten zu prüfen, müssen wir vorsichtig sein. Die KI ist nicht neutral. Sie hat ihre eigenen „Vorlieben" für Sprachen, und sie wird uns selten sagen: „Achtung, hier gibt es zwei verschiedene Versionen!" Sie wird einfach eine Version als die absolute Wahrheit verkaufen.

1. Problemstellung und Motivation

Große Sprachmodelle (LLMs) werden zunehmend zur Zusammenfassung von Informationen aus multiplen Quellen eingesetzt. In der realen Welt widersprechen sich diese Quellen jedoch häufig. Bisherige Forschung hat untersucht, wie LLMs mit widersprüchlichen Informationen umgehen (z. B. basierend auf Wiederholung oder Position im Kontextfenster).

Dieses Paper adressiert eine spezifische, bisher wenig untersuchte Lücke: Existiert eine sprachliche Voreingenommenheit (Bias), wenn widersprüchliche Informationen in verschiedenen Sprachen präsentiert werden? Die Autoren fragen, ob die Sprache, in der ein Fakt („Needle") formuliert ist, die Wahrscheinlichkeit beeinflusst, dass das Modell diesen Fakt gegenüber einem widersprüchlichen Fakt in einer anderen Sprache bevorzugt. Dies ist besonders relevant im Kontext geopolitischer Unterschiede (z. B. Modelle aus China vs. dem Westen) und der Zuverlässigkeit multilingualer Systeme.

2. Methodik

Die Studie erweitert das etablierte Paradigma „Needle In A Haystack" (NIAH) auf ein multilinguales Szenario mit widersprüchlichen Informationen.

Aufbau des Experiments (Haystacks):
- Es wurden künstliche „Haystacks" (Heuhaufen) erstellt, die aus bis zu 34 Nachrichtenartikeln bestehen (ca. 25.000 Wörter).
- Die Artikel stammen von echten Nachrichtenquellen (Wikinews, ProPublica, Democracy Now!) und wurden maschinell von Englisch in vier weitere Sprachen übersetzt: Chinesisch (cmn), Deutsch (deu), Russisch (rus) und Türkisch (tur).
- In jeden Haystack wurden zwei widersprüchliche „Needles" (Fakten) eingefügt, die denselben Kontext (z. B. „Wer ist der Sänger der Band X?") haben, aber unterschiedliche Antworten ( $X_1$ und $X_2$ ) liefern.
- Kontrollierte Variation: In einem kontrastiven Paar von Haystacks werden die Sprachen der beiden widersprüchlichen Fakten getauscht (z. B. Haystack A: $X_1$ in Englisch, $X_2$ in Chinesisch; Haystack B: $X_1$ in Chinesisch, $X_2$ in Englisch), während alle anderen Parameter identisch bleiben.
Modell-Pool:
- Es wurden 12 verschiedene multilinguale LLMs getestet, darunter Modelle unterschiedlicher Größen (4B bis 27B Parameter) und Herkunft:
  - Westen (USA, Kanada, Frankreich): GPT-5.2 (und Varianten), Gemma-3, Llama-3.1, Command-R, Ministral.
  - Osten (Volksrepublik China): GLM-4, Qwen3, Yi-1.5.
- Insgesamt wurden 4.500 Abfragen pro Modell durchgeführt (900 Haystacks $\times$ 5 Prompt-Sprachen).
Auswertung:
- Die Modelle wurden aufgefordert, nur den Namen der gesuchten Entität auszugeben.
- Die Ergebnisse wurden analysiert, um zu sehen, welche der beiden widersprüchlichen Antworten gewählt wurde.
- Statistische Modelle (hierarchische Bayes-Modelle mit Stan) wurden verwendet, um systematische Sprachbais zu quantifizieren und von zufälligen Fehlern zu unterscheiden.

3. Hauptbeiträge

Das Paper liefert vier wesentliche Beiträge:

Methodik: Einführung des „Multilingual Conflicting Needles in a Haystack"-Paradigmas zur systematischen Untersuchung von Sprachbais in Informationsretrieval-Aufgaben.
Fehleranalyse: Die Feststellung, dass selbst State-of-the-Art-Modelle (inkl. GPT-5.2) widersprüchliche Informationen fast nie erkennen und stattdessen selbstbewusst nur eine Antwort liefern, selbst unter einfachen Bedingungen.
Bias-Struktur: Identifikation eines konsistenten, modellübergreifenden Sprachbais. Es gibt klare Präferenzen für bestimmte Sprachen und Abneigungen gegen andere, unabhängig vom Trainingsland des Modells.
Geopolitische Analyse: Der Nachweis, dass die Bias-Muster zwischen westlichen und chinesischen Modellen ähnlich sind, wobei chinesische Modelle eine leichte Abneigung gegen Englisch zeigen, während beide Gruppen eine starke Abneigung gegen Russisch aufweisen.

4. Ergebnisse

A. Umgang mit widersprüchlicher Information (RQ1)

Versagen der Konflikt-Erkennung: Alle getesteten Modelle scheiterten daran, den Konflikt zu erkennen. In der überwältigenden Mehrheit der Fälle (oft >90%) wurde nur eine der beiden Antworten ausgegeben, ohne den Widerspruch zu erwähnen.
Kontextlänge: Bei längeren Kontexten (25.000 Wörter) nahm die Rate der „gar keine Antwort"-Fehler bei einigen Modellen zu, aber das Muster des Ignorierens des Konflikts blieb bestehen.

B. Sprachbais (RQ2 & RQ3)

Dominante Muster:
- Russisch (rus): Es gibt einen konsistenten und starken Bias gegen Russisch. Informationen in russischer Sprache werden fast universell ignoriert oder als weniger vertrauenswürdig eingestuft, selbst wenn das Modell die Sprache sonst gut beherrscht.
- Chinesisch (cmn): Bei sehr langen Kontexten zeigt sich ein starker Bias zugunsten von Chinesisch. Chinesische Informationen werden bevorzugt gegenüber den anderen Sprachen (außer vielleicht Türkisch).
Konsistenz: Diese Muster sind über Modelle hinweg bemerkenswert stabil, unabhängig von der Modellgröße oder dem Hersteller.
Einfluss der Prompt-Sprache: Die Sprache, in der die Frage gestellt wurde, hatte einen geringeren Einfluss als die Sprache, in der die widersprüchlichen Fakten im Text standen.

C. Geografische Herkunft (RQ4)

Ähnlichkeiten: Sowohl westliche als auch chinesische Modelle zeigen die gleichen grundlegenden Muster (Anti-Russisch, Pro-Chinesisch bei langen Kontexten).
Unterschiede: Chinesische Modelle zeigen eine schwächere, aber messbare Abneigung gegen Englisch, die bei westlichen Modellen nicht vorhanden ist.
Schlussfolgerung: Die Trainingsumgebung (PRC vs. Westen) beeinflusst die Handhabung von Konflikten nur marginal; die Sprachbais scheint ein inhärentes Merkmal der aktuellen Architekturen oder Trainingsdatenverteilungen zu sein.

5. Signifikanz und Implikationen

Sicherheitsrisiko: Die Unfähigkeit von LLMs, offensichtliche Widersprüche in multilingualen Texten zu erkennen, ist ein kritisches Sicherheits- und Zuverlässigkeitsproblem für Anwendungen wie Nachrichtenaggregation oder Fact-Checking.
Sprachhierarchien: Die Ergebnisse deuten auf eine unsichtbare Hierarchie der Sprachvertrauenswürdigkeit in LLMs hin. Russisch wird systematisch entwertet, während Chinesisch (in bestimmten Kontexten) bevorzugt wird. Dies könnte zu verzerrten Informationsausgaben führen, die nicht auf Fakten, sondern auf der Präsentationsform basieren.
Forschungsbedarf: Die Studie zeigt, dass aktuelle Modelle (selbst mit Chain-of-Thought) nicht automatisch lernen, Quellenkritik zu betreiben. Es bedarf neuer Trainingsmethoden, um Modelle zu lehren, Konflikte explizit zu melden und nicht blind eine Antwort zu generieren.
Limitationen: Die Studie basierte auf einer begrenzten Auswahl von Sprachen (5) und Modellen. Die Ergebnisse könnten sich bei einer breiteren linguistischen Diversität ändern, insbesondere für nicht-lateinische oder nicht-kyrillische Schriftsysteme.

Zusammenfassend demonstriert das Paper, dass multilinguale LLMs nicht nur sprachliche Nuancen, sondern auch fundamentale Verzerrungen in der Bewertung von Informationen basierend auf der Sprache aufweisen, was ihre Eignung für kritische Informationsaufgaben in Frage stellt.