💬 NLP

Do Chinese models speak Chinese languages?

Diese Studie zeigt, dass trotz der vielfältigen Sprachlandschaft Chinas die führenden Open-Weight-LLMs multilinguale Leistungsprofile aufweisen, die den westlichen Modellen frappierend ähnlich sind – sie zeichnen sich durch hervorragende Leistungen in wichtigen globalen Sprachen wie Mandarin, Französisch und Deutsch aus, versagen jedoch häufig bei der Unterstützung von Minderheitensprachen wie Kasachisch und Uigurisch –, was darauf hindeutet, dass globale Benchmarking-Praktiken und gemeinsame Trainingsressourcen eine Homogenisierung der Sprachfähigkeiten vor einer lokalen Priorisierung vorantreiben.

Ursprüngliche Autoren: Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich die Welt der Künstlichen Intelligenz als einen riesigen, globalen Kochwettbewerb vor. Köche (Modellentwickler) aus verschiedenen Ländern versuchen, den ultimativen „Universellen Sprachtopf" zu kreieren, der jede Sprache der Erde verstehen und sprechen kann.

Diese Arbeit stellt eine spezifische Frage: Kochen die Köche aus China, deren Küche voller diverser lokaler Zutaten steckt, tatsächlich damit? Oder folgen sie einfach demselben Rezept wie die Köche aus den USA und Europa?

Hier ist die Aufschlüsselung ihrer Erkenntnisse, unter Verwendung einfacher Analogien:

1. Das Setup: Eine diverse Küche vs. eine globale Speisekarte

China ist wie eine riesige Küche mit 1,4 Milliarden Menschen, die Mandarin sprechen, plus Hunderten weiterer lokaler Dialekte und Minderheitensprachen (wie Uigurisch, Tibetisch und Kasachisch). Man würde erwarten, dass die chinesischen Köche einen besonderen Vorteil haben: Sie haben leichten Zugang zu diesen lokalen Zutaten.

Allerdings gibt es einen Haken. Um den Wettbewerb zu gewinnen und global berühmt zu werden, werden die Köche von einer Jury aus Kritikern bewertet, die hauptsächlich Englisch sprechen und englischbasierte Bewertungsbögen (Benchmarks) verwenden. Wenn Sie als Spitzenkoch anerkannt werden wollen, muss Ihr Gericht für diese englischsprachigen Richter hervorragend schmecken.

2. Das Experiment: Die Gerichte verkosten

Die Forscher verkosteten Gerichte von 6 chinesischen Köchen (wie Qwen, Yi und DeepSeek) und 4 westlichen Köchen (wie Llama und Mistral). Sie testeten sie an 21 verschiedenen „Sprachen", von großen wie Französisch und Deutsch bis hin zu lokalen chinesischen Minderheitensprachen.

Sie verwendeten drei verschiedene Methoden, um das Essen zu verkosten:

Der Übersetzungstest: Kann das Modell einen Satz von Englisch in eine andere Sprache übersetzen, ohne den Geschmack (die Bedeutung) zu verlieren?
Der Lesetest: Kann das Modell eine Geschichte in einer Fremdsprache lesen und korrekt Fragen dazu beantworten?
Das Namensspiel: Kann das Modell einen Text betrachten und korrekt sagen: „Dies ist auf Kasachisch geschrieben" oder „Dies ist auf Tibetisch geschrieben"?

3. Die Ergebnisse: Die „Mandarin-Ausnahme"

Die Ergebnisse waren überraschend einheitlich, mit einer großen Ausnahme.

Der „Klon"-Effekt: Bei fast jeder getesteten Sprache (Französisch, Deutsch, Japanisch, Koreanisch usw.) schnitten die chinesischen Modelle und die westlichen Modelle fast identisch ab. Es ist, als würden beide Gruppen von Köchen exakt dasselbe globale Rezeptbuch befolgen. Die Arbeit fand eine Korrelation von 93 % zwischen ihnen. Wenn ein westliches Modell gut in Französisch war, war das chinesische Modell ebenfalls gut in Französisch. Wenn ein westliches Modell mit einer Minderheitensprache kämpfte, kämpfte das chinesische Modell genauso stark.
Die Mandarin-Superkraft: Das einzige Mal, dass die chinesischen Köche die westlichen wirklich überragten, war bei Mandarin-Chinesisch. Da sie mehr Zugang zu Mandarin-Daten hatten und sich darauf konzentrierten, war ihr „Mandarin-Gericht" deutlich schmackhafter als die Version der westlichen Köche.
Der Blindfleck für Minderheitensprachen: Hier kommt der traurige Teil. Trotz des Zugangs zu lokalen Zutaten waren die chinesischen Modelle genauso schlecht im Umgang mit chinesischen Minderheitensprachen (wie Uigurisch und Kasachisch) wie die westlichen Modelle. Tatsächlich konnten viele chinesische Modelle nicht einmal erkennen, dass ein Text auf Uigurisch oder Kasachisch geschrieben war. Sie behandelten diese lokalen Sprachen so, als ob sie nicht existierten, genau wie die westlichen Modelle.

4. Warum ist das passiert?

Die Arbeit schlägt zwei Hauptgründe vor:

Der Druck des „globalen Bewertungsbogens": Um berühmt zu werden und Finanzierung zu erhalten, sind chinesische Entwickler besessen davon, globale Benchmarks zu gewinnen. Diese Benchmarks bestehen hauptsächlich aus Englisch oder großen europäischen Sprachen. Anstatt ihren einzigartigen Zugang zu lokalen chinesischen Daten zu nutzen, um ein wirklich diverses Modell zu bauen, optimierten sie ihre Modelle, um auf dem globalen Punktekonto gut auszusehen.
Die „Mandarin-zuerst"-Politik: Obwohl China eine Geschichte des Versuchs hat, seine vielen Sprachen zu schützen, haben sich die jüngsten Politiken stark darauf konzentriert, Mandarin zur einzigen, vereinigenden Sprache für das ganze Land zu machen. Die KI-Entwickler scheinen diesem Trend zu folgen: Sie priorisieren Mandarin (die „Super-Sprache") und ignorieren den Rest.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass trotz Chinas einzigartiger sprachlicher Landschaft und des Potenzials, ein Modell zu bauen, das wirklich mit seiner diversen Bevölkerung spricht, die chinesischen Modelle „homogenisiert" wurden.

Sie sind im Wesentlichen carbon-copy-Abbildungen westlicher Modelle, mit einem kleinen Upgrade: Sie sprechen Mandarin etwas besser. Sie haben ihre einzigartige Position nicht genutzt, um die Hunderte anderer Sprachen, die innerhalb Chinas Grenzen gesprochen werden, zu retten oder zu fördern. Stattdessen kochen sie alle dasselbe globale Gericht und lassen die lokalen, Minderheiten-Geschmacksrichtungen im Regal stehen.

Technische Zusammenfassung: Sprechen chinesische Modelle chinesische Sprachen?

Problemstellung
Die rasante Entwicklung von Large Language Models (LLMs) in China hat das Land zu einer führenden Kraft im Bereich der künstlichen Intelligenz gemacht. Dennoch besteht für chinesische Modellentwickler eine kritische Spannung: Sie müssen den Zielkonflikt zwischen der Bedienung einer linguistisch vielfältigen einheimischen Bevölkerung (die Mandarin, Hunderte von Dialekten und Minderheitensprachen spricht) und der Optimierung für global sichtbare Benchmarks, die überwiegend englischsprachig sind, bewältigen. Obwohl China eine Geschichte von Sprachpolitiken von Pluralismus bis Assimilation aufweist und aktuelle KI-Verordnungen die Datenvielfalt betonen, bleibt unklar, ob chinesisch entwickelte Open-Weight-LLMs die lokale sprachliche Vielfalt priorisieren oder sich an den Druck globaler Benchmarking-Verfahren anpassen. Insbesondere ist unbekannt, ob chinesische Modelle überlegene Fähigkeiten in Mandarin und chinesischen Minderheitensprachen im Vergleich zu westlich entwickelten Modellen besitzen oder ob sie ein homogenisiertes mehrsprachiges Leistungsprofil aufweisen, das dem ihrer westlichen Gegenstücke ähnelt.

Methodik
Die Autoren führten eine vergleichende Studie von 10 Open-Weight-LLMs durch: 6 wurden von chinesischen Organisationen entwickelt (Qwen2.5, Yi-1.5, DeepSeek-R1-Varianten, InternLM3, Baichuan2) und 4 von westlichen Entwicklern (Llama-3, Mistral, OLMo-2, Gemma-2). Alle Modelle wurden auf die Parametergröße von 7–9 Milliarden beschränkt, um einen fairen Vergleich zu gewährleisten. Die Studie bewertete die mehrsprachige Leistung über 21 Sprachvarianten hinweg, kategorisiert in Chinesisch (Mandarin), chinesische Han-Dialekte, chinesische Minderheitensprachen (Jingpho, Lhasa-Tibetisch, Uigurisch, Mongolisch, Kasachisch), nordostasiatische, südostasiatische und europäische Sprachen.

Die Evaluation nutzte drei unterschiedliche Experimente:

Informationsäquivalenz (IP): Mithilfe des FLORES+-Machine-Translation-Benchmarks maßen die Autoren die Effizienz der Informationsdarstellung in Zielsprachen relativ zu Englisch. IP wird als Verhältnis der negativen Log-Likelihood (NLL) des Referenztextes zum Zieltext berechnet.
Maschinelles Leseverstehen (MRC): Mithilfe des Belebele-Datensatzes bewerteten die Autoren die Genauigkeit des Zero-Shot-Multiple-Choice-Leseverstehens über 17 Sprachen hinweg.
Spracherkennung: Mithilfe des Multilingual Corpus of Minority Languages in China (MC2) testeten die Autoren die Fähigkeit der Modelle, vier spezifische chinesische Minderheitensprachen (Tibetisch, Mongolisch, Kasachisch, Uigurisch) aus Textproben zu identifizieren.

Hauptbeiträge

Hypothesentestung: Das Papier schlägt vier Hypothesen bezüglich der Prioritäten chinesischer Entwickler vor und testet diese: die Nullhypothese (Optimierung für globale Benchmarks führt zu Parität mit westlichen Modellen), die Mandarin-Hypothese (Priorisierung nur von Mandarin), die Pluralismus-Hypothese (breite Unterstützung aller lokalen Sprachen) und die Regionale Hypothese (Unterstützung wichtiger asiatischer Sprachen).
Empirische Benchmarking: Die Studie liefert einen granular quantitativen Vergleich chinesischer und westlicher LLMs über eine vielfältige Auswahl von Sprachen hinweg, einschließlich unterrepräsentierter Minderheitensprachen, die in Standard-Benchmarks oft ausgelassen werden.
Politikanalyse: Die Arbeit verbindet technische Leistungsmetriken mit der historischen und aktuellen Sprachpolitik Chinas und analysiert, wie politische und wirtschaftliche Anreize die Prioritäten der KI-Entwicklung prägen.

Ergebnisse

Hohe Korrelation: Die mehrsprachige Leistung chinesisch entwickelter und westlich entwickelter Modelle ist hoch korreliert ( $r \approx 0,93$ für IP und $r \approx 0,99$ für MRC). Die Leistungsprofile sind über die meisten Sprachkategorien hinweg nahezu identisch, was darauf hindeutet, dass chinesische Modelle in nicht-mandarinischen lokalen Sprachen keine signifikant besseren Leistungen als westliche Modelle erbringen.
Überlegenheit von Mandarin: Die einzige Ausnahme dieser Homogenisierung ist Chinesisch (Mandarin). Chinesisch entwickelte Modelle übertreffen ihre westlichen Gegenstücke konsistent sowohl bei der Informationsäquivalenz als auch beim maschinellen Leseverstehen für Mandarin (Vereinfacht und Traditionell).
Defizite bei Minderheitensprachen: Im Gegensatz zur Pluralismus-Hypothese schneiden chinesische Modelle bei chinesischen Minderheitensprachen schlecht ab und versagen häufig bei der Identifizierung von Sprachen wie Kasachisch und Uigurisch. Ihre Leistung in diesen Sprachen ist mit der westlicher Modelle vergleichbar oder manchmal sogar schlechter.
Regionale Leistung: Chinesische Modelle schneiden bei europäischen Sprachen (Französisch, Deutsch) und wichtigen asiatischen Sprachen (Japanisch, Koreanisch) gut ab und spiegeln dabei die Stärken westlicher Modelle wider, anstatt einzigartige regionale Vorteile zu zeigen.
Instruction Tuning: Modelle mit Instruction Tuning schneiden im Allgemeinen besser ab als Basismodelle, doch bleibt die Leistungslücke zwischen chinesischen und westlichen Modellen unabhängig vom Tuning konsistent.

Bedeutung und Behauptungen
Das Papier argumentiert, dass die beobachtete Homogenisierung der mehrsprachigen Leistung darauf hindeutet, dass chinesische Modellentwickler primär für globale Benchmarking-Praktiken und gemeinsame Trainingsressourcen optimieren, anstatt die spezifischen sprachlichen Bedürfnisse der vielfältigen einheimischen Bevölkerung Chinas zu adressieren. Die Ergebnisse stützen die Mandarin-Hypothese (chinesische Modelle sind besser in Mandarin, aber nicht in anderen lokalen Sprachen) und lassen die Nullhypothese (hohe Korrelation mit westlichen Modellen) nicht verwerfen.

Die Autoren interpretieren diese Befunde als Beleg dafür, dass der Druck globaler Benchmarks und gemeinsame Datenressourcen einen „normalisierenden Druck" auf das Training von LLMs ausüben, der zu ähnlichen Leistungsprofilen über unterschiedliche politische und kulturelle Kontexte hinweg führt. Dies legt nahe, dass die aktuelle Sprachunterstützung in LLMs das Ergebnis von Priorisierungen und Zielkonflikten ist und kein unvermeidliches Ergebnis der Entwicklung darstellt. Das Papier hebt die Implikationen für politische Entscheidungsträger und Entwickler hervor und stellt fest, dass ohne spezifische Eingriffe die Bewegung „Souveräne KI" zu Umweltkosten und kultureller Homogenisierung führen könnte, ohne einen einzigartigen Wert für die lokale sprachliche Vielfalt zu liefern. Die Autoren fordern zukünftige Arbeiten auf, die strukturellen und institutionellen Faktoren zu untersuchen, die diese Prioritäten antreiben, und Möglichkeiten zu erkunden, wie Entwickler ihren einzigartigen Zugang zu lokalen Daten nutzen können, um ihre Modelle zu differenzieren.