💬 NLP

Do Chinese models speak Chinese languages?

Deze studie toont aan dat, ondanks de diverse taalkundige landschap van China, de toonaangevende open-gewogen LLM's multilinguale prestatieprofielen vertonen die opmerkelijk lijken op die van westerse modellen – uitstekend in grote wereldtalen zoals Mandarijn, Frans en Duits, maar vaak falend in het ondersteunen van minderheidstalen zoals Kazachs en Oeigoers – wat suggereert dat wereldwijde benchmarkpraktijken en gedeelde trainingsbronnen een homogenisering van taalcapaciteiten aandrijven ten koste van lokale prioritering.

Oorspronkelijke auteurs: Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van Kunstmatige Intelligentie voor als een enorme, wereldwijde kookwedstrijd. Chefs (modelontwikkelaars) uit verschillende landen proberen de ultieme "Universele Taalpot" te creëren die elke taal op aarde kan begrijpen en spreken.

Dit artikel stelt een specifieke vraag: Koken de chefs uit China, die een keuken vol met diverse lokale ingrediënten hebben, er daadwerkelijk mee? Of volgen ze gewoon hetzelfde recept als de chefs uit de VS en Europa?

Hier is de uiteenzetting van hun bevindingen, met behulp van eenvoudige analogieën:

1. De Opzet: Een Diverse Keuken vs. Een Wereldmenu

China is als een enorme keuken met 1,4 miljard mensen die Mandarijn spreken, plus honderden andere lokale dialecten en minderheidstalen (zoals Oeigoers, Tibetaans en Kazachs). Je zou verwachten dat de Chinese chefs een speciaal voordeel hebben: ze hebben gemakkelijke toegang tot deze lokale ingrediënten.

Er is echter een addertje onder het gras. Om de wedstrijd te winnen en wereldwijd beroemd te worden, worden de chefs beoordeeld door een panel van critici die voornamelijk Engels spreken en Engelstalige scorekaarten (benchmarks) gebruiken. Als je wilt worden erkend als een topchef, moet je je gerecht laten proeven aan deze Engelstalige jury.

2. Het Experiment: Het Proeven van de Gerecht

De onderzoekers proefden gerechten van 6 Chinese chefs (zoals Qwen, Yi en DeepSeek) en 4 westerse chefs (zoals Llama en Mistral). Ze testten ze op 21 verschillende "talen", variërend van grote talen zoals Frans en Duits tot lokale Chinese minderheidstalen.

Ze gebruikten drie verschillende manieren om het eten te proeven:

De Vertaaltest: Kan het model een zin uit het Engels naar een andere taal vertalen zonder de smaak (betekenis) te verliezen?
De Leestest: Kan het model een verhaal in een vreemde taal lezen en er correct vragen over beantwoorden?
Het Naamspel: Kan het model naar een tekst kijken en correct zeggen: "Dit is geschreven in het Kazachs" of "Dit is geschreven in het Tibetaans"?

3. De Resultaten: De "Mandarijn-Exception"

De resultaten waren verrassend uniform, met één grote uitzondering.

Het "Kloon"-Effect: Voor bijna elke geteste taal (Frans, Duits, Japans, Koreaans, etc.) presteerden de Chinese modellen en de westerse modellen bijna identiek. Het is alsof beide groepen chefs exact hetzelfde wereldwijde receptenboek volgden. Het artikel vond een correlatie van 93% tussen hen. Als een westers model goed was in Frans, was het Chinese model ook goed in Frans. Als een westers model moeite had met een minderheidstaal, had het Chinese model precies evenveel moeite.
De Mandarijn-Superkracht: Het enige moment waarop de Chinese chefs de westerse echt overtroffen, was bij Mandarijn Chinees. Omdat ze meer toegang hadden tot Mandarijn-gegevens en zich daarop richtten, was hun "Mandarijn-gerecht" aanzienlijk lekkerder dan de versie van de westerse chefs.
Het Blinde Vlekje voor Minderheidstalen: Hier is het trieste deel. Ondanks dat ze toegang hadden tot lokale ingrediënten, waren de Chinese modellen even slecht in het omgaan met Chinese minderheidstalen (zoals Oeigoers en Kazachs) als de westerse modellen. Sterker nog, veel Chinese modellen konden niet eens herkennen dat een tekst in het Oeigoers of Kazachs was geschreven. Ze behandelden deze lokale talen alsof ze niet bestonden, precies zoals de westerse modellen deden.

4. Waarom Is Dit Gebeurd?

Het artikel suggereert twee hoofdredenen:

De "Wereldwijde Scorekaart"-Druk: Om beroemd te worden en financiering te krijgen, zijn Chinese ontwikkelaars bezeten van het winnen van wereldwijde benchmarks. Deze benchmarks zijn voornamelijk in het Engels of grote Europese talen. Dus, in plaats van hun unieke toegang tot lokale Chinese data te gebruiken om een werkelijk divers model te bouwen, optimaliseerden ze hun modellen om er goed uit te zien op het wereldwijde scorebord.
Het "Mandarijn-Eerst"-Beleid: Hoewel China een geschiedenis heeft van het proberen zijn vele talen te beschermen, hebben recente beleidsmaatregelen zich sterk gericht op het maken van Mandarijn tot de enige, verenigende taal voor het hele land. De AI-ontwikkelaars lijken deze trend te volgen: ze geven prioriteit aan Mandarijn (de "super-taal") en negeren de rest.

De Conclusie

Het artikel concludeert dat, ondanks dat China een uniek taalkundig landschap heeft en het potentieel heeft om een model te bouwen dat echt spreekt tot zijn diverse bevolking, de Chinese modellen "gehomogeniseerd" zijn geworden.

Ze zijn in feite kloonkopieën van westerse modellen, met één kleine upgrade: ze spreken Mandarijn iets beter. Ze hebben hun unieke positie niet gebruikt om de honderden andere talen die binnen de grenzen van China worden gesproken, te redden of te verheffen. In plaats daarvan koken ze allemaal hetzelfde wereldwijde gerecht, waardoor de lokale, minderheidssmaken op het plankje blijven liggen.

Technische Samenvatting: Spreken Chinese modellen Chinese talen?

Probleemstelling
De snelle ontwikkeling van Large Language Models (LLM's) in China heeft het land gevestigd als een leidende kracht in AI. Er bestaat echter een kritieke spanning voor Chinese modelontwikkelaars: zij moeten de afweging vinden tussen het bedienen van een taalkundig diverse binnenlandse bevolking (die Mandarijn, honderden dialecten en minderheidstalen spreekt) en het optimaliseren voor wereldwijd zichtbare benchmarks die overwegend Engels zijn. Hoewel China een geschiedenis heeft van taalbeleid variërend van pluralisme tot assimilatie, en recente AI-regelgeving nadruk legt op datadiversiteit, is het onduidelijk of Chinese open-gewogen LLM's prioriteit geven aan lokale taalkundige diversiteit of zich aanpassen aan de druk van wereldwijde benchmarking. Specifiek is het onbekend of Chinese modellen superieure capaciteiten hebben in Mandarijn en Chinese minderheidstalen vergeleken met door het Westen ontwikkelde modellen, of dat zij een gehomogeniseerd meertalig prestatieprofiel vertonen dat vergelijkbaar is met dat van hun Westerse tegenhangers.

Methodologie
De auteurs voerden een vergelijkende studie uit van 10 open-gewogen LLM's: 6 ontwikkeld door Chinese organisaties (Qwen2.5, Yi-1.5, DeepSeek-R1-varianten, InternLM3, Baichuan2) en 4 door het Westen ontwikkelde modellen (Llama-3, Mistral, OLMo-2, Gemma-2). Alle modellen werden beperkt tot de schaal van 7–9 miljard parameters om een eerlijke vergelijking te waarborgen. De studie evalueerde meertalige prestaties over 21 taalvarianten, gecategoriseerd in Mandarijn-Chinees, Chinese Han-dialecten, Chinese minderheidstalen (Jingpho, Lhasa-Tibetaans, Oeigoers, Mongools, Kazachs), Noord-Oost-Aziatische, Zuidoost-Aziatische en Europese talen.

De evaluatie maakte gebruik van drie distincte experimenten:

Informatiepariteit (IP): Met behulp van de FLORES+-machinevertalingsbenchmark maten de auteurs de efficiëntie van het vertegenwoordigen van informatie in doeltalen ten opzichte van Engels. IP wordt berekend als de verhouding van de negatieve log-waarschijnlijkheid (NLL) van de referentietekst tot de doelteks.
Machinelezingbegrip (MRC): Met behulp van het Belebele-dataset evalueerden de auteurs de nauwkeurigheid van zero-shot meerkeuzevragen over lezingbegrip over 17 talen.
Taalidentificatie: Met behulp van het Multilinguale Corpus van Minderheidstalen in China (MC2) testten de auteurs het vermogen van de modellen om vier specifieke Chinese minderheidstalen (Tibetaans, Mongools, Kazachs, Oeigoers) te identificeren uit tekstsamples.

Belangrijkste Bijdragen

Toetsen van Hypothesen: Het artikel stelt vier hypothesen voor en toetst deze met betrekking tot de prioriteiten van Chinese ontwikkelaars: de Nulhypothese (optimalisatie voor wereldwijde benchmarks leidt tot pariteit met Westerse modellen), de Mandarijn-hypothese (prioritering van alleen Mandarijn), de Pluralistische Hypothese (brede ondersteuning voor alle lokale talen) en de Regionale Hypothese (ondersteuning voor grote Aziatische talen).
Empirische Benchmarking: De studie biedt een gedetailleerde, kwantitatieve vergelijking van Chinese en Westerse LLM's over een diverse reeks talen, waaronder ondervertegenwoordigde minderheidstalen die vaak worden weggelaten in standaardbenchmarks.
Beleidsanalyse: Het werk verbindt technische prestatiemetrics met het historische en huidige taalbeleid van China, en analyseert hoe politieke en economische prikkels prioriteiten in AI-ontwikkeling vormgeven.

Resultaten

Hoge Correlatie: De meertalige prestaties van door China ontwikkelde en door het Westen ontwikkelde modellen zijn sterk gecorreleerd ( $r \approx 0,93$ voor IP en $r \approx 0,99$ voor MRC). De prestatieprofielen zijn bijna identiek over de meeste taalcategorieën, wat suggereert dat Chinese modellen niet significant beter presteren dan Westerse modellen in niet-Mandarijnse lokale talen.
Superioriteit van Mandarijn: De enige uitzondering op deze homogenisatie is Mandarijn-Chinees. Chinese modellen presteren consequent beter dan hun Westerse tegenhangers in zowel Informatiepariteit als Machinelezingbegrip voor Mandarijn (Vereenvoudigd en Traditioneel).
Tekortkomingen in Minderheidstalen: In tegenstelling tot de Pluralistische Hypothese presteren Chinese modellen slecht op Chinese minderheidstalen, waarbij ze vaak falen in het identificeren van talen zoals Kazachs en Oeigoers. Hun prestaties op deze talen zijn vergelijkbaar met, of soms slechter dan, die van Westerse modellen.
Regionale Prestaties: Chinese modellen presteren goed op Europese talen (Frans, Duits) en grote Aziatische talen (Japans, Koreaans), waarbij ze de sterke punten van Westerse modellen nabootsen in plaats van unieke regionale voordelen te tonen.
Instructie-Afstemming: Instructie-afgestemde modellen presteren over het algemeen beter dan basismodellen, maar de prestatiekloof tussen Chinese en Westerse modellen blijft consistent, ongeacht de afstemming.

Betekenis en Claims
Het artikel betoogt dat de waargenomen homogenisatie in meertalige prestaties aangeeft dat Chinese modelontwikkelaars primair optimaliseren voor wereldwijde benchmarkpraktijken en gedeelde trainingsbronnen, in plaats van in te spelen op de specifieke taalkundige behoeften van de diverse binnenlandse bevolking van China. De resultaten ondersteunen de Mandarijn-hypothese (Chinese modellen zijn beter in Mandarijn, maar niet in andere lokale talen) en falen om de Nulhypothese te verwerpen (hoge correlatie met Westerse modellen).

De auteurs interpreteren deze bevindingen als bewijs dat druk van wereldwijde benchmarking en gedeelde databronnen een "normaliserende druk" uitoefenen op LLM-training, wat leidt tot vergelijkbare prestatieprofielen over verschillende politieke en culturele contexten heen. Dit suggereert dat de huidige taalondersteuning in LLM's het resultaat is van prioritering en afwegingen, en niet een onvermijdelijk gevolg van ontwikkeling. Het artikel benadrukt de implicaties voor beleidsmakers en ontwikkelaars, en merkt op dat zonder specifieke interventie de beweging "soeverein AI" kan leiden tot milieukosten en culturele homogenisatie zonder unieke waarde te leveren voor lokale taalkundige diversiteit. De auteurs roepen op tot toekomstig werk om de structurele en institutionele factoren te onderzoeken die deze prioriteiten drijven, en om kansen te verkennen voor ontwikkelaars om hun unieke toegang tot lokale data te benutten om hun modellen te differentiëren.