💬 NLP

ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models

Het artikel introduceert ChiKhaPo, een grootschalige meertalige benchmark die meer dan 2700 talen beslaat met acht subtaken ontworpen om de lexicale begrips- en generatievaardigheden van grote taalmodellen te evalueren, wat onthult dat zelfs state-of-the-art modellen moeite hebben met basislinguïstische competentie in de overgrote meerderheid van de geschreven talen ter wereld.

Oorspronkelijke auteurs: Emily Chang, Niyati Bafna

Gepubliceerd 2026-06-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Emily Chang, Niyati Bafna

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superintelligente bibliotheek hebt met boeken geschreven in duizenden verschillende talen. Je huurt een briljante nieuwe bibliothecaris in (een Large Language Model, of LLM) om je te helpen specifieke woorden te vinden en te vertalen. Je wilt weten: Begrijpt deze bibliothecaris de woorden echt, of raadt hij gewoon op basis van de weinige talen die hij het meest heeft bestudeerd?

Dit artikel introduceert een nieuwe test genaamd ChiKhaPo (uitgesproken als Chi-Kha-Po) om precies die vraag te beantwoorden. De naam komt van een uitdrukking die betekent "stap voor stap", omdat de auteurs geloven dat we kleine, zorgvuldige stappen moeten zetten om te begrijpen hoe deze AI-modellen echt werken over de talen van de wereld heen.

Hier is de onderverdeling van wat ze hebben gedaan, met behulp van enkele alledaagse analogieën:

1. Het Probleen: De "VIP-lounge" van Talen

Huidige tests voor AI zijn als VIP-lounges. Ze laten alleen een paar dozijn "hoog-resource talen" toe (zoals Engels, Spaans of Frans). Dit zijn talen met enorme hoeveelheden data op het internet.

De Realiteit: Er zijn meer dan 3.800 geschreven talen in de wereld. De overgrote meerderheid is uitgesloten van deze VIP-lounges.
De Kloof: We weten niet of de AI de andere 3.700+ talen aankan. Het kan een genie zijn in het Engels, maar volledig de weg kwijt zijn wanneer er gevraagd wordt om een woord in een laag-resource taal te vertalen.

2. De Oplossing: Het "Massale Meertalige Examen" (ChiKhaPo)

De auteurs hebben een massaal examen gebouwd dat 2.700+ talen beslaat. In plaats van de AI te vragen een complexe essay te schrijven of een wiskundig probleem op te lossen (wat moeilijke taken zijn), hebben ze zich gericht op de basis: Lexicale Competentie.

De Analogie: Denk aan het testen van een student op hun woordenschat voordat je hen vraagt een roman te schrijven. Kan hij een woord herkennen? Kan hij zeggen wat het betekent? Kan hij het in een zin gebruiken?

Het examen heeft 8 verschillende secties (subtaken) om deze vaardigheden vanuit verschillende hoeken te testen:

Woordvertaling: "Wat is het woord voor 'regen' in het Maleis?" (Directe vertaling).
Woordvertaling met Context: "In dit verhaal over een storm, wat betekent het woord 'ujan'?" (Gebruik van contextuele aanwijzingen).
Vertalings-geconditioneerde Modellering: De AI krijgt een zin in één taal en moet het volgende woord in de vertaling voorspellen. (Als een "invulspelletje").
Bag-of-Words Vertaling: De AI vertaalt een hele zin, en de test controleert of hij de individuele woorden goed heeft gekregen, zelfs als de zinsstructuur een beetje rommelig is.

3. De Resultaten: De AI worstelt met de Basis

De auteurs hebben 6 van de slimste AI-modellen van dit moment getest op dit examen.

De Bevinding: Zelfs de beste modellen hadden aanzienlijke problemen, vooral met laag-resource talen.
De "Begrip versus Generatie" Kloof: De modellen waren beter in het begrijpen van een woord (het lezen en weten wat het betekent) dan in het genereren ervan (het woord zelf zeggen of schrijven).
- Analogie: Het is alsof iemand een menu in een vreemde taal kan lezen en weet wat "soep" is, maar wanneer hij gevraagd wordt het te bestellen, bevriest hij en kan hij het woord niet uitspreken.
De "Rijk versus Arm" Kloof: De modellen presteerden veel beter op talen met veel data (hoog-resource) vergeleken met talen met zeer weinig data (laag-resource). Het prestatieverschil was enorm.

4. Waarom dit ertoe doet (volgens het artikel)

Het artikel betoogt dat we niet zomaar kunnen aannemen dat AI "meertalig" is omdat het goed werkt in het Engels.

De "Proxy" Ontdekking: Ze ontdekten dat als een AI goed is in het vertalen van losse woorden (de simpele test), het meestal ook goed is in het vertalen van volledige zinnen (de complexe test). Dit betekent dat de simpele woordtest een goedkope en gemakkelijke manier is om te controleren of een AI klaar is voor een moeilijkere taak.
Het Doel: De auteurs willen in het licht zetten van taalongelijkheid. Op dit moment is NLP (Natural Language Processing) onrechtvaardig omdat het duizenden talen negeert. ChiKhaPo is een instrument om onderzoekers eraan te herinneren aandacht te besteden aan deze verwaarloosde talen en betere, eerlijkere AI te bouren.

Samenvatting

ChiKhaPo is een enorme, stap-voor-stap woordenschattest voor AI over 2.700+ talen. Het onthult dat zelfs de slimste AI-modellen momenteel "woordblind" zijn voor de meeste talen in de wereld. Ze kunnen vaak een woord begrijpen, maar worstelen met het produceren ervan, en ze presteren erg slecht bij talen die weinig data online hebben. De auteurs hopen dat deze test de AI-gemeenschap zal aanmoedigen om niet alleen te focussen op de "VIP"-talen, maar om modellen te bouwen die echt de hele wereld begrijpen.

Technische Samenvatting: ChiKhaPo

Probleemstelling

Huidige benchmarks voor Large Language Models (LLMs) zijn voornamelijk beperkt tot hoog-resource talen (HRLs) en richten zich op hogere-orde taken zoals complexe redenering en contentgeneratie. Hierdoor is er een aanzienlijke kloof in het evalueren van de basis linguïstische competentie van LLMs over de meer dan 3.800 geschreven talen van de wereld. Bestaande meertalige benchmarks, zoals FLORES+, dekken slechts een fractie van deze talen (bijv. 212 talen), waardoor het overgrote deel van de wereldtalen zelfs voor fundamentele capaciteiten zoals woordniveau-begrip en -generatie niet wordt beoordeeld. Dit gebrek aan evaluatie belemmert het identificeren van taalongelijkheid in Natural Language Processing (NLP).

Methodologie

De auteurs introduceren ChiKhaPo, een massaal meertalige benchmark ontworpen om de lexicale begrips- en generatievaardigheden in LLMs te evalueren. De benchmark is geconstrueerd met behulp van bestaande publieke bronnen, inclus\n_bij_ lexicons, monolinguale data en bitext, waardoor dekking mogelijk is voor meer dan 2.700 talen.

Benchmarkstructuur

ChiKhaPo bestaat uit acht subtaken afgeleid van vier kerntaken, die elk in twee richtingen worden geëvalueerd:

Begrip ( $X \to \text{model}$ ): Het evalueren van het vermogen van het model om een woord in de doeltaal $X$ te begrijpen (vaak door het naar het Engels te vertalen).
Generatie ( $\text{model} \to X$ ): Het evalueren van het vermogen van het model om een woord in de doeltaal $X$ te genereren op basis van een Engelse prompt.

De vier kerntaken zijn:

Woordvertaling (WT): Directe prompting om een enkel woord te vertalen. Deze taak steunt uitsluitend op lexicons en dekt 2.746 talen.
Woordvertaling met Context (WTWC): Het vertalen van een woord gegeven een bronzin-context. Dit vereist monolinguale data en dekt 525 talen.
Vertaling-geconditioneerde Taalmodellering (TCLM): Het meten van de generatiekans van een doelwoord gegeven een bronzin en een gedeeltelijke doelcontext. Dit gebruikt parallelle zinnen (bitext) en dekt 211 talen.
Bag-of-Words Machinevertaling (BOW MT): Evalueren of specifieke doelwoorden voorkomen in een zin-niveau vertaaloutput, ongeacht de syntactische volgorde. Dit gebruikt ook bitext en dekt 211 talen.

Scoring en Evaluatie

De benchmark maakt gebruik van woordniveau scoring-metrieken. Voor binaire taken (WT, WTWC) wordt juistheid bepaald via exacte overeenkomsten, afhandeling van naamvallen/inflectie, substring matching en synoniemie (met behulp van WordNet voor Engelse outputs). Voor probabilistische taken (TCLM) is de metriek de generatiekans van het correcte woord. Voor BOW MT worden scores geaggregeerd op basis van de aanwezigheid van doelwoorden in de output.

De auteurs hebben zes state-of-the-art (SOTA) meertalige LLMs geëvalueerd: aya-101, aya-23-8b, bloomz-7b1-mt, falcon-7b-instruct, gemma-2b-it, en Llama-3.1-8B-Instruct. Vanwege computationele beperkingen werd een "lite" versie van de benchmark gebruikt, waarbij maximaal 300 vocabulaire-items per taal werden gesampled voor WT/WTWC en 30% van de beschikbare data voor taken op zinniveau.

Belangrijkste Resultaten

Prestatiekloven: Alle zes de geëvalueerde modellen vertoonden aanzienlijke ruimte voor verbetering, met name bij laag-resource talen (LRLs). De benchmark fungeert succesvol als een uitdagende maatstaf voor meertalige prestaties.
Directionele Dispariteit: Modellen presteerden consistent beter in de richting van begrip ( $X \to \text{model}$ ) dan in de richting van generatie ( $\text{model} \to X$ ), wat wijst op een kloof tussen Natural Language Understanding (NLU) en Natural Language Generation (NLG) in meertalige omgevingen.
Correlatie met Resources en Taalfamilies: Prestaties waren sterk gecorreleerd met het niveau van taalresources (geproxy door Wikipedia-documentenaantallen) en taalfamilies. Indo-Europese talen presteerden consequent beter dan ondervertegenwoordigde families zoals Austronesisch en Atlantic-Congo. De relatie tussen het resourceniveau en prestaties bleek ongeveer logaritmisch te zijn.
Verschillen tussen Modellen: Het aya-101 model behaalde de hoogste gemiddelde scores op vijf van de acht subtaken. De auteurs schrijven dit toe aan de encoder-decoder architectuur, het grotere aantal parameters (13B) en de instructie-tuning op 101 talen.
Correlatie met MT: Scores voor Woordvertaling (WT) vertoonden een sterke lineaire correlatie met machinevertaling-scores op zinniveau (BLEU) op FLORES+ data ( $r \approx 0,87$ voor $X \to \text{model}$ ). Dit suggereert dat WT kan dienen als een kosteneffectieve proxy voor het evalueren van machinevertalingscapaciteiten bij gebrek aan uitgebreide bitext.

Betekenis en Claims

Het artikel positioneert ChiKhaPo als een cruciale stap naar het aanpakken van taalongelijkheid in NLP. De belangrijkste bijdragen zijn:

Massale Schaal: Het biedt de eerste lexicale competentie benchmark die meer dan 2.700 talen dekt, waarmee het de taaldekking van elke bestaande benchmark met een orde van grootte overtreft.
Granulaire Evaluatie: Het verschuift de focus van complexe redenering naar "atomaire" woordniveau-competentie, waardoor onderzoekers de fundamentele linguïstische capaciteiten van LLMs in specifieke talen kunnen volgen.
Resource-efficiëntie: Door gebruik te maken van bestaande lexicons en monolinguale data, maakt het de evaluatie mogelijk van talen waarvoor geen parallelle corpora bestaan.

De auteurs claimen bescheiden dat, hoewel de benchmark steunt op publieke bronnen (die ruis kunnen bevatten, met name PanLex), het succesvol de dringende noodzaak voor verbeterde meertalige evaluatie onderstreept. Ze hopen dat dit werk de verzameling van betere lexicale resources voor laag-resource talen zal stimuleren en de massaal meertalige benchmarking van LLMs zal bevorderen als een noodzakelijke stap naar meer rechtvaardige AI-systemen.