💬 NLP

MultiBLiMP 1.0: A Massively Multilingual Benchmark of Linguistic Minimal Pairs

Het artikel introduceert MultiBLiMP 1.0, een volledig geautomatiseerde, massaal meertalige benchmark met meer dan 128.000 minimale paren in 101 talen die de vaardigheid van grote taalmodellen in onderwerp-werkwoordovereenkomst evalueert en aanzienlijke tekortkomingen in de modellering van talen met beperkte middelen blootlegt.

Oorspronkelijke auteurs: Jaap Jumelet, Leonie Weissweiler, Joakim Nivre, Arianna Bisazza

Gepubliceerd 2026-05-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jaap Jumelet, Leonie Weissweiler, Joakim Nivre, Arianna Bisazza

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om 101 verschillende talen te spreken. Je zou kunnen denken: "Grootartig! Het kan met iedereen chatten!" Maar er is een verborgen probleem: alleen omdat een robot een grappig verhaal in het Frans kan vertellen, betekent niet dat het de grammaticaregels van het Frans daadwerkelijk begrijpt. Het zou kunnen gokken op basis van patronen die het zag in zijn trainingsdata, in plaats van de regels echt te "kennen".

Dit artikel introduceert MultiBLiMP 1.0, een enorme nieuwe test die is ontworpen om te zien of deze AI-robots de grammaticaregels daadwerkelijk kennen, of dat ze het gewoon doen alsof.

Hier is een uiteenzetting van wat ze deden, met behulp van eenvoudige analogieën:

1. De "Grammatica-Politie" Test (Minimale Paren)

Stel je voor dat je twee zinnen hebt die bijna identiek zijn, zoals tweelingen:

Zin A: "De kat slaapt." (Correct)
Zin B: "De kat slapen." (Incorrect)

Het enige verschil is één klein woord. Een mens weet direct dat Zin B fout is. Maar weet de AI het ook?

MultiBLiMP is een gigantische verzameling van meer dan 128.000 van deze "tweelingzinnen" (minimale paren genoemd) die 101 talen bestrijken. De test is simpel: de AI kijkt naar het paar en moet raden welke de "goede" zin is. Als het de verkeerde kiest, betekent dit dat het de regel niet begrijpt (in dit geval dat een enkelvoudige kat een enkelvoudig werkwoord nodig heeft).

2. De Fabriek die de Test Bouwde

Het handmatig maken van deze tests voor 101 talen zou mensen jaren kosten. In plaats daarvan bouwden de auteurs een volledig geautomatiseerde fabriek.

Ze gebruikten twee gigantische digitale bibliotheken met taaldata (Universal Dependencies en UniMorph) als grondstoffen.
Ze programmeerden een pijplijn (een stap-voor-stap assemblagelijn) om zinnen te vinden, de grammaticaregels te identificeren en vervolgens automatisch één van de zinnen te "breken" om de verkeerde versie te creëren.
Denk hierbij aan een robotkok die een perfecte taart neemt, één ingrediënt verwisselt om de smaak te bederven, en vervolgens de AI vraagt: "Welke is de echte taart?"

3. De Resultaten: Groot versus Klein, en Pre-Training versus Post-Training

De onderzoekers testten 42 verschillende AI-modellen (van kleine tot enorme modellen) op deze grammicatest. Dit is wat ze vonden:

Grootte Maakt Uit (De "Bibliotheek" Analogie): Over het algemeen deden grotere modellen (met meer "hersencapaciteit" of parameters) het beter. Het is als een student die meer boeken heeft gelezen en daardoor waarschijnlijker de grammaticaregels kent.
Het "Taal Dieet" Maakt Uit: Modellen presteerden het beste op talen die zeer voorkwamen in hun trainingsdata (zoals Engels of Spaans). Als een taal zeldzaam was in de data (zoals een taal met weinig bronnen), hadden de modellen moeite, zelfs als ze enorm waren. Het is als een kok die alleen weet hoe hij Italiaans eten moet koken; als je vraagt om een zeldzaam gerecht uit een specifiek dorp in de Andes te koken, zal hij het waarschijnlijk verprutsen.
De "Fine-Tuning" Valstrik: Dit was een verrassende bevinding. De onderzoekers vergeleken de "ruwe" AI (nadat het het internet had geleerd) met de "gepolijste" AI (nadat mensen het hadden geleerd hoe het behulpzaam moest zijn en instructies moest volgen).
- De Ruwe AI was eigenlijk beter in grammatica.
- De Gepolijste AI werd slechter in grammatica.
- Analogie: Stel je een briljante student voor die alle grammaticaregels kent. Vervolgens gaat die student naar een "klantenschool" om te leren hoe het beleefd en behulpzaam moet zijn. Als het terugkomt, is het geweldig in het aardig zijn, maar heeft het sommige van de strenge grammaticaregels vergeten die het vroeger kende. Het "polijstingsproces" maakte ze per ongeluk slechter in de grammicatest.

4. Waarom Dit Belangrijk Is

Het artikel stelt dat we moeten stoppen met AI's alleen maar te vragen om "een gedicht te schrijven" of "een document te vertalen" om te zien of ze slim zijn. Die taken zijn te rommelig; de AI kan het juiste antwoord geven om de verkeerde redenen.

MultiBLiMP is als een pure wiskundetest voor taal. Het haalt de behoefte aan wereldkennis of creativiteit weg en stelt een simpele vraag: "Ken je de regels?"

De Conclusie

Het artikel concludeert dat, terwijl onze AI-modellen beter worden in het praten met ons, ze nog steeds wankel zijn op de fundamentele regels van de grammatica, vooral voor talen die niet erg vaak op internet voorkomen. Bovendien kan het proces om deze modellen "behulpzaam" te maken (chatmodus) hun vermogen om strenge grammaticaregels te begrijpen, eigenlijk schaden.

De auteurs hopen dat deze tool onderzoekers zal helpen betere modellen te bouwen die niet alleen vloeiend klinken, maar de structuur van de taal daadwerkelijk begrijpen.

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker getraind op enorme, meertalige corpora. Echter, de huidige evaluatiemethoden voor deze modellen lijden onder twee hoofdbeperkingen met betrekking tot formele linguïstische competentie (kennis van grammaticale regels en statistische regulariteiten):

Grofkorrelige Evaluatie: Bestaande meertalige benchmarks vertrouwen vaak op generatieve taken (vertaling, samenvatting) of perplexiteit. Deze verwarren formele competentie met functionele competentie (wereldkennis) en slagen er niet in om specifieke syntactische fouten te isoleren.
Engels-gerichte Minimale Paren: Hoewel benchmarks met "minimale paren" (het vergelijken van grammaticale versus ongrammaticale zinsvarianten) bestaan voor het Engels (bijv. BLiMP), zijn ze schaars voor andere talen. Bestaande niet-Engelse benchmarks zijn vaak monolinguaal, handmatig samengesteld of beperkt tot talen met veel bronnen, wat een schaalbare beoordeling verhindert van hoe LLM's omgaan met syntaxis in diverse linguïstische typologieën.

De auteurs beogen deze kloof te dichten door een massief meertalige, geautomatiseerde benchmark te creëren om de formele syntactische vaardigheden van LLM's te evalueren, met name gericht op onderwerp-werkwoordovereenkomst.

2. Methodologie

De kernbijdrage is MultiBLiMP 1.0, een pijplijn voor de automatische generatie van linguïstische minimale paren in 101 talen. Het systeem maakt gebruik van twee grootschalige linguïstische bronnen: Universal Dependencies (UD) en UniMorph.

De Pijplijn (4 Fasen)

Extraheren van Kandidaten:
- Het systeem parseert UD-treebanks om relaties tussen onderwerp en werkwoord en tussen onderwerp en participium te identificeren.
- Het past filters toe om geldige syntactische structuren te waarborgen (bijv. het verwijderen van zinnen met reparandum-afhankelijkheden, vreemde woorden of clausulaire onderwerpen die de vorming van minimale paren bemoeilijken).
- Het richt zich op specifieke morfologische kenmerken: Aantal, Persoon en Geslacht.
Validatie van Overeenkomst (Data-gedreven Filter):
- Om te waarborgen dat de gegenereerde "ongrammaticale" zinnen daadwerkelijk overtredingen zijn in de doeltaal, berekent het systeem conditionele kansen van het samen voorkomen van kenmerken (bijv. $P(\text{Werkwoord}=PL | \text{Onderwerp}=PL)$ ).
- Het voert statistische significantietests uit (binomiale test) om te bevestigen dat een taal strikte overeenkomst vertoont voor een specifiek kenmerk. Als een taal optionele overeenkomst toestaat (bijv. meervoudsmarkering in het Turks), wordt die specifieke voorwaarde verworpen om valse negatieven te voorkomen.
Inflectie:
- Zodra een geldige kandidaat is gevonden, gebruikt het systeem UniMorph om de geïnflecteerde vorm van het werkwoord te genereren die de overeenkomstregel schendt (bijv. het veranderen van een enkelvoudig werkwoord naar meervoud).
- Het behandelt lemma-disambiguatie en transliteratie om ervoor te zorgen dat de gegenereerde vorm morfologisch correct is, maar syntactisch niet overeenkomt met het onderwerp.
Dataset Balancering:
- Om bias ten opzichte van specifieke lexicaal items of zinsstructuren te voorkomen, wordt de dataset verkleind en gebalanceerd.
- Het systeem zorgt voor een evenredige verdeling van kenmerken zoals de afstand tussen onderwerp en werkwoord, aantrekkende zelfstandige naamwoorden (tussenliggend materiaal) en waarden van morfologische kenmerken.

Omvang

Talen: 101 talen (dekkend 14 taalfamilies).
Datavolume: 128.321 minimale paren (afgeleid van een initiële pool van 1,4 miljoen).
Verschijnselen: Onderwerp-werkwoordovereenkomst en Onderwerp-participiumovereenkomst over Aantal, Persoon en Geslacht.

3. Kernbijdragen

Massieve Meertalige Schaal: De eerste benchmark van dit type die 101 talen bestrijkt, wat een aanzienlijke uitbreiding vormt ten opzichte van de Engels-gerichte BLiMP en andere monolinguale inspanningen.
Volledig Geautomatiseerde Pijplijn: Een innovatieve, taal-onafhankelijke pijplijn die minimale paren genereert zonder menselijke interventie, vertrouwend op UD en UniMorph. Dit maakt snelle uitbreiding naar andere linguïstische verschijnselen mogelijk.
Rigoureuze Validatie: Een data-gedreven statistische aanpak om te verifiëren dat gegenereerde minimale paren echte grammaticale overtredingen zijn in de doeltaal, waarmee het "optionele overeenkomst"-probleem wordt aangepakt dat vaak voorkomt bij cross-linguale evaluatie.
Uitgebreide Evaluatie: Evaluatie van 42 LLM's (waaronder Llama 3, Gemma 3, Qwen 3, OLMo 2, Aya en EuroLLM) voor zowel base (voorgetrainde) als chat (na-getrainde) versies.

4. Experimentele Resultaten

De auteurs evalueerden 42 modellen op de 128k+ minimale paren. Belangrijkste bevindingen zijn:

Correlatie met Modelgrootte: Linguïstische competentie wordt sterk gedreven door de modelgrootte. Grotere modellen (bijv. Llama-70B, Gemma-27B) presteren consequent beter dan kleinere.
Impact van Na-training (Instruction Tuning): Tegen-intuïtief degradeert na-training (chat-versies) vaak de formele syntactische competentie in vergelijking met de base voorgetrainde modellen. Bijvoorbeeld, Llama-70B-chat presteerde slechter dan Llama-70B-base op veel talen.
Data-frequentie Bias: Prestaties correleren sterk met de frequentie van de taal in de trainingsdata (Common Crawl). Talen met weinig bronnen vertonen aanzienlijk lagere nauwkeurigheid.
Monolinguaal versus Meertalig: Goldfish (een suite van monolinguale modellen getraind op gelijke hoeveelheden data) presteerde aanzienlijk beter dan grote meertalige LLM's op 14 van de 101 talen, met name die met weinig bronnen. Dit suggereert dat meertalige LLM's worstelen wanneer een taal een tiny fractie uitmaakt van de trainingsmix.
Tokenisatieproblemen: De "subwoord-delta" (verschil in tokenaantal tussen correcte en incorrecte vormen) heeft een negatief effect op de prestaties, wat suggereert dat inefficiënties in tokenizers bijdragen aan fouten.
Specifieke Verschijnselen: Modellen presteren het beste op Persoon-overeenkomst (vaak betrokken bij gesloten-klassen voornaamwoorden) en het slechtst op Geslacht- en Aantal-overeenkomst (vereisen de acquisitie van open-klassen kenmerken).

5. Betekenis en Toekomstige Implicaties

Diagnostisch Hulpmiddel: MultiBLiMP 1.0 biedt een gedetailleerd beeld van waar LLM's syntactisch falen, verder gaand dan "black box" generatieve metrics.
Trainingsaanbevelingen: De resultaten suggereren dat voor talen met weinig bronnen gerichte regionale monolinguale initiatieven effectiever kunnen zijn dan het integreren van deze talen in enorme meertalige mixes, aangezien laatstgenoemde de formele competentie verdunt.
Interpreteerbaarheid: De benchmark biedt een unificerend kader voor het bestuderen van hoe LLM's grammaticale regels leren en representeren in typologisch diverse talen, wat bijdraagt aan de ontwikkeling van betere interpretatiehulpmiddelen.
Validatie van Bronnen: Het werk demonstreert de aanhoudende kritische waarde van traditionele linguïstische bronnen (UD, UniMorph) in het tijdperk van LLM's, bewijzend dat deze essentieel zijn voor rigoureuze, regelgebaseerde evaluatie.

Concluderend onthult MultiBLiMP 1.0 dat hoewel moderne LLM's indrukwekkende meertalige capaciteiten bezitten, hun formele syntactische competentie fragiel is, sterk afhankelijk van datavolume, en vaak wordt gedegradeerd door instruction tuning, wat wijst op de noodzaak van meer gebalanceerde en gerichte trainingsstrategieën voor talen met weinig bronnen.