💬 NLP

Multi-lingual Functional Evaluation for Large Language Models

Dit paper introduceert nieuwe meertalige functionele benchmarks, CL-GSM Symbolic en CL-IFEval, om de beperkingen van bestaande statische evaluaties te overwinnen en toont aan dat er aanzienlijke verschillen bestaan tussen statische benchmarks en de daadwerkelijke prestaties en robuustheid van grote taalmodellen in verschillende talen.

Oorspronkelijke auteurs: Victor Ojewale, Inioluwa Deborah Raji, Suresh Venkatasubramanian

Gepubliceerd 2026-03-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Victor Ojewale, Inioluwa Deborah Raji, Suresh Venkatasubramanian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Het echte taaltesten voor slimme robots: Waarom "kennis" niet hetzelfde is als "kunnen"

Stel je voor dat je een groep zeer intelligente studenten hebt die je wilt testen op hun vaardigheid in verschillende talen. Tot nu toe hebben we ze alleen getest met statische examens: een boek met vragen en antwoorden dat ze uit hun hoofd moeten leren of snel moeten opzoeken. Dit zijn de bekende benchmarks zoals M-MMLU of Belebele.

Het probleem? Een student kan een boek uit zijn hoofd leren (een hoge score halen), maar als je hem vraagt om live een opdracht uit te voeren, kan het misgaan. Misschien begrijpt hij de instructie niet goed, of maakt hij een fout in de logica.

De auteurs van dit paper (Victor, Inioluwa en Suresh) zeggen: "Laten we stoppen met alleen kijken naar wat ze uit hun hoofd weten, en kijken of ze echt kunnen doen wat we vragen in verschillende talen."

Hier is een uitleg van hun onderzoek, vertaald naar alledaagse taal en met een paar creatieve vergelijkingen.

1. De twee soorten tests: Het Woordenboek vs. De Werkplek

Stel je twee soorten tests voor:

De Statische Test (Het Woordenboek): Dit is zoals een meerkeuze-examen. De vragen zijn vast. Als de AI het antwoord in zijn "geheugen" heeft, scoort hij hoog. Dit is wat de meeste huidige tests doen.
De Functionele Test (De Werkplek): Dit is een live opdracht. Je zegt tegen de AI: "Schrijf een verhaal, maar gebruik geen komma's, en zorg dat het precies 100 woorden lang is." Of: "Bereken hoeveel appels er zijn, maar vergeet de rode niet."

De auteurs hebben twee nieuwe tests gemaakt die werken als een recept:

CL-GSM Symbolic: Een wiskunderecept. De basisvraag is altijd hetzelfde, maar de ingrediënten (namen, aantallen, kleuren) wisselen. De AI moet het recept volgen, niet het antwoord uit het hoofd kennen.
CL-IFEval: Een instructievolg-recept. De AI moet strikt volgen wat er staat (bijv. "gebruik hoofdletters", "zet een punt aan het einde").

Ze hebben deze tests vertaald naar vijf talen: Frans, Spaans, Hindi, Arabisch en Yoruba (een taal uit Nigeria).

2. Het Grote Ontmaskeren: De "Illusie" van Meertaligheid

Wat ontdekten ze? Het is alsof je een atleet test die op de loopband (statische test) snel loopt, maar op het echte terrein (functionele test) struikelt.

De kloof is groot: AI-modellen doen het vaak fantastisch op de statische tests in talen als Frans en Spaans. Maar zodra je ze vraagt om actief instructies te volgen of wiskundige logica toe te passen in diezelfde talen, zakt hun prestatie drastisch.
- Vergelijking: Het is alsof iemand perfect kan reciteren wat er in een kookboek staat (statisch), maar als je hem de keuken in stopt om een taart te bakken (functioneel), verbrandt hij de taart omdat hij de instructies niet goed volgt.
De kloof is onevenwichtig: De daling in prestaties is niet voor iedereen hetzelfde. Voor sommige modellen en talen is de daling enorm (tot wel 24% minder goed!), terwijl het bij andere tests nauwelijks zakt.

3. De Taal-Realiteit: Niet alle talen zijn gelijk

Het onderzoek toont aan dat AI-modellen heel selectief zijn in welke talen ze goed zijn.

De "Sterke" Talen: Engels, Frans en Spaans doen het vaak goed, maar zelfs daar zakt de prestatie als de opdracht complex wordt.
De "Moeilijke" Talen: Talen als Yoruba (een laag-resourcetaal) krijgen het zwaar. Hier zakt de prestatie van de AI soms tot bijna nul.
- Vergelijking: Stel je voor dat de AI een superheld is. In zijn thuisstad (Engels) kan hij vliegen en muren doorbreken. In een andere stad (Frans) kan hij nog steeds vliegen, maar wat minder snel. Maar in een dorpje ver weg (Yoruba) kan hij amper lopen. De statische tests lieten dit niet zien, maar de functionele tests wel.

4. Waarom is dit belangrijk?

Tot nu toe hebben we AI-modellen geroemd omdat ze hoge scores haalden op statische benchmarks. Dit paper zegt: "Wacht even, die scores liegen een beetje."

Als je een AI wilt gebruiken in de echte wereld (bijvoorbeeld voor klantenservice in Nigeria of voor wiskundehulp in India), en je vertrouwt alleen op de statische scores, dan loop je het risico dat de AI faalt op het moment dat het er echt toe doet.

De kernboodschap in één zin:
Een AI die goed lijkt op papier (statische test), is niet per se een AI die goed werkt in de praktijk (functionele test), vooral niet als je verder kijkt dan het Engels.

Conclusie: De "Echte" Test

De auteurs hebben met hun nieuwe tests laten zien dat we AI-modellen moeten testen op hun werkvermogen, niet alleen op hun kennis. Het is het verschil tussen iemand die de regels van het voetbal uit zijn hoofd kent, en iemand die daadwerkelijk kan voetballen op een modderig veld met een vreemde bal.

Door deze nieuwe "functionele" tests te gebruiken, kunnen we zien welke modellen echt robuust zijn en welke alleen maar goed zijn in het uitpluizen van bestaande data. Dit helpt ontwikkelaars om betere, eerlijkere en betrouwbaardere AI's te bouwen voor iedereen, in elke taal.

Titel: Multi-linguale Functionele Evaluatie voor Grootte Taalmodellen (LLM's)

Auteurs: Victor Ojewale, Inioluwa Deborah Raji, Suresh Venkatasubramanian
Affiliaties: Brown University & UC Berkeley

1. Het Probleem

Huidige evaluaties van meertalige competentie in Grootte Taalmodellen (LLM's) vertrouwen voornamelijk op statische data-benchmarks zoals M-MMLU, M-GSM en Belebele. Hoewel deze nuttig zijn, hebben ze significante tekortkomingen:

Gebrek aan functionele robuustheid: Ze meten vaak alleen kennisherroeping of statische vertaling, maar falen om te beoordelen of een model instructies consistent en correct kan uitvoeren over verschillende talen en prompt-variatiën.
Culturele en contextuele tekortkomingen: Veel benchmarks zijn directe vertalingen van Engelstalige datasets, wat leidt tot een gebrek aan culturele relevantie en realistische context.
Verborgen prestatiekloven: Statische benchmarks geven vaak een te optimistisch beeld van de prestaties van modellen in niet-Engelse talen, waardoor de werkelijke kwetsbaarheid en bias in meertalige deployments worden gemaskeerd.

2. Methodologie

De auteurs introduceren een nieuwe evaluatieparadigma: Functionele Evaluatie. In plaats van vaste vragen, worden prompts gegenereerd via vaste sjablonen met variabele elementen. Dit stelt onderzoekers in staat om de robuustheid van een model te testen tegen variaties in de input.

De Nieuwe Benchmarks:
De auteurs hebben twee bestaande Engelstalige functionele benchmarks vertaald en uitgebreid naar vijf extra talen (Frans, Spaans, Hindi, Arabisch en Yoruba), die een breed scala aan NLP-bronnen vertegenwoordigen (van hoog- tot extreem laag-resource):

CL-GSM Symbolic (Cross-Lingual Grade School Math Symbolic): Gebaseerd op GSM-Symbolic. Het gebruikt wiskundige sjablonen waarbij variabelen (zoals aantallen, kleuren, namen) worden gevarieerd. Het grondwaarheid (ground truth) wordt berekend via een vaste functionele transformatie ( $f(X)$ ), wat zorgt voor exacte, verifieerbare antwoorden.
CL-IFEval (Cross-Lingual Instruction-Following Eval): Gebaseerd op IFEval. Dit bevat instructies met verifieerbare beperkingen (bijv. "gebruik geen komma's", "schrijf in hoofdletters", "beperk het aantal woorden").

Dataverzameling en Validatie:

Vertaling: Initieel gegenereerd met Google Translate.
Menselijke Validatie: Moedertaalsprekers (inclusief een native speaker voor Yoruba in Nigeria) hebben alle vertalingen gevalideerd.
Kwaliteitscontrole: Er werd gekeken naar betekenisgetrouwheid, instructie-uitvoering en culturele geschiktheid. Prompts die niet verifieerbaar waren in bepaalde schrijfsystemen (bijv. hoofdlettergevoeligheid in Arabisch) werden verwijderd om vergelijkbaarheid te waarborgen.
Dataset: CL-GSM Symbolic bevat 5.000 QA-paren per taal (100 sjablonen x 50 varianten). CL-IFEval bevat 371 gevalideerde prompts.

Evaluatie:
De benchmarks werden getest op zes open-source LLM's (o.a. Aya, Gemma, Qwen, Mistral, Mixtral) met behulp van Chain-of-Thought (CoT) prompting waar van toepassing.

3. Belangrijkste Bijdragen

Nieuwe Functionele Benchmarks: De creatie van CL-GSM Symbolic en CL-IFEval als de eerste systematische, meertalige functionele evaluatiesets die variatie in prompts en verifieerbare grondwaarheid combineren.
Inzicht in de "Static vs. Functional" Gap: Het paper demonstreert dat er een aanzienlijke discrepantie bestaat tussen prestaties op statische benchmarks en functionele benchmarks. Modellen die hoog scoren op statische tests, zakken vaak dramatisch in prestatie wanneer ze geconfronteerd worden met dynamische, functionele taken.
Taalgebonden Robuustheid: Het onthullen dat modelrobustheid sterk varieert per taal en instructietype. Sommige talen (zoals Engels en Arabisch) presteren consistent beter dan andere (zoals Yoruba), maar zelfs binnen "hoog-resource" talen zijn de kloven groot.

4. Resultaten

De resultaten tonen een complex en vaak zorgwekkend beeld:

Prestatiekloof (Static vs. Functional):
- De daling in prestatie van statische naar functionele benchmarks is aanzienlijk. Bijvoorbeeld, de daling van M-GSM naar CL-GSM Symbolic bedraagt 24% (Engels), 17% (Frans) en 18% (Spaans).
- De daling van Belebele naar CL-IFEval varieert tussen 15% en 24% over de talen.
- Interessant genoeg is de daling van M-MMLU naar CL-IFEval veel kleiner (0,5% - 3%), wat suggereert dat M-MMLU beter correleert met functionele prestaties dan M-GSM.
Taalprestatie-kloven:
- Functionele evaluaties onthullen veel grotere verschillen tussen talen dan statische benchmarks. Voor het model Aya-expanse-32B is de prestatiekloof tussen hoog-resource talen op statische benchmarks slechts 5,89%, maar op de functionele CL-IFEval benchmark is deze 25,88%.
- Voor Qwen3-8B is de kloof op CL-IFEval 31%, terwijl deze op statische benchmarks rond de 3-14% ligt.
Modelranking en Stabiliteit:
- De rangschikking van modellen verandert drastisch afhankelijk van of er een statische of functionele benchmark wordt gebruikt. Een model dat hoog scoort op statische tests (bijv. Aya-23-35B op Belebele), kan lager scoren dan concurrenten op functionele tests (CL-IFEval).
- Robuustheid: Modellen blijken stabiel voor bepaalde talen maar kwetsbaar voor andere, afhankelijk van de instructietype. Bijvoorbeeld, het "Start/End" instructie-type faalt volledig voor alle modellen in het Yoruba.
- Wiskundige redenering: In tegenstelling tot instructie-opvolging, is de prestatiekloof voor wiskundige redenering (CL-GSM Symbolic) soms kleiner dan op statische benchmarks, wat suggereert dat wiskundige logica soms beter overdraagbaar is dan natuurlijke taal-instructies.
Laag-resource talen:
- Talen zoals Yoruba tonen extreme prestatiedalingen (soms onder de 15% op CL-IFEval), wat de ernstige beperkingen van huidige LLM's in laag-resource contexten benadrukt.

5. Betekenis en Conclusie

Dit paper is van cruciaal belang voor de gemeenschap van AI-ontwikkeling en -evaluatie:

Herdefinitie van Succes: Het stelt dat hoge scores op statische benchmarks (zoals M-MMLU) niet voldoende zijn om te claimen dat een model "meertalig competent" is. Functionele robuustheid is een betere maatstaf voor praktische inzetbaarheid.
Transparantie: Het benadrukt de noodzaak van transparante, reproduceerbare evaluaties die variatie in prompts omvatten, in plaats van statische datasets die mogelijk verontreinigd zijn met trainingsdata.
Toekomstige Richting: De auteurs pleiten voor het gebruik van dergelijke functionele frameworks in de training en evaluatie van toekomstige meertalige redeneermodellen. Ze wijzen ook op de beperkingen van hun werk (zoals het gebruik van automatische vertaling en de focus op open-weight modellen) en roepen op tot verdere verbetering van vertaalkwaliteit en uitbreiding naar multimodale evaluaties.

Kortom, de studie waarschuwt dat we de "meertalige" vaardigheden van LLM's niet moeten overschatten op basis van huidige benchmarks en dat functionele evaluaties essentieel zijn om de echte bruikbaarheid en eerlijkheid van AI-systemen wereldwijd te begrijpen.