CulturALL: Benchmarking Multilingual and Multicultural Competence of LLMs on Grounded Tasks

Probleemstelling

Grote Taalmodellen (LLMs) worden wereldwijd ingezet, wat heeft geleid tot een golf van benchmarks die hun meertalige en multiculturele vaardigheden meten. Echter, de bestaande benchmarks (zoals BLEND, INCLUDE en Global MMLU) hebben twee fundamentele tekortkomingen:

1. Focus op trivia: Ze testen voornamelijk encyclopedische kennis of oppervlakkige culturele feiten, in plaats van de toepassing van kennis in realistische situaties.
2. Gebrek aan "Grounded Tasks": Ze evalueren niet hoe modellen presteren in contextrijke, alledaagse scenario's waarbij redenering nodig is (bijv. het plannen van een reis of het doen van een aankoop).

Er is een kritiek gat in de evaluatie: hoe goed kunnen LLMs complexe, contextgebonden taken uitvoeren die vereisen dat ze taalbegrip, culturele kennis en logisch redeneren combineren?

Methodologie: CulturALL

Om dit gat te dichten, introduceren de auteurs CulturALL, een uitgebreide en uitdagende benchmark. De dataset is opgebouwd via een innovatief mens-AI samenwerkingskader dat bestaat uit vier fasen:

1. Fase 1: Bronnen voor Culturele Thema's (Cultural Topic Sourcing)

   • Er werd een lijst van 16 thema's samengesteld die het dagelijks leven en de samenleving bestrijken (bijv. onderwijs, reizen, gezondheid, erfgoed).
   • Dit werd gedaan door menselijke experts te combineren met iteratieve verrijking door LLMs (GPT-4o).

2. Fase 2: Creatie van Voorbeelden (Sample Creation)

   • Bronnen: Voorbeelden komen uit persoonlijke ervaringen van annotatoren (voor authenticiteit), cross-linguale inspiratie (vertalingen van bestaande voorbeelden), bestaande datasets (die worden herschreven naar contextuele scenario's) en online bronnen (zoals Xiaohongshu).
   • Formaat: Elk item bevat een scenario, een vraag, een objectief antwoord en een uitleg. De vragen zijn ontworpen zodat ze niet kunnen worden beantwoord zonder specifieke culturele kennis.

3. Fase 3: Verrijking van Voorbeelden (Sample Enrichment)

   • Om de moeilijkheidsgraad te verhogen, ondergaan de voorbeelden een "up-leveling" proces:
     • Long-Tail Swap: Algemene entiteiten worden vervangen door zeldzamere, specifiekere (bijv. "Hong Kong" wordt "MacLehose Trail").
     • Meer/Minder Context: Situatie-details worden toegevoegd of verwijderd om multi-stap redenering te forceren.
     • Compositional: Onafhankelijke kennispunten worden gecombineerd in één query.
   • Moeilijkheidsmeting: Drie krachtige LLMs evalueren de voorbeelden. Als een voorbeeld door meer dan één model correct wordt opgelost, wordt het als "makkelijk" beschouwd en onderworpen aan verdere verrijking.

4. Fase 4: Klaar voor Release (Release-Ready)

   • Metadata (regio, thema) wordt automatisch gegenereerd.
   • Vertalingen naar het Engels worden gemaakt voor consistentie.
   • Kwaliteitscontrole: Menselijke peer-reviewers controleren op juistheid, relevantie, vertaalkwaliteit en schadelijke inhoud.

Dataset Statistieken:

• Aantal samples: 2.610.
• Talen: 14 talen.
• Regio's: 51 regio's (landen).
• Thema's: 16 diverse categorieën.
• Moeilijkheidsverdeling: 55% Hard, 27% Medium, 18% Makkelijk (gebaseerd op prestaties van 15 modelconfiguraties).

Belangrijkste Resultaten

De auteurs hebben 15 verschillende configuraties van state-of-the-art LLMs (zowel gesloten bron zoals Gemini, GPT-5, Claude als open source zoals Qwen) getest op CulturALL.

1. Algemene Prestaties: Zelfs het beste model (gemini-2.5-pro met web search en automatische redenering) bereikte slechts 44,48% nauwkeurigheid. Dit toont aan dat er aanzienlijke ruimte voor verbetering is.
2. Gesloten vs. Open Source: Gesloten modellen presteerden aanzienlijk beter dan open-source modellen. De beste open-source configuratie (Qwen3-235b) behaalde slechts 23,68%.
3. Invloed van Web Search: Het gebruik van web search was cruciaal voor gesloten modellen (bijv. +6,59% voor Gemini), maar had weinig tot geen positief effect op open-source modellen, wat suggereert dat deze modellen niet goed leren om externe informatie te integreren voor culturele taken.
4. Moeilijkheidsniveaus:
   • Op makkelijke taken presteerden modellen redelijk goed (tot 92% voor Gemini).
   • Op moeilijke taken daalde de prestatie drastisch (onder de 20% voor de beste modellen).
5. Taalverschillen: Er is een grote variatie in prestaties per taal. Modellen presteren vaak slechter in niet-Engelse talen, zelfs als de prompt in die taal wordt gegeven.
6. Taal van de Prompt: Het gebruik van native prompts leverde betere resultaten op dan het gebruik van vertaalde Engelse prompts (verschil van ~8%). Dit benadrukt dat culturele nuances vaak verloren gaan bij vertaling.

Bijdragen

1. Uniek Framework: Een bewezen mens-AI samenwerkingskader voor het genereren van benchmarks met hoge dekking en moeilijkheidsgraad.
2. CulturALL Benchmark: De eerste benchmark die specifiek is ontworpen om meertalige en multiculturele competentie te evalueren in realistische, contextgebonden taken (grounded tasks).
3. Diepgaande Analyse: Een uitgebreide evaluatie van SOTA-modellen die inzicht geeft in hun sterke punten en falen, met name wat betreft redenering en informatiezoekopdrachten in culturele contexten.

Betekenis en Toekomstperspectief

CulturALL markeert een verschuiving in de evaluatie van LLMs: van het testen van statische kennis (trivia) naar het testen van dynamische toepassing van kennis in complexe, cultureel geladen situaties.

De resultaten tonen aan dat huidige modellen, ondanks hun indrukwekkende taalvaardigheden, nog niet klaar zijn voor de realiteit van wereldwijde, cultureel diverse toepassingen. Ze worstelen met het integreren van lange staart-kennis en het redeneren in meerdere stappen binnen specifieke culturele contexten.

Beperkingen en Toekomst:
De auteurs erkennen dat de dataset nog vertekeningen heeft in bepaalde regio's en dat de focus ligt op objectieve antwoorden, terwijl veel culturele interacties subjectief zijn. Toekomstig werk moet zich richten op fijnmazigere culturele dimensies (religie, geslacht, leeftijd) en het evalueren van multimodale input en vrije tekstgeneratie.

Kortom, CulturALL biedt een noodzakelijke en uitdagende maatstaf om de volgende generatie LLMs te ontwikkelen die werkelijk inclusief en contextbewust zijn.