💬 NLP

Beyond Understanding: Evaluating the Pragmatic Gap in LLMs' Cultural Processing of Figurative Language

Dit onderzoek toont aan dat grote taalmodellen moeite hebben met het pragmatisch gebruik van cultureel ingebedde figuurlijke taal, met name in het Egyptisch-Arabisch, en introduceert het Kinayat-dataset om deze 'pragmatische kloof' verder te onderzoeken.

Oorspronkelijke auteurs: Mena Attia, Aashiq Muhamed, Mai Alkhamissi, Thamar Solorio, Mona Diab

Gepubliceerd 2026-02-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mena Attia, Aashiq Muhamed, Mai Alkhamissi, Thamar Solorio, Mona Diab

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, superintelligente robot hebt die elke tekst ter wereld kan lezen en vertalen. Hij lijkt alles te begrijpen. Maar wat gebeurt er als je hem vraagt om een oude, lokale grap te vertellen, of een spreekwoord te gebruiken op het juiste moment in een gesprek?

Dit is precies wat de onderzoekers van deze paper hebben onderzocht. Ze hebben gekeken of deze grote taalmodellen (LLMs) echt "cultureel slim" zijn, of dat ze alleen maar oppervlakkig meedoen.

Hier is de uitleg, vertaald naar alledaags Nederlands met een paar leuke vergelijkingen:

1. Het Probleem: De "Reisgids" vs. De "Lokale Gids"

Stel je voor dat een taalmodel een reistourist is die een boekje heeft gelezen over een land. Hij weet dat er in Egypte waterverkopers waren en dat ze in een dorpje woonden. Hij kan je vertellen: "Ah, dit spreekwoord betekent: 'Probeer niet slimmer te zijn dan de experts'."

Maar een lokale gids (een mens die daar opgroeide) weet ook waarom dat zo is, wanneer je het moet zeggen, en hoe het klinkt in een gesprek. Hij voelt de sfeer.

De onderzoekers ontdekten dat de robots (de AI's) vaak wel het boekje kunnen lezen, maar de lokale sfeer missen. Ze begrijpen de betekenis, maar falen als ze het moeten gebruiken.

2. De Drie Tests: Lezen, Gebruiken en Voelen

De onderzoekers hebben de AI's drie soorten tests laten doen, alsof je een student toetst op een vreemde taal:

Test 1: De Meerkeuzevraag (Begrijpen)
- De vraag: "Wat betekent dit spreekwoord?"
- Het resultaat: De AI's deden het best. Ze konden de betekenis vaak goed uitleggen. Het was alsof ze de definitie in het woordenboek hadden gelezen.
Test 2: De Context (Het juiste moment)
- De vraag: "Je zit in een gesprek. Jij moet nu een spreekwoord gebruiken om je punt te maken. Welk spreekwoord past hier?"
- Het resultaat: Hier klapten de AI's. Ze wisten wat het woord betekende, maar ze wisten niet wanneer je het moet zeggen. Het was alsof iemand die perfect Duits spreekt, op een verkeerd moment een grappige Duitse mop vertelt en de sfeer verpest.
- De "Pragmatische Kloof": De onderzoekers noemden dit een groot gat. De AI's waren ongeveer 14% minder goed in het gebruiken van spreekwoorden dan in het uitleggen ervan.
Test 3: De Emotie (Connotatie)
- De vraag: "Is dit spreekwoord positief, negatief of neutraal?"
- Het resultaat: Ook hier hadden ze moeite. Soms was een uitdrukking een beetje sarcastisch of had hij een dubbele bodem. De AI's zagen dat niet altijd en dachten dat het gewoon een neutraal feit was.

3. De Taal-Verhouding: Engels vs. Arabisch

De onderzoekers keken ook naar het verschil tussen Engels en Arabisch.

Engelse spreekwoorden: De AI's deden het hier het beste.
Arabisch (Standaard): Iets slechter.
Egyptisch dialect (Straattaal): Het allerzwaarst.

Waarom? Stel je voor dat de AI's zijn getraind op een enorme bibliotheek. In die bibliotheek staan heel veel Engelse boeken en standaard Arabische teksten. Maar de "straattaal" van Egypte (met al die lokale grappen en uitdrukkingen) staat daar veel minder in. Het is alsof je een student vraagt om een dialect te spreken dat hij alleen maar in één klein, oud boekje heeft gezien, terwijl hij de rest van de wereld perfect beheerst.

4. De Oplossing: "Kinayat" (De Nieuwe Schatkist)

Omdat er geen goede test was voor deze Egyptische uitdrukkingen, hebben de onderzoekers zelf een nieuwe schatkist gemaakt, genaamd Kinayat.

Dit is een verzameling van 325 Egyptische uitdrukkingen.
Ze hebben deze niet alleen vertaald, maar ook getest of de AI's ze in een zinnetje kunnen gebruiken.
Ze hebben zelfs mensen ingeschakeld om te kijken of de zinnen die de AI's maakten, echt klinken als iets wat een Egyptiër zou zeggen.

5. Het Grote Verdict

Wat is de conclusie van dit alles?

De AI's zijn briljante bibliothecarissen, maar nog geen sociale vrienden.

Ze kunnen feiten ophalen en uitleggen.
Maar ze hebben moeite met de "ongeschreven regels" van de cultuur. Ze weten niet hoe je een grapje maakt, wanneer je een spreekwoord gebruikt om iemand te troosten, of hoe je een uitdrukking in een gesprek laat vloeien.

De kernboodschap: Om echt slim te zijn, moet een computer niet alleen weten wat woorden betekenen, maar ook hoe mensen ze gebruiken in het echte leven. Tot die tijd blijven ze soms net iets te stijf en onnatuurlijk, vooral als het gaat om de warme, levendige wereld van cultuur en dialect.

Probleemstelling

Grote Taalmodellen (LLMs) hebben opmerkelijke vooruitgang geboekt in meertalig tekstbegrip en -generatie. Echter, hun vermogen om cultureel gewortelde betekenis te verwerken – specifiek hoe taal lokale kennis, sociale waarden en pragmatische nuances encodeert – blijft slecht begrepen.

De kern van het probleem is dat bestaande evaluaties zich voornamelijk richten op figuurlijk begrip (kunnen modellen een idioom of spreekwoord uitleggen?), maar verwaarlozen pragmatisch gebruik (kunnen modellen deze uitdrukkingen op de juiste, sociaal geschikte manier in context toepassen?). Figuurlijke taal, zoals idiomen en spreekwoorden, is diep geworteld in collectieve ervaring en culturele identiteit en vereist gedeelde wereldkennis die verder gaat dan letterlijke semantiek. Bestaande benchmarks voor Arabisch missen vaak expliciete categorieën voor figuurlijke taal, wat een evaluatiekloof creëert.

Methodologie

De auteurs hebben een uitgebreid evaluatiekader ontworpen om LLMs te testen op hun vermogen om figuurlijke taal te interpreteren en pragmatisch te gebruiken.

Datasets:
- Kinayat (Nieuw): Een dataset van 325 Egyptische Arabische idiomen (colloquiale taal), afkomstig uit een boek uit 1949, aangepast en geannoteerd voor zowel figuurlijk begrip als pragmatisch gebruik.
- Jawaher: Een bestaande dataset met 198 Arabische spreekwoorden in 20 dialecten.
- MAPS: Een meertalige dataset met spreekwoorden (gebruikt alleen de Engelse set van 394 voor vergelijking).
Evaluatietaken:
- Meerkeuzevragen (MCQ) Begrip: Modellen moeten de juiste uitleg kiezen uit een juiste en een onjuiste optie. Onjuiste opties (distractors) werden gegenereerd met twee strategieën: een algemene prompt en een prompt gebaseerd op Semantische Rol Labeling (SRL) om subtieler foutieve uitleg te creëren.
- Negatie-taak: Modellen moeten de onjuiste uitleg selecteren in plaats van de juiste, om hun vermogen tot negatief redeneren te testen.
- Pragmatisch Gebruik: Een nieuwe taak waarbij modellen een zin moeten invullen met het juiste idioom, gegeven een context. Dit test of ze de uitdrukking op de juiste manier kunnen toepassen in een sociale situatie.
- Contextueel Begrip: MCQ-taken waarbij de zin met het idioom als extra context wordt gegeven.
- Completeren van Spreekwoorden: Het voorspellen van het laatste woord van een spreekwoord om memorisatie van culturele kennis te testen.
- Connotatiebegrip: Het labelen van de emotionele lading (positief, negatief, neutraal) van idiomen en spreekwoorden.
Modellen:
Er werden 22 modellen geëvalueerd, variërend van open-source (LLaMA 3.1, Gemma 2, Qwen-2.5, Aya, Jais, etc.) tot gesloten bronmodellen (GPT-4o, Claude 3.5/4, Gemini). De evaluatie omvatte zowel Arabische als meertalige modellen van verschillende grootte.
Evaluatiemetrics:
- Nauwkeurigheid (Accuracy) voor meerkeuzetaken.
- BERTScore en "LLM-as-a-Judge" voor generatietaken (uitleggen van idiomen).
- Menselijke validatie voor de kwaliteit van gegenereerde distractors en connotatie-labels.

Belangrijkste Bijdragen

Introductie van de "Pragmatic Use" Taak: Een nieuw evaluatiekader dat specifiek test of modellen figuurlijke taal appropriately kunnen toepassen in context, niet alleen begrijpen.
Kinayat Dataset: De eerste dataset van Egyptische Arabische idiomen die is ontworpen voor zowel begrip als pragmatisch gebruik, inclusief menselijke annotaties voor context en connotatie.
Unificatie van Evaluatie: Een cross-linguale suite die figuurlijk begrip, contextuele geschiktheid en connotatief redeneren combineert voor Arabisch en Engels.

Resultaten

De resultaten tonen een duidelijke hiërarchie in prestaties en blootleggen van systematische tekortkomingen:

Prestatiehiërarchie: Er is een consistent daling in prestaties:
1. Engelse spreekwoorden: Hoogste prestaties.
2. Arabische spreekwoorden (MSA): Gemiddeld 4,29% lager dan Engels.
3. Egyptische idiomen (Kinayat): Gemiddeld 10,28% lager dan Arabische spreekwoorden.
  Conclusie: Modellen worstelen meer met dialectale, colloquiale uitdrukkingen dan met formele spreekwoorden of Engels.
De "Pragmatics Gap": Er is een significant verschil tussen begrip en gebruik.
- De nauwkeurigheid daalt met gemiddeld 14,07% wanneer modellen een idioom moeten toepassen in een zin, vergeleken met het simpelweg uitleggen van de betekenis.
- Zelfs de beste modellen (zoals Claude 3.5 Sonnet) bereiken slechts ~85% nauwkeurigheid bij pragmatisch gebruik.
- Het toevoegen van context (de zin waarin het idioom voorkomt) verbetert het begrip met 10,66%, maar lost het gebruikprobleem niet volledig op.
Connotatie en Subjectiviteit: Modellen hebben moeite met het begrijpen van de emotionele lading. Zelfs bij items waar menselijke annotatoren 100% overeenstemming hadden, bereikten modellen slechts maximaal 85,58% overeenstemming.
Modelgrootte en Type:
- Gesloten bronmodellen presteren over het algemeen beter dan open-source modellen.
- Er is een zwakke tot matige positieve correlatie tussen modelgrootte en prestaties, maar dit is sterker voor pragmatische taken ( $R^2 = 0.6$ ) dan voor begripstaken.
- Arabische modellen presteren soms beter op specifieke Arabische taken (zoals completeren van spreekwoorden) dankzij pre-training op Arabische tekst, maar meertalige modellen doen het vaak beter in begripstaken.
Dialectale Variatie: In de Jawaher-dataset presteerden modellen het beste op dialecten zoals UAE, MSA en Libië, en het slechtst op Soedan en Mauritanië, wat suggereert dat cultureel gedeelde spreekwoorden makkelijker zijn dan lokaal specifieke.

Betekenis en Conclusie

Dit paper demonstreert dat figuurlijke taal een effectieve diagnostische tool is voor cultureel redeneren. Hoewel LLMs vaak de letterlijke of figuurlijke betekenis van een uitdrukking kunnen interpreteren, falen ze systematisch bij het pragmatisch correct toepassen ervan in sociale contexten.

De studie benadrukt dat:

Er een fundamentele kloof bestaat tussen "begrijpen" en "gebruiken" in LLMs.
Culturele nuances en dialectale variaties (zoals Egyptisch Arabisch) nog steeds een grote uitdaging vormen, zelfs voor geavanceerde modellen.
Bestaande benchmarks onvoldoende zijn voor het evalueren van culturele competentie.

De release van de Kinayat-dataset biedt een cruciale basis voor toekomstig onderzoek om modellen te trainen en evalueren op hun vermogen om niet alleen taal te genereren, maar ook cultureel en sociaal geschikte communicatie te produceren. Toekomstig werk moet zich uitbreiden naar andere dialecten en vrijere generatietaken om deze "pragmatische kloof" verder te dichten.