💬 NLP

VIVID: A Culturally Grounded Benchmark Exposing the Figurative Language Gap in Vietnamese NLP

Het artikel introduceert VIVID, de eerste cultureel gewortelde benchmark voor Vietnamese figuurlijke taal, die onthult dat huidige state-of-the-art modellen, inclusief Vietnamese gespecialiseerde modellen, aanzienlijk worstelen met genuanceerde idiomen en spreekwoorden vanwege letterlijke overinterpretatie en een gebrek aan culturele competentie.

Oorspronkelijke auteurs: Tu Tran Do, Nhat Ngoc Nguyen, Khanh-Tung Tran, Hoang D. Nguyen, Tu Minh Phuong, Long Hoang Dang

Gepubliceerd 2026-08-05

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tu Tran Do, Nhat Ngoc Nguyen, Khanh-Tung Tran, Hoang D. Nguyen, Tu Minh Phuong, Long Hoang Dang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om menselijke grappen, sarcasme en ouderwetse uitdrukkingen te begrijpen. Dit gaat niet alleen over weten wat woorden betekenen; het gaat over het begrijpen van de cultuur erachter. In de wereld van de informatica wordt dit veld Natural Language Processing (NLP) genoemd. Denk aan NLP als de brug tussen menselijke spraak en computercode. Lange tijd hebben wetenschappers bruggen gebouwd voor grote, populaire talen zoals het Engels, maar veel kleinere of cultureel rijke talen zijn aan de andere kant van de rivier achtergebleven. Een belangrijke uitdaging in dit veld is "figuurlijk taalgebruik" — zinnen waarbij de woorden niet betekenen wat ze letterlijk zeggen. Als iemand bijvoorbeeld zegt: "Het regent katten en honden," zou een computer die alleen letterlijke definities kent, kunnen gaan zoeken naar vallende dieren! Om dit op te lossen, hebben onderzoekers speciale tests, of "benchmarks", nodig om te zien of hun AI-modellen de grap of de les achter de woorden daadwerkelijk begrijpen, in plaats van alleen te gokken op basis van patronen.

Maak kennis met VIVID, een nieuwe en kleurrijke tool die door onderzoekers is ontwikkeld om te testen hoe goed AI Vietnamese idiomen en spreekwoorden begrijpt. Zie VIVID als een gigantische, cultureel specifieke "trivia night" die specifiek is ontworpen voor Vietnamese uitdrukkingen. De onderzoekers hebben 1.636 van deze lastige zinnen verzameld — sommige zijn korte, ritmische spreekwoorden vol levenslessen, terwijl andere vaste idiomen zijn die niet woord voor woord begrepen kunnen worden. Ze hebben ze niet zomaar op een hoop gegooid; ze hebben ze georganiseerd als een museumexpositie, waarbij elk exemplaar is voorzien van "moeilijkheidsgraden" (zoals of het gebruik maakt van oude woorden, verwijst naar landbouw, of leunt op sarcasme) en "thema's" (zoals liefde, kritiek of werk).

Het team nodigde vervolgens acht van de slimste AI-modellen ter wereld uit om deze test af te leggen. Dit omvatte zowel modellen die specifiek voor het Vietnamees zijn gebouwd als enorme, algemene modellen die vele talen spreken. Ze vroegen de AI's om de uitdrukkingen uit te leggen en te raden bij welke categorie ze hoorden. De resultaten waren een beetje een wekroep. Zelfs de meest geavanceerde AI-modellen, inclusend het beroemde GPT-4o, hadden het enorm moeilijk. Gemiddeld hadden ze minder dan de helft van de antwoorden goed. De studie toonde aan dat de AI's vaak stomme fouten maakten, zoals een metafoor te letterlijk nemen (denken dat een zin over de huid van een buffel daadwerkelijk over iemands persoonlijkheid ging) of de sarcastische toon volledig te missen. Verrassend genoeg hielp het geven van een paar voorbeelden om van te leren (een techniek genaamd "few-shot prompting") niet altijd; voor het beste model maakte het de situatie zelfs soms erger door de AI te verwarren met de verkeerde stijl van antwoorden.

Het artikel suggereert dat hoewel deze AI-modellen beter worden in algemene taal, ze nog steeds een gebrek hebben aan "culturele competentie". Ze zijn als toeristen die een kaart kunnen lezen, maar de lokale gebruiken niet begrijpen. De onderzoekers concluderen dat de huidige modellen de diepe, genuanceerde kennis missen die nodig is om de kern van de Vietnamese figuurlijke taal werkelijk te vatten. VIVID is nu beschikbaar als een publieke tool, die fungeert als een spiegel om ontwikkelaars precies te laten zien waar hun AI tekortschiet, zodat zij systemen kunnen bouwen die niet alleen de taal spreken, maar ook echt de cultuur erachter begrijpen.

Technische Samenvatting: VIVID – Een cultureel gewortelde benchmark die de kloof in figuurlijk taalgebruik in het Vietnamees blootlegt

1. Probleemstelling

Het begrijpen van figuurlijk taalgebruik blijft een kritieke uitdaging in Natural Language Processing (NLP), waarbij modellen linguïstische kennis, culturele context en pragmatisch redeneren moeten integreren. Hoewel er aanzienlijke vooruitgang is geboekt in hoog-resource talen (bijv. Engels, Koreaans) en specifieke Vietnamese taken zoals sentimentanalyse of natuurlijke taalinferentie, ontbreekt een systematisch evaluatiekader voor cultureel geworteld figuurlijk taalgebruik in het Vietnamees.

Vietnamese idiomen en spreekwoorden presenteren unieke interpretatieproblemen vanwege:

Archaïsch Sino-Vietnamees vocabulaire dat zelden wordt gebruikt in hedendaagse contexten.
Subtiele pragmatische nuances, zoals sarcasme, ironie en evaluatieve connotaties.
Volkskennis geworteld in traditionele landbouwpraktijken en gewoontegebonden wijsheid.

Bestaande benchmarks richten zich primair op binaire detectie van idiomatische eigenschappen in plaats van diepgaand cultureel begrip. Bovendien schieten traditionele automatische metrieken (bijv. BLEU) tekort in het vastleggen van de semantische nuances van figuratieve interpretatie, terwijl menselijke evaluatie vaak duur en niet schaalbaar is. Deze kloof verhindert onderzoekers om te beoordelen of Vietnamees-gespecialiseerde of meertalige Large Language Models (LLM's) deze uitdrukkingen accuraat kunnen interpreteren of om te identificeren welke linguïstische kenmerken de grootste uitdagingen vormen.

2. Methodologie

2.1. Dataset Constructie: VIVID

De auteurs introduceren VIVID (Vietnamese Idioms for Validation and Interpretation Depth), een benchmark bestaande uit 1.636 gevalideerde Vietnamese idiomen en spreekwoorden. De dataset werd geconstrueerd via een driefasen-pipeline:

Dataverzameling: Afkomstig van twee gezaghebbende woordenboeken (Nguyen Lan, 2010; Vu Dung et al., 2000) om linguïstische authenticiteit te waarborgen en zowel gestandaardiseerde vormen als regionale varianten vast te leggen.
Data Categorisatie: Er is een duaal annotatieschema ontwikkeld:
- Linguïstische Complexiteitstaxonomie: Het organiseren van uitdrukkingen in drie aspecten met vijf onderscheidende kenmerken:
  - Betekenis: Letterlijke uitdrukkingen (gevoelig voor overinterpretatie) en Pragmatische nuances (sarcasme/ironie).
  - Lexicaal: Sino-Vietnameese termen en Ongebruikelijk vocabulaire (archaïsche woorden).
  - Culturele Kennis: Op volkskennis gebaseerde uitdrukkingen (landbouw/culturele praktijken).
- Semantische Thema's: Categorisering in zeven thema's die het Vietnamese culturele discours reflecteren: Kritiek, Levenslessen, Werk en Natuur, Sociale Relaties, Liefde, Deugden en Overig.
Data Validatie: Een rigoureus tweefasenproces bestaande uit automatische annotatie (GPT-4.1) gevolgd door onafhankelijke beoordeling en consensus-gebaseerde besluitvorming door twee inheemse Vietnamese linguïstische experts.

2.2. Evaluatiekader

De studie hanteert een uitgebreid kader dat generatieve en discriminatieve taken combineert, gebruikmakend van een LLM-as-a-Judge benadering die is gevalideerd tegenover menselijke beoordeling.

Generatieve Taak: Modellen genereren verklaringen voor idiomen. Een LLM (GPT-4.1) fungeert als rechter om deze verklaringen te scoren op een schaal van 0–5 op basis van feitelijke juistheid, volledigheid en afstemming met de interpretaties van moedertaalsprekers.
- Analyse van Prompting Strategieën: Vier strategieën werden vergeleken: Zero-shot, Demonstration (Few-shot), Chain-of-Thought (CoT) en Aspect-gebaseerde Evaluatie.
- Betrouwbaarheid: Aspect-gebaseerde evaluatie bereikte de sterkste correlatie met menselijke beoordeling (Cohen's $\kappa$ = 0,792), waarmee het andere strategieën overtrof.
Discriminatieve Taak: Modellen voeren multiple-choice classificatie uit voor:
- Onderwerpidentificatie (7 semantische thema's).
- Identificatie van linguïstische kenmerken (5 complexiteitskenmerken).
- Evaluatie gebeurt via exact-match scoring om consistentie tussen open-source en closed-source modellen te waarborgen.

2.3. Benchmark Modellen

Acht state-of-the-art modellen werden geëvalueerd, waaronder:

Vietnamees-gespecialiseerd: VinaLLaMA-7B, Vistral-7B-Chat, GreenMind-14B.
Meertalig Open-source: Llama-4-Scout, Llama-SEA-LION-v3, Qwen-3.
Closed-source: GPT-4o, Gemini Flash 2.5.

3. Belangrijkste Resultaten

3.1. Prestatiekloven

Zelfs state-of-the-art modellen behalen gemiddeld minder dan 50% correctheid.

Meertalig vs. Gespecialiseerd: Vietnamees-gespecialiseerde modellen presteren drastisch minder goed dan meertalige systemen. Zo scoorde VinaLLaMA-7B bijvoorbeeld 0,13, terwijl GPT-4o 2,46 scoorde (op een schaal van 0–5).
Model Schaal: Grotere modellen presteren over het algemeen beter. Onder vergelijkbare 14B modellen presteerde het Vietnamees-gespecialiseerde GreenMind-14B (1,09) vergelijkbaar met het meertalige Qwen-3-14B (1,09), wat suggereert dat huidige taal-specifieke training geen duidelijk voordeel biedt voor cultureel figuurlijk begrip bij vergelijkbare schalen.

3.2. Robuustheid tegen Complexiteit

Modellen worstelen aanzienlijk met specifieke complexiteitskenmerken:

Sino-Vietnameese termen waren de minst uitdagende categorie.
Pragmatische nuances en Volkskennis vormden de grootste moeilijkheden, waarbij modellen vaak faalden in het begrijpen van sarcasme of de agrarische context.
Systematische Foutmodi: Analyse onthulde letterlijke overinterpretatie (het afleiden van metaforen waar ze niet bestaan), lexicale hiaten (het foutief vertalen van archaïsche woorden), culturele disconnectie en pragmatische afvlakking (het vervangen van ironie door neutrale tonen).

3.3. Effecten van Prompting

Few-shot Prompting: Verbeterde over het algemeen de prestaties voor de meeste modellen door contextuele voorbeelden te bieden.
Anomalie bij GPT-4o: Opvallend genoeg vertoonde GPT-4o een prestatieverslechtering onder few-shot prompting. Analyse suggereert dat dit te wijten is aan stilistische overfitting, waarbij het model de moraliserende toon van de voorbeelden imiteert in plaats van zich te concentreren op semantische getrouwheid, wat leidt tot "didactische" hallucinaties en semantische drift.

4. Bijdragen

Het artikel levert drie primaire bijdragen:

VIVID Benchmark: De eerste systematische benchmark voor het Vietnamese figuurlijk taalgebruik, bestaande uit 1.636 gevalideerde idioom-verklaring paren met duale annotaties (complexiteitskenmerken en semantische thema's).
Evaluatieprotocollen: Een nieuw kader dat een LLM-as-a-Judge benadering combineert voor generatieve beoordeling (gevalideerd met $\kappa$ = 0,792) en discriminatieve classificatietaken.
Uitgebreide Analyse: Empirisch bewijs dat model schaal belangrijker is dan taal-specifieke training voor cultureel begrip, terwijl het ook de hardnekkige tekortkomingen in het hanteren van pragmatische nuances en volkskennis blootlegt.

5. Betekenis en Beperkingen

Betekenis:
VIVID biedt een essentieel instrument voor de vooruitgang van het begrip van figuurlijk taalgebruik in cultureel rijke contexten. Het legt de beperkingen bloot van huidige LLM's in het bereiken van echt cultureel competentie, voorbij oppervlakkige patroonherkenning. De bevindingen suggereren dat het ontwikkelen van cultureel bewuste NLP-systemen meer vereist dan alleen het schalen van parameters of het finetunen op taal-specifieke data; het vereist het aanpakken van diepe semantische en pragmatische kloven.

Beperkingen:

Evaluatie Transparantie: Het vertrouwen op een propriëtaire closed-source model (GPT-4.1) voor het LLM-as-a-Judge framework roept zorgen op over de reproduceerbaarheid en transparantie op de lange termijn.
Validatie Schaal: De betrouwbaarheidsanalyse tussen de LLM-rechter en menselijke annotatoren werd uitgevoerd op een subset van 200 monsters vanwege de hoge kosten van handmatige annotatie, wat mogelijk niet de volledere diversiteit van alle linguïstische vormen in de dataset dekt.

De auteurs concluderen dat VIVID een robuust fundament legt voor toekomstig onderzoek gericht op het ontwikkelen van NLP-systemen die in staat zijn tot genuanceerde, cultureel gewortelde figuratieve interpretatie.