Technische Samenvatting: MasalBench

Probleemstelling

Hoewel Large Language Models (LLM's) bekwaamheid hebben getoond in het begrijpen van figuurlijk taalgebruik binnen hoog-resource talen zoals het Engels, blijven hun capaciteiten in laag-resource talen onderbelicht. Deze kloof is bijzonder kritiek voor het Perzisch, een taal die rijk is aan spreekwoorden, maar die een gebrek heeft aan uitgebreide benchmarks voor het evalueren van de contextuele en cross-culturele comprehendie van LLM's. Bestaande studies naar Perzische spreekwoorden waren beperkt in omvang, vaak gebaseerd op keuzevormen met binaire opties met simplistische afleiders of gericht op kleine, niet-systematische datasets. Gevolgelijk is er een gebrek aan rigoureuze evaluatie met betrekking tot hoe goed meertalige LLM's spreekwoorden binnen conversationele contexten kunnen interpreteren en cultureel equivalente spreekwoorden over verschillende talen heen kunnen identificeren.

Methodologie

De auteurs introduceren MasalBench, een uitgebreide benchmark ontworpen om LLM's te beoordelen op twee verschillende niveaus: Contextueel Begrip en Cross-Cultureel Begrip.

Constructie van de Dataset

De benchmark werd geconstrueerd met behulp van Foote Koozegari: Persian Proverbs and Their Stories, een referentiewerk dat meer dan 4.000 spreekwoorden bevat. De auteurs gebruikten Gemini 2.5 Pro om te assisteren bij het extraheren en verwerken van gegevens uit afbeelding-gebaseerde PDF's, gevolgd door een strikte handmatige verificatie door moedertaalsprekers van het Perzisch om culturele accuratesse en natuurlijkheid te waarborgen.

1. Contextueel Begrip (1.000 items):

   • Formaat: Meerkeuzevragen (MCQ's) gebaseerd op korte, natuurlijke dialogen.
   • Structuur: In elke dialoog reageert een tweede spreker op een eerste spreker met behulp van een specifief Perzisch spreekwoord. Het model moet de intentie van de spreker identificeren.
   • Afleiders: Drie incorrecte opties worden voor elke vraag gegenereerd, specifiek gecategoriseerd om verschillende foutmodi te testen:
     • Letterlijke Valstrik (Literal Trap): Een misinterpretatie gebaseerd op de letterlijke betekenis van de woorden.
     • Plausibel (Plausible): Een logisch samenhangende maar contextueel incorrecte interpretatie.
     • Irrelevant (Irrelevant): Een optie die niet gerelateerd is aan de dialoog of het spreekwoord.
   • Proces: 100 dialogen werden handmatig vervaardigd, terwijl de rest werd gegenereerd via Gemini 2.5 Pro en handmatig werd geverifieerd.

2. Cross-Cultureel Begrip (700 items):

   • Formaat: Keuzevragen met twee opties (binary-choice).
   • Taak: Gegeven een Perzisch spreekwoord, moet het model het correcte Engelse equivalent identificeren uit twee opties.
   • Afleiders: De incorrecte optie is een "irrelevant" Engels spreekwoord dat een vergelijkbare bewoording, toon of beeldspraak deelt met het Perzische spreekwoord, maar een andere betekenis overbrengt, wat dient als een overtuigende afleider.
   • Proces: Gegenereerd via Gemini 2.5 Pro en handmatig geverifieerd om te waarborgen dat de equivalenten authentiek zijn en de afleiders cultureel plausibel maar semantisch onderscheidend zijn.

Experimentele Opzet

De benchmark werd geëvalueerd op acht state-of-the-art meertalige LLM's, waaronder Llama 4 Scout, Llama 3.3 70B Instruct, Qwen 2.5 72B Instruct, Qwen QwQ 32B, DeepSeek V3.1, DeepSeek R1, GPT-4.1 mini en GPT-4o mini.

• Prompting: Er werd gebruikgemaakt van zero-shot prompting met gerandomiseerde volgorde van opties om positionele bias te voorkomen.
• Parameters: De temperatuur werd ingesteld op 0 voor deterministische output, en top-p op 1. Modellen werden beperkt tot het retourneren van enkel de letter van de optie.

Belangrijkste Resultaten

Contextueel Begrip

Modellen vertoonden sterke prestaties in het identificeren van de bedoelde betekenis van Perzische spreekwoorden binnen een dialoog.

• Nauwkeurigheid: Alle geëvalueerde modellen behaalden nauwkeurigheidsscores boven de 0.90.
• Top performer: DeepSeek V3.1 behaalde de hoogste nauwkeurigheid (0.943), wat deels wordt toegeschreven aan het grote aantal parameters (671B).
• Foutanalyse: Wanneer modellen faalden, waren de fouten voornamelijk plausibele afleiders (variërend van 0.06 tot 0.08 aandeel in de fouten), wat aangeeft dat modellen moeite hebben met het onderscheiden van semantisch coherente maar contextueel incorrecte interpretaties. Letterlijke en irrelevante fouten waren zeldzaam (<0.02).
• Modelkenmerken: Instruction-tuned modellen presteerden over het algereen beter dan hun reasoning-focused tegenhangers binnen dezelfde families, wat suggereert dat instruction tuning helpt bij culturele contextualisering.

Cross-Cultureel Begrip

De prestaties daalden aanzienlijk wanneer modellen de taak kregen om Perzische spreekwoorden te koppelen aan hun Engelse equivalenten.

• Nauwkeurigheid: Scores varieerden van 0.647 (Llama 4 Scout) tot 0.793 (DeepSeek R1).
• Uitdagingen: De taak bleek moeilijker dan contextueel begrip, omdat het niet alleen linguïstische decodering vereist, maar ook culturele kennis en analogisch redeneren om de verschillen in beeldspraak en bewoording tussen talen te navigeren.
• Instruction Tuning: Hoewel instruction tuning een marginaal voordeel bood, was de impact beperkt vergeleken met de contextuele taak, aangezien succes sterk afhankelijk was van blootstelling aan culturele data tijdens de pre-training in plaats van instructie-opvolging.

Betekenis en Bijdragen

Het artikel claimt verschillende belangrijke bijdragen aan het veld van LLM-evaluatie:

1. MasalBench: De introductie van de eerste uitgebreide benchmark die specifiek is ontworpen om het contextuele en cross-culturele begrip van Perzische spreekwoorden te evalueren, een laag-resource taal met een hoge culturele afhankelijkheid van figuurlijk taalgebruik.
2. Granulaire Foutanalyse: De studie biedt een gedetailleerde uitsplitsing van modelprestaties, waarbij onderscheid wordt gemaakt tussen letterlijke, plausibele en irrelevante fouten, wat onthult dat huidige modellen robuust zijn in metaforisch redeneren maar vatbaar zijn voor het selecteren van semantisch coherente maar incorrecte interpretaties.
3. Cross-Culturele Beperkingen: De bevindingen benadrukken een significante kloof in de huidige LLM-capaciteiten met betrekking tot cross-culturele abstractie. Hoewel modellen spreekwoorden binnen hun eigen culturele context kunnen begrijpen, blijft het overdragen van dit begrip naar een equivalent in een andere taal een substantiële uitdaging, wat de beperkingen in culturele verankering en analogisch redeneren blootlegt.
4. Raamwerk voor Toekomstig Onderzoek: MasalBench biedt een raamwerk voor het beoordelen van cross-cultureel begrip in andere laag-resource talen, waarmee een kritiek gat in de evaluatie van meertalige LLM's wordt gedicht.

De auteurs concluderen dat hoewel meertalige LLM's steeds robuuster worden in intra-talige metaforische redenering, ze verdere ontwikkeling nodig hebben om ware cross-culturele vloeiendheid te bereiken, met name in taken die vragen om culturele equivalentie in plaats van directe vertaling.