Technische Samenvatting: MIDI – Een Multilinguale Idioom Dataset voor Hoog-, Medium- en Laag-resource Talen

1. Probleemstelling

Idiomatische uitdrukkingen vormen een aanzienlijke uitdaging voor Multilinguale Large Language Models (mLLMs) vanwege de semantische ambiguïteit tussen letterlijke en figuurlijke betekenissen. Hoewel eerder onderzoek zich heeft gericht op het begrijpen van idiomen, lijden bestaande benchmarks onder kritieke beperkingen:

• Taalbias: De meeste datasets richten zich op hoog-resource talen (bijv. Engels, Chinees), waardoor laag-resource talen worden verwaarloosd waar trainingsdata schaars is en culturele verankering essentieel is.
• Contextuele Tekortkomingen: Eerdere evaluaties vertrouwen vaak op geïsoleerde zinnen of definitie-matching taken, waardoor ze er niet in slagen de pragmatische aanwijzingen te vatten die in realistische discoursen voorkomen (bijv. meerzaalse dialogen).
• Ondoorzichtigheid van Mechanismen: Het blijft onduidelijk of modellen slagen door de definities van idiomen te memoriseren of door via context te redeneren om het gebruik te disambigueren.

Het artikel stelt dat huidige modellen moeite hebben met het generaliseren van idioombegrip over diverse taalkundige landschappen, met name in laag-resource settings en bij het onderscheiden van letterlijke van figuurlijke lezingen.

2. Methodologie

Dataset Constructie: MIDI

De auteurs introduceren MIDI (Multilingual Idiom Dataset), een uitgebreide benchmark die is samengesteld door moedertaalsprekers in 18 talen en dialecten. De talen zijn gecategoriseerd in drie resource-niveaus op basis van digitale beschikbaarheid:

• Hoog-Resource (3): Chinees, Japans, Russisch.
• Medium-Resource (3): Indonesisch, Vietnamees en het UAE-dialect van het Arabisch.
• Laag-Resource (12): Javaans, Perzisch, Kannada, Telugu, Tamil, Minangkabau, Sundanees, Kazach, Yoruba en Arabische dialecten (Syrisch, Egyptisch, Marokkaans).

Kernkenmerken van MIDI:

• Schaal: Bevat 2.278 idiomen met 8.378 gebruikscontexten.
• Duale Contexten: Elk idioom is ingebed in twee realistische discours-settings:
  1. Zinsniveau: Vormgegeven in zowel letterlijke als figuurlijke zin.
  2. Dialoogniveau: Korte, meerzaalse gesprekken waarbij pragmatische aanwijzingen en de intentie van de spreker de interpretatie beïnvloeden.
• Annotatie: Idiomen zijn geannoteerd met psycholinguïstische eigenschappen (vertrouwdheid, decomponeerbaarheid, letterlijke plausibiliteit) en gevalideerd door ten minste twee moedertaalsprekers.
• Evaluatieformaat: Elk instance is gekoppeld aan een meerkeuzevraag (MCQ) die vraagt naar de betekenis, met opties die de correcte figuurlijke betekenis, de correcte letterlijke betekenis en twee afleiders bevatten.

Experimentele Opzet

De studie evalueert een reeks proprietary (GPT-5.2, Gemini 2.5 Pro) en open-source (DeepSeek-R1, Gemma-3, Llama-3.1/3.3, Mixtral, Qwen-3) modellen in een zero-shot setting. De evaluatie ontleedt prestaties langs drie assen:

1. Resourceniveau: Hoog vs. Medium vs. Laag.
2. Contexttype: Zin vs. Gesprek.
3. Gebruikstype: Figuurlijk vs. Letterlijk.

Mechanisme-analyse

Om memorizatie te onderscheiden van redeneren, gebruiken de auteurs gecontroleerde taken:

• Memorizatie Taak: Modellen identificeren de figuurlijke betekenis zonder enige context.
• Redeneer Taak: Modellen krijgen de gebruikscontext en de Engelse definitie van het idioom aangeboden, wat hen dwingt te redeneren over de specifieke gebruikscontext in plaats van een definitie op te roepen.
• Activation Steering: De auteurs passen lineaire activatie-steering toe (met behulp van vectoren afgeleid van MIDI en MMLU-Pro) om latente representaties te proberen, waarbij wordt getest of het verschuiven van modellen langs "memorizatie" of "redeneren" dimensies de prestaties verbetert.

3. Belangrijkste Resultaten

Prestatietrends

• Resource Dispariteit: Prestaties verslechteren naarms de taalresources afnemen. Hoog-resource talen behalen een gemiddelde nauwkeurigheid van ~59%, terwijl laag-resource talen dalen naar ~50%. Open-source modellen vertonen een meer uitgesproken daling dan proprietary modellen.
• Figuurlijk vs. Letterlijk: Modellen presteren consequent beter op figuurlijke interpretaties (gemiddeld 65%) dan op letterlijke interpretaties (gemiddeld 48%). Deze kloof is het grootst in hoog-resource talen (33 procentpunten), wat suggere_ert dat modellen zwaar leunen op canonieke figuurlijke definities en moeite hebben met het herkennen van compositionele letterlijke lezingen.
• Contextueel Voordeel: Conversationele contexten verbeteren de prestaties ten opzichte van zinsniveau contexten (59% vs. 54%), met name voor laag-resource talen (+7 procentpunten), waarschijnlijk door aanvullende pragmatische aanwijzingen. Context elimineert echter de prestatiekloven tussen de verschillende resource-tiers niet.

Memorizatie vs. Redeneren

• Memorizatie: Proprietary modellen vertonen hoge memorisatiecapaciteiten over alle resource-niveaus. Open-source modellen laten significante variatie zien, waarbij kleinere modellen worstelen in laag-resource settings.
• Redeneren: Het verstrekken van expliciete definities en context verhoogt de prestaties aanzienlijk, vooral voor open-source modellen in hoog-resource settings. Zelfs met redeneerhulpmiddelen blijven de kloven bestaan in laag-resource talen, wat aangeeft dat context helpt om beperkte kennis te compenseren maar het tekort niet volledig oplost.

Interpretatiebias

Analyse onthult een sterke correlatie tussen interpretatiebias en prestaties. Modellen met een sterke bias naar figuurlijke interpretaties (bijv. Gemini 2.5 Pro) behalen een hoge figuurlijke nauwkeurigheid maar lijden onder letterlijk begrip. Omgekeerd presteren modellen met een bijna neutrale bias (bijv. Mixtral) beter op letterlijke taken, wat suggereert dat een overmatige afhankelijkheid van figuurlijke priors het vermogen om letterlijk gebruik te detecteren belemmert.

Activation Steering

Het sturen van activaties langs de memorizatie- en redeneerdimensies levert bescheiden maar consistente winst in nauwkeurigheid op, met name in laag-resource talen. Opvallend genoeg dragen steering-vectoren afgeleid van de onafhankelijke MMLU-Pro benchmark effectief over naar MIDI, wat suggereert dat er een gedeeld intern mechanisme is dat de memorizatie-redenering trade-off over taken heen bemiddelt.

Mens-Model Kloof

Een menselijke evaluatie op een subset van de data laat zien dat moedertaalsprekers een nauwkeurigheid van 94% bereiken. In contrast hiermee halen de beste proprietary modellen gemiddeld 81%, en de beste open-source modellen gemiddeld 72%. De kloof is het grootst voor open-source modellen in laag-resource talen (bijv. Yoruba: Mens 96% vs. Open-Source 23%).

4. Bijdragen en Betekenis

Het artikel claimt de volgende bijdragen:

1. MIDI Dataset: Een brede, typologisch diverse testomgeving die 18 talen en dialecten beslaat, voorzien van zowel zin- als dialoogcontexten met letterlijk en figuurlijk gebruik.
2. Systematische Benchmarking: Een uitgebreide evaluatie die aantoont dat idioombegrip nog steeds een uitdaging vormt voor state-of-the-art LLM's, met specifieke tekortkomingen in laag-resource talen en letterlijke interpretaties.
3. Mechanistisch Inzicht: Bewijs dat idioombegrip een hybride proces is waarbij memorizatie kandidaten-zinnen (priors) levert en redeneren context gebruikt voor disambiguatie. De studie toont aan dat deze capaciteiten verweven zijn; een sterke figuurlijke bias kan het letterlijke begrip belemmeren.
4. Effectiviteit van Steering: De demonstratie dat activation steering de prestaties kan verbeteren, met name voor laag-resource talen, en dat dit mechanisme generaliseert over datasets (MIDI en MMLU-Pro).

5. Beperkingen

De auteurs erkennen verschillende beperkingen:

• Scope van Analyse: De scheiding tussen memorizatie en redeneren richt zich primair op figuurlijke interpretaties; de interactie voor letterlijke lezingen (waarbij modellen idiomatische betekenissen moeten onderdrukken) is niet expliciet beoordeeld.
• Dataset Imbalans: De dataset is ongebalanceerd over de verschillende resource-tiers en talen, en sommige talen (bijv. Vietnamees) missen letterlijke tegenhangers, wat strikt gecontroleerde cross-language vergelijkingen beperkt.
• Annotatie Ruis: Hoewel beoordeeld door moedertaalsprekers, wordt de inter-annotator overeenstemming voor psycholinguïstische ratings niet gerapporteerd, wat betekent dat deze ratings als informatief en niet als definitieve gouden standaarden moeten worden beschouwd.
• Dialoog Natuurlijkheid: Dialogen zijn gegenereerd door een LLM en handmatig gereviseerd; hoewel ze coherent zijn, vangen ze mogelijk niet de volledige stilistische variabiliteit van natuurlijke interacties.
• Evaluatiebeperkingen: Het gebruik van MCQs beperkt de beoordeling van open-ended interpretatie en generatieve capaciteiten.

Concluderend stelt het artikel vast dat hoewel mLLM's vooruitgang hebben geboekt, er aanzienlijke kloven blijven bestaan in hun vermogen om idiomen te begrijpen over diverse linguïstische contexten, met name voor laag-resource talen en letterlijke gebruiken. De bevindingen suggereren dat huidige modellen sterk vertrouwen op gememoriseerde priors en moeite hebben om betekenis flexibel op basis van context alleen te disambigueren.