A Parallel Cross-Lingual Benchmark for Multimodal Idiomaticity Understanding

Probleemstelling

Idiomatische uitdrukkingen (of "Potentially Idiomatic Expressions" - PIEs) vormen een blijvende uitdaging voor Natural Language Processing (NLP) systemen en Large Language Models (LLMs). Hun betekenis is vaak niet-compositioneel en diep verankerd in culturele kennis, waardoor ze moeilijk letterlijk te vertalen zijn. Bestaande benchmarks hebben twee belangrijke tekortkomingen:

1. Gebrek aan parallelisme: De meeste meertalige datasets bevatten niet-systematisch uitgelijnde idiomatische expressies over verschillende talen, wat directe cross-linguale vergelijkingen bemoeilijkt.
2. Beperkte modaliteit: Traditionele benchmarks focussen voornamelijk op tekst. Er is een gebrek aan datasets die de interactie tussen tekst en visuele modaliteit testen, hoewel idioomverstaan vaak visuele metaforen vereist.
3. Cultuurblindheid: LLMs worstelen vaak met culturele nuances en het onderscheid tussen letterlijke en figuurlijke betekenissen, vooral bij minderheidstalen of talen met lage hulpbronnen.

Methodologie

De auteurs introduceren XMPIE, een parallelle, meertalige en multimodale dataset voor het begrijpen van idiomatiek.

• Dataverzameling en Expertise:

  • De dataset omvat 34 taalvarianten (van wijdverspreide talen zoals Engels en Spaans tot bedreigde talen zoals Aromaniaans en Luxemburgs).
  • Het proces startte met een "seed set" van Engelse PIEs.
  • 89 native of zeer vloeiende taalexperts werden gerekruteerd via UNIDIVE om equivalente uitdrukkingen in hun eigen talen te identificeren.
  • De experts werkten samen in drie online workshops met strikte richtlijnen.

• Multimodale Annotatie:

  • Voor elke PIE genereerden experts vijf afbeeldingen met behulp van het AI-model Midjourney. Deze vijf categorieën zijn:
    1. Idiomatisch: De figuurlijke betekenis.
    2. Idiomatisch-gerelateerd: Een visuele variatie die nog steeds naar de figuurlijke betekenis verwijst.
    3. Letterlijk-gerelateerd: Een visuele variatie die naar de letterlijke betekenis verwijst.
    4. Letterlijk: De letterlijke betekenis.
    5. Willekeurige distractor: Een afbeelding die semantisch niet gerelateerd is.
  • Dit creëert een spectrum van moeilijkheidsgraden voor het onderscheiden van betekenissen.

• Dataset Statistieken:

  • Totaal: 3.054 unieke PIEs (afgeleid van Engelse seeds).
  • Totaal aantal items (inclusief letterlijke en figuurlijke varianten): 7.040.
  • Totaal aantal gegenereerde afbeeldingen: 7.040 (5 per item voor een subset, resulterend in >10.000 items in totaal inclusief distractors).

• Analyse van Cross-Linguale Mapping:

  • De auteurs classificeerden de relaties tussen de Engelse seed en de doeltaal in vier types:
    • 1-1: Identieke of bijna identieke idiomatische uitdrukking.
    • 1-0: De betekenis wordt overgebracht via een beschrijvende (niet-idiomatische) uitdrukking of er is geen equivalent.
    • 1-N: Meerdere idiomatische equivalenten in de doeltaal.
    • N-1: Meerdere Engelse idiomen die naar één doeltaal-uitdrukking verwijzen.
  • Er werden grafische analyses uitgevoerd om de lexische overlap en connectiviteit tussen talen te visualiseren (bijv. "beauty sleep" toont hoge convergentie, terwijl "acid test" sterk divergeert).

Kernbijdragen

1. XMPIE Dataset: De eerste grote, parallelle, meertalige en multimodale benchmark voor idiomatiek, die 34 talen omvat, inclusief talen met lage hulpbronnen.
2. Multimodale Evaluatie: Een uniek framework dat modellen test op hun vermogen om idiomatische betekenis te koppelen aan zowel tekst als visuele input, inclusief het onderscheiden van letterlijke en figuurlijke visuele voorstellingen.
3. Cross-Linguale Analyse: Een gedetailleerd inzicht in hoe idiomatische concepten zich vertalen (of niet) over culturen en talen heen, met een focus op culturele specificiteit versus universele metaforen.
4. Benchmark voor LLMs: Een nieuwe standaard om de prestaties van Vision-Language Models (VLMs) te evalueren op culturele en idiomatische competentie.

Resultaten

De auteurs evalueerden een baseline-model (EVA-CLIP-18B) zonder extra training of fine-tuning op een subset van de dataset (Engels, Braziliaans Portugees, Spaans, Chinees, Turks).

• Algemene Prestaties: De NDCG@5 scores waren hoog (rond 0.87 - 0.95), wat aangeeft dat het model de relevante afbeeldingen (letterlijk en idiomatisch) over het algemeen hoog in de ranglijst plaatst.
• Asymmetrie in Verstaan: Er is een duidelijke bias naar letterlijke interpretatie:
  • Voor de meeste talen (EN, BP, CN, TR) presteerde het model uitstekend in het herkennen van de letterlijke afbeelding (Top-1 accuracy > 0.50), maar faalde het bijna volledig bij het herkennen van de idiomatische afbeelding (Top-1 accuracy vaak < 0.15).
  • Voorbeeld (Engels): Letterlijk Top-1 = 0.900 vs. Idiomatisch Top-1 = 0.060.
• Uitzondering: Spaans (ES) was een uitzondering waar het model beter presteerde op de idiomatische betekenis dan op de letterlijke, wat suggereert dat culturele context of taal-specifieke patronen een rol spelen.
• Strikte Evaluatie: De Top-2 scores (waar zowel de idiomatische als de letterlijke betekenis in de top 2 moeten staan) waren zeer laag voor idiomatische betekenissen, wat aantoont dat fijne-granulatie idiomatische disambiguatie nog een grote bottleneck is voor huidige modellen.

Betekenis en Conclusie

XMPIE demonstreert dat huidige Vision-Language modellen, ondanks sterke prestaties in algemene taken, fundamenteel tekortschieten in het begrijpen van idiomatische betekenis, vooral zonder contextuele aanwijzingen. De modellen neigen sterk naar letterlijke interpretaties.

De dataset biedt een cruciale testomgeving voor:

• Het evalueren van de culturele en linguïstische diversiteit van LLMs.
• Het bestuderen van cross-linguale transfer van idiomatisch begrip.
• Het ontwikkelen van modellen die beter kunnen omgaan met multimodale context en culturele nuances.

De auteurs concluderen dat toekomstig werk moet focussen op het toevoegen van contextuele zinnen en het onderzoeken van factoren zoals abstractie en beeldbaarheid om robuust idiomatisch begrip te bereiken. XMPIE is een essentiële stap richting meer cultureel bewuste en linguïstisch geavanceerde AI-systemen.