PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation

Probleemstelling

Idiomatische uitdrukkingen vormen een langdurige uitdaging voor computationele semantiek omdat hun figuurlijke betekenis niet compositieseel voorspelbaar is vanuit de oppervlaktevorm. Modellen die voornamelijk op letterlijke data zijn getraind, interpreteren idiomen vaak woord voor woord, wat leidt tot semantische drift in taken zoals vertaling, zoekopdrachten en bijschriften. Deze uitdaging wordt versterkt in meertalige settings, waar idiomen verschillen in lexikalisatie en transparantie.

De AdMIRe 2.0 shared task (MWE-2026) stelt twee subtaken:

1. Subtask A: Het rangschikken van vijf kandidaat-afbeeldingen op basis van hoe goed ze de beoogde betekenis van een nominale samenstelling in een contextzin weergeven.
2. Subtask B: Een tekst-only variant waarbij afbeeldingen worden vervangen door bijschriften (captions), wat redenering zonder visuele input vereist.

Het centrale probleem is dat bestaande multimodale modellen (zoals CLIP) vaak vastlopen in letterlijke interpretaties en moeite hebben met de disambiguatie van idiomen zonder specifieke aanpassing.

Methodologie: Het PolyFrame-systeem

Het auteurs team introduceert PolyFrame, een systeem dat een unificatiepijplijn biedt voor zowel beeld+tekst-rangschikking als tekst-only rangschikking. Een kernkenmerk is dat de zware visueel-taal-encoders bevroren (frozen) blijven; het leren is beperkt tot lichte modules.

De pijplijn bestaat uit vier fasen:

1. Zin-type Voorspelling (Sentence Typing):

   • Het systeem bepaalt eerst of een zin letterlijk of idiomatisch is.
   • Dit gebeurt via een logistische regressie getraind op features van de multilinguale BGE M3-encoder.
   • Als fallback of aanvulling wordt een "literal-first" prompting-strategie gebruikt met externe LLM's (zoals GPT-4o en Qwen3-32B) om het type te classificeren.

2. Idioma-bewuste Herschrijving (Idiom Rewrite):

   • Als de zin als idiomatisch wordt geclassificeerd, wordt de doelstelling (de samenstelling) vervangen door een compositieseel synoniem of een parafrase die de figuurlijke betekenis expliciet maakt.
   • Bij letterlijke zinnen blijft de originele tekst behouden.
   • Dit is cruciaal om de "letterlijke bias" van visuele modellen te doorbreken.

3. Similariteitsscoren (Zero-shot Scoring):
   Het systeem gebruikt drie parallelle stromen voor het berekenen van similariteitsscores:

   • SigLIP2: Visueel-taal similariteit (Zin ↔ Afbeeldingen).
   • BGE M3: Tekst-tekst similariteit (Zin ↔ Bijschriften).
   • SigLIP2 (Tekst-tak): Tekst-tekst similariteit via de tekst-encoder van SigLIP2.
   • Voor niet-Engelse talen wordt gebruikgemaakt van de multilinguale capaciteiten van deze encoders of een vertaling naar het Engels.

4. Borda-fusie:

   • De ranglijsten van de drie scorestromen worden samengevoegd via Borda-count aggregatie.
   • De gewichten zijn vastgesteld op [0.6, 0.3, 0.1] voor respectievelijk visueel-taal, BGE M3 en SigLIP2 tekst-similariteit (voor Subtask A). Voor Subtask B (tekst-only) worden de gewichten aangepast om visuele input te negeren.

Belangrijkste Bijdragen

• Bevroren Encoders: Het bewijs dat effectieve idiom-disambiguatie mogelijk is zonder het fijnafstemmen (fine-tuning) van grote, dure multimodale encoders.
• Lichte Adaptatie: Het succes van een architectuur die zich richt op lightweight modules (classificatie, herschrijving, fusie) in plaats van zware modeltraining.
• Idioma-herschrijving: De demonstratie dat het expliciet vervangen van idiomatische uitdrukkingen door compositiesele parafrasen de grootste prestatieverbetering oplevert.
• Meertalige Zero-shot Transfer: Het systeem presteert goed op talen waarvoor geen trainingsdata beschikbaar is, dankzij de combinatie van BGE M3 en SigLIP2.

Resultaten

De resultaten tonen een aanzienlijke verbetering ten opzichte van een basismodel:

• Engels Ontwikkelingsset:

  • CLIP Baseline: 26,7% Top-1 nauwkeurigheid.
  • Met Idioma-herschrijving: 60,0% Top-1.
  • Met alle verbeteringen: 60,0% Top-1 en 0,822 NDCG@5.
  • Conclusie: Idioma-herschrijving is de belangrijkste driver van prestaties; zin-type classificatie draagt bij aan stabiliteit.

• Zero-shot Transfer (Portugees):

  • Het systeem bereikte 60,0% Top-1 en 0,822 NDCG@5 zonder specifiek training voor Portugees, wat aantoont dat de strategieën goed generaliseren.

• Meertalige Blinde Test (15 talen):

  • Subtask A (Beeld+Tekst): Gemiddelde Top-1 van 0,35 en NDCG van 0,73.
  • Subtask B (Tekst-only): Gemiddelde Top-1 van 0,32 en NDCG van 0,71.
  • De prestaties waren consistent over verschillende talen, inclusief Chinese en niet-Chinese subsets.

Betekenis en Conclusie

Het paper concludeert dat de kloof tussen simpele visuele zoekopdrachten en complexe idiomatische disambiguatie voornamelijk kan worden overbrugd door het probleem te herformuleren (via herschrijving en zin-type detectie) in plaats van door het trainen van zwaardere achterliggende modellen.

• Efficiëntie: Het vermijden van fine-tuning van grote multimodale modellen maakt het systeem schaalbaarder en minder afhankelijk van API's of hoge rekencapaciteit.
• Robuustheid: De combinatie van SigLIP2, BGE M3 en Borda-fusie biedt een robuuste oplossing voor meertalige scenario's.
• Beperkingen: De huidige aanpak is beperkt door de handmatig samengestelde database van idiomatische synoniemen (momenteel beperkt tot ~50 Engelse idiomen), wat de effectiviteit voor minder frequente uitdrukkingen en niet-Engelse talen beperkt.

Samenvattend toont PolyFrame aan dat transparante, lichtgewicht aanpassingen van bestaande state-of-the-art encoders een zeer effectieve route zijn voor het oplossen van de complexe uitdaging van multimodale idiom-disambiguatie.