"I See What You Did There": Can Large Vision-Language Models Understand Multimodal Puns?

Probleemstelling

Puns (woordgrappen) zijn een vorm van retorisch woordspel die gebruikmaakt van polysemie (meerdere betekenissen) en fonetische gelijkenis om humor te creëren. Bij multimodale puns werken visuele en tekstuele elementen samen om de letterlijke betekenis te verankeren en de figuurlijke betekenis tegelijkertijd op te roepen.

Hoewel Vision-Language Models (VLM's) breed worden ingezet voor multimodaal begrip en generatie, is hun vermogen om puns te begrijpen niet systematisch onderzocht. Bestaande onderzoeken lijden onder drie kritieke beperkingen:

1. Unimodale beperking: Het meeste onderzoek richt zich op tekstuele puns en negeert de complexe interactie waarbij het visuele modus ook ambiguïteit kan veroorzaken.
2. Tekort aan benchmarks: Bestaande multimodale datasets missen gedetailleerde categorisatie en, belangrijker nog, negatieve voorbeelden (distractors die geen puns zijn). Dit maakt het onmogelijk om te bepalen of modellen puns echt begrijpen of dat ze alleen oppervlakkige visuele scènes koppelen aan humor.
3. Verwarring tussen voorkeur en begrip: Eerdere evaluaties vertrouwen vaak op eenzijdige vragen (bijv. "Is dit een pun?"), wat leidt tot bevestigingsbias in het taalgebruik van modellen in plaats van echte redenering.

Methodologie

De auteurs introduceren een nieuwe aanpak bestaande uit een dataset, evaluatietaken en verbeterstrategieën.

1. Dataset: MULTIPUN

De kern van het werk is MULTIPUN, een linguïstisch onderbouwde multimodale benchmark.

• Samenstelling: De dataset bevat 445 echte puns (verdeeld in homofone en homografische puns) en 890 adversariale negatieve voorbeelden (distractors).
• Generatiepijplijn:
  • Pun-tuples generatie: Gebruik van het CMU Pronouncing Dictionary en WordNet om woordparen te vinden met gelijke uitspraak (homofon) of dubbele betekenissen (homograaf).
  • Positieve samples: GPT-4o genereert beeldbeschrijvingen en bijschriften die de letterlijke objecten (Sp) combineren met figuurlijke gedragingen (Sa).
  • Negatieve samples: Twee strategieën om de pun-mechanisme te doorbreken terwijl de oppervlakkige coherentie behouden blijft:
    • Explicative Substitution (ES): Vervanging van het pun-woord door een directe beschrijving van de figuurlijke betekenis (oplossing van de ambiguïteit).
    • Random Substitution (RS): Vervanging door een semantisch ongerelateerd object en een nieuw beeld.
• Validatie: Menselijke annotatie voor kwaliteitscontrole en diversiteitsfiltering om redundantie te voorkomen.

2. Evaluatietaken

Om VLM's te testen, worden drie progressieve taken ontworpen:

1. Detectie: Binair oordeel (pun of niet) zonder definities.
2. Lokalisatie: Oordeel plus expliciete identificatie van het pun-woord ($w_p$) en het alternatieve woord ($w_a$).
3. Uitleg: Oordeel met een redenering en extractie van het volledige tuple $\langle w_p, w_a, S_p, S_a \rangle$.

Om bevestigingsbias te meten, worden elk van deze taken twee keer gesteld: een prompt die vooroordeelt naar "ja, dit is een pun" en een prompt die vooroordeelt naar "nee, dit is geen pun".

3. Verbeterstrategieën

Om de prestaties te verhogen, stellen de auteurs twee methoden voor:

• Pun-CoT (Prompt-level): Een Chain-of-Thought prompt die een drie-staps verificatieproces afdwingt:
  1. Visuele Grounding: Verifieer exact wat er visueel te zien is (voorkom hallucinatie van objecten).
  2. Lexicale Ankering: Gebruik exact de woorden uit de bijschrift (voorkom hallucinatie van pun-woorden).
  3. Cross-modale verificatie: Controleer of er een geldige fonetische of semantische brug bestaat tussen visie en tekst.
• Pun-Tuning (Model-level): Finetuning van VLM's op de MULTIPUN-dataset, inclusief zowel puns als negatieve voorbeelden, om hallucinaties te onderdrukken en de robuustheid tegen prompt-bias te vergroten.

Belangrijkste Resultaten

De auteurs evalueerden 11 representatieve VLM's (waaronder GPT-5.1, GPT-4o, Gemini, Claude, Qwen, LLaVA).

1. Slechte discriminatie van negatieve voorbeelden: De meeste modellen hebben een hoge True Positive Rate (TPR) (ze herkennen puns goed) maar een zeer lage True Negative Rate (TNR). Ze classificeren vaak niet-puns als puns. Bijvoorbeeld, Qwen3-VL-30B-Instruct identificeerde bijna elke invoer als een pun (TPR 0.99), maar had een TNR van slechts 0.018.
2. Prompt-bias: Open-source modellen vertonen een sterke gevoeligheid voor de formulering van de prompt. De prestaties variëren drastisch afhankelijk van of de prompt vooroordeelt naar "pun" of "geen pun". Gesloten bronmodellen (zoals GPT-5.1) tonen meer consistentie.
3. Uitleg vs. Detectie: Modellen presteren beter in het afwijzen van niet-puns wanneer ze verplicht worden tot een uitleg (hogere TNR), maar dit gaat vaak ten koste van de detectie van echte puns (lagere TPR).
4. Component verificatie: Modellen kunnen het pun-woord ($w_p$) vaak goed vinden, maar falen bij het identificeren van het alternatieve woord ($w_a$), vooral bij homofone puns waar de uitspraak cruciaal is.
5. Effectiviteit van verbeteringen:
   • Pun-CoT leidt tot een aanzienlijke stijging in F1-scores (gemiddeld +16.5%), voornamelijk door de TNR te verhogen (minder hallucinaties van niet-puns).
   • Pun-Tuning verbetert de robuustheid tegen prompt-bias en verhoogt de F1-scores aanzienlijk, vooral bij open-source modellen.

Bijdragen

1. MULTIPUN Benchmark: De eerste rigorieuze multimodale benchmark voor puns die zowel positieve als adversariale negatieve voorbeelden bevat, met een focus op fonetische en semantische strategieën.
2. Systematische Evaluatie: Een gedetailleerde analyse van 11 VLM's die aantoont dat huidige modellen puns vaak oppervlakkig koppelen aan taalpatronen in plaats van ze echt te begrijpen, en dat ze vatbaar zijn voor hallucinaties.
3. Verbeteringsmethodes: De introductie van Pun-CoT en Pun-Tuning als effectieve strategieën om multimodaal redeneren over humor te verbeteren, met een gemiddelde verbetering van 16.5% in F1-scores.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het een fundamentele beperking in het huidige vermogen van VLM's blootlegt: het gebrek aan diep begrip van cross-modale ambiguïteit en humor. Puns vereisen een complexe synthese van visuele en tekstuele informatie die verder gaat dan simpele beeldbeschrijving.

De bevindingen suggereren dat toekomstige VLM's niet alleen grotere datasets nodig hebben, maar ook gestructureerde redeneerprocessen (zoals Pun-CoT) en specifieke training op negatieve voorbeelden nodig hebben om menselijke nuances van humor en woordspeling te doorgronden. De MULTIPUN dataset biedt een cruciaal testplatform voor het ontwikkelen van robuustere en meer mensachtige AI-systemen.