"I See What You Did There": Can Large Vision-Language Models Understand Multimodal Puns?

1. Il Problema

I giochi di parole (puns) sono una forma di retorica che sfrutta l'omonimia (parole che suonano uguali ma hanno significati diversi) e la polisemia (parole con lo stesso spelling ma significati diversi) per creare umorismo. Nei giochi di parole multimodali, gli elementi visivi e testuali lavorano in sinergia: l'immagine rappresenta il senso letterale (oggetto concreto), mentre il testo forza un'interpretazione figurata o un suono simile.

Nonostante i progressi dei Modelli Linguistici Visivi (VLM) nella comprensione e generazione multimodale, la loro capacità di comprendere i giochi di parole non è stata studiata sistematicamente a causa della mancanza di benchmark rigorosi. Le ricerche esistenti presentano tre limitazioni critiche:

1. Confinamento unimodale: Si concentrano quasi esclusivamente su testi, ignorando l'ambiguità cross-modale.
2. Carenza di benchmark multimodali: I dataset esistenti mancano di categorizzazione linguistica dettagliata e, soprattutto, di campioni negativi (non giochi di parole) per testare la capacità del modello di distinguere un vero gioco di parole da una semplice associazione visiva.
3. Confusione tra preferenza e comprensione: Le valutazioni precedenti spesso si basano su query singole che non separano il ragionamento reale dal bias linguistico del modello (tendenza a rispondere "sì" per cortesia o pattern superficiali).

2. Metodologia

A. Il Dataset MULTIPUN

Gli autori hanno proposto MULTIPUN, un benchmark linguistico fondato che contiene:

• 445 campioni positivi (Giochi di parole): Divisi in due categorie principali:
  • Giochi di parole omofoni (Homophonic): Sfruttano la somiglianza fonetica tra parole con spelling diverso (es. "pear" [pera] e "pair" [coppia]).
  • Giochi di parole omografi (Homographic): Sfruttano il doppio significato di una parola con lo stesso spelling (es. "fan" [ventilatore] e "fan" [tifoso]).
• 890 campioni negativi (Distrattori): Generati tramite due strategie di sostituzione avversaria per rompere il meccanismo del gioco di parole mantenendo la coerenza superficiale:
  • Sostituzione Esplicativa (ES): Sostituisce la parola chiave del gioco di parole con una descrizione esplicita del significato figurato, eliminando l'ambiguità.
  • Sostituzione Casuale (RS): Sostituisce la parola chiave con un'entità semanticamente non correlata e genera una nuova immagine coerente con la nuova parola, ma senza il gioco di parole.

B. Pipeline di Costruzione

Il dataset è stato generato tramite una pipeline automatizzata che include:

1. Generazione di tuple: Identificazione di coppie di parole (omofone o omografe) utilizzando dizionari fonetici (CMU) e WordNet, filtrando per frequenza e depictability visiva.
2. Generazione di campioni: Utilizzo di GPT-4o per creare didascalie, descrizioni per la generazione di immagini (con GPT-image-1) e interpretazioni.
3. Filtraggio e Verifica: Rimozione di campioni ridondanti tramite embedding e verifica umana (Human-in-the-loop) per garantire la coerenza visiva e testuale.

C. Compiti di Valutazione

Per valutare i VLM, sono stati definiti tre compiti progressivi:

1. Rilevamento (Detection): Giudizio binario (è un gioco di parole o no?).
2. Localizzazione (Localization): Identificazione esplicita della parola chiave ($w_p$) e della parola alternativa ($w_a$).
3. Spiegazione (Explanation): Fornire una motivazione logica e estrarre la tupla completa $\langle w_p, w_a, S_p, S_a \rangle$ (parola, alternativa, senso letterale, senso figurato).

Per mitigare il bias di conferma, ogni modello è stato interrogato due volte con prompt opposti: uno "biased-to-pun" (è un gioco di parole?) e uno "biased-to-non-pun" (non è un gioco di parole?).

D. Strategie di Miglioramento

Per rispondere alla domanda su come migliorare la comprensione, gli autori hanno proposto due approcci:

1. Pun-CoT (Prompt-level): Una catena di pensiero strutturata in tre stadi che impone al modello di: (i) ancorarsi visivamente (verificare l'oggetto reale), (ii) ancorarsi lessicalmente (usare le parole esatte della didascalia), e (iii) verificare il ponte cross-modale (fonetico o semantico) prima di concludere.
2. Pun-Tuning (Model-level): Un fine-tuning dei modelli VLM utilizzando il dataset MULTIPUN, includendo sia campioni positivi che negativi, per addestrare il modello a riconoscere i meccanismi specifici e a rifiutare i distrattori.

3. Risultati Chiave

L'analisi di 11 VLM (inclusi GPT-5.1, Gemini-3-Pro, Claude, Qwen, LLaVA) rivela:

• Scarsa capacità di distinguere i non-giochi di parole: La maggior parte dei modelli ottiene un alto True Positive Rate (TPR) ma un bassissimo True Negative Rate (TNR). Ad esempio, molti modelli classificano quasi tutto come un gioco di parole, fallendo nel riconoscere i distrattori (TNR < 0.38 per molti modelli nella fase di rilevamento).
• Bias indotto dal prompt: I modelli open-source mostrano una forte sensibilità alla formulazione della domanda. Cambiare il prompt da "è un gioco di parole?" a "non è un gioco di parole?" causa variazioni drastiche nelle prestazioni (es. $\Delta$TPR fino a -0.923 per LLaVA), indicando una mancanza di ragionamento interno robusto.
• Comprensione superficiale: I modelli riescono spesso a identificare la parola chiave ($w_p$) perché appare nel testo, ma falliscono nel recuperare la parola alternativa ($w_a$), specialmente nei giochi omofoni, dove richiede inferenza fonetica.
• Qualità delle spiegazioni: Anche quando i modelli rilevano correttamente il gioco di parole, le loro spiegazioni sono spesso inferiori rispetto alla verità fondamentale (ground truth), con tassi di "Loss" molto alti nelle comparazioni a coppie.
• Efficacia delle strategie di miglioramento:
  • Pun-CoT: Ha portato a un miglioramento medio del 16.5% nel punteggio F1, principalmente aumentando la capacità di rifiutare i falsi positivi (TNR) senza sacrificare eccessivamente il rilevamento dei veri positivi.
  • Pun-Tuning: Ha ulteriormente migliorato la robustezza contro il bias del prompt e la capacità di generalizzazione, specialmente per i modelli open-source.

4. Contributi Principali

1. MULTIPUN: Il primo benchmark multimodale rigoroso per i giochi di parole, che include sia esempi positivi che negativi avversari, permettendo una valutazione reale della comprensione cross-modale.
2. Analisi delle capacità dei VLM: Dimostrazione empirica che gli attuali VLM soffrono di allucinazioni sistematiche (lessicali, fonetiche, semantiche e visive) quando affrontano l'umorismo sottile, spesso confondendo pattern linguistici superficiali con la comprensione reale.
3. Metodologie di Mitigazione: Validazione di approcci a livello di prompt (Pun-CoT) e di modello (Pun-Tuning) che migliorano significativamente l'accuratezza e la robustezza dei modelli.

5. Significato e Implicazioni

Questo lavoro evidenzia un gap fondamentale nelle capacità di ragionamento dei modelli VLM attuali: sono bravi a descrivere immagini e testi separatamente, ma faticano a integrare le due modalità per risolvere ambiguità linguistiche complesse come i giochi di parole.
La capacità di comprendere l'umorismo e i giochi di parole è un indicatore cruciale di un'intelligenza artificiale che possiede un ragionamento simile a quello umano, capace di gestire la polisemia e il contesto. I risultati suggeriscono che per raggiungere una vera intelligenza multimodale, i modelli devono essere addestrati non solo a riconoscere pattern, ma a verificare attivamente la coerenza logica e fonetica tra visivo e testuale, evitando allucinazioni forzate. Il benchmark MULTIPUN e le strategie proposte forniscono una base solida per lo sviluppo di VLM più resilienti e affidabili.