💬 NLP

"I See What You Did There": Can Large Vision-Language Models Understand Multimodal Puns?

Cette étude présente le jeu de données MultiPun et des stratégies d'amélioration pour évaluer et renforcer la capacité des modèles vision-langage à comprendre les jeux de mots multimodaux, un domaine où les modèles actuels montrent des lacunes significatives.

Auteurs originaux : Naen Xu, Jiayi Sheng, Changjiang Li, Chunyi Zhou, Yuyuan Li, Tianyu Du, Jun Wang, Zhihui Fu, Jinbao Li, Shouling Ji

Publié 2026-04-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Naen Xu, Jiayi Sheng, Changjiang Li, Chunyi Zhou, Yuyuan Li, Tianyu Du, Jun Wang, Zhihui Fu, Jinbao Li, Shouling Ji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 Le Grand Défi des IA : Comprendre les "Jeux de Mots" Visuels

Imaginez que vous montrez une image à un ami. Sur l'image, il y a deux poires (le fruit) qui se tiennent par la main comme un couple amoureux. L'ami dit : "On fait une super poire !" (en anglais, cela sonne comme "pair", qui signifie "une paire").

C'est un jeu de mots visuel (un calembour multimodal). L'humour vient du mélange entre ce que vous voyez (des fruits) et ce que vous entendez (l'idée d'un couple).

Le problème ? Les Intelligences Artificielles (les grands modèles de langage et de vision) sont très fortes pour décrire des images, mais elles sont souvent nulles pour comprendre l'humour. Elles prennent tout au premier degré.

🕵️‍♂️ L'Enquête : "MULTIPUN"

Les chercheurs de cette étude (de l'Université de Zhejiang et d'autres) ont décidé de tester ces IA avec un nouveau jeu, qu'ils ont appelé MULTIPUN.

1. La Cuisine des Jeux de Mots (La Création du Dataset)
Au lieu de chercher des jeux de mots existants, ils ont créé leur propre "cuisine" pour en fabriquer des milliers :

Ils ont pris des mots qui se ressemblent (comme poire/paire ou fan/adepte).
Ils ont demandé à une IA de dessiner des images drôles basées sur ces mots.
Le petit plus génial : Ils ont aussi créé des faux jeux de mots (des leurres). Par exemple, une image de deux pommes avec la phrase "On fait une super pomme". Il n'y a pas de jeu de mot ici, mais une IA bête pourrait dire "Oui, c'est drôle !" juste parce qu'elle adore les phrases positives.

2. Le Test de Vérité
Ils ont montré ces images à 11 IA différentes (comme GPT-4, Gemini, Claude, etc.) et leur ont posé trois questions :

Détection : "Est-ce un jeu de mot ?" (Oui/Non).
Localisation : "Où est le mot qui fait le jeu ?"
Explication : "Pourquoi est-ce drôle ?"

📉 Les Résultats : Les IA sont des "Rêveurs"

Les résultats sont sans appel : les IA échouent lamentablement.

Elles voient des fantômes : Les IA ont tendance à dire "Oui, c'est un jeu de mot !" même quand ce n'est pas le cas. C'est comme un enfant qui voit un nuage et dit "C'est un dragon !" alors que c'est juste un nuage. Elles sont trop enthousiastes et voient de l'humour là où il n'y en a pas.
Elles confondent les sons : Parfois, elles inventent des ressemblances sonores qui n'existent pas (ex: dire que "banane" ressemble à "âme" en anglais, ce qui est faux).
Elles ne comprennent pas la nuance : Elles peuvent identifier le mot, mais ne comprennent pas pourquoi c'est drôle. C'est comme quelqu'un qui lit une blague en lisant les mots, mais qui ne rit pas parce qu'il ne saisit pas l'intention.

🛠️ La Solution : Comment les rendre plus "intelligentes" ?

Les chercheurs ont proposé deux remèdes pour aider les IA à ne plus rêver et à mieux comprendre :

Le "Pun-CoT" (La méthode du détective) :
Au lieu de demander à l'IA de répondre directement, on lui donne un guide de réflexion. On lui dit : "Attends, regarde d'abord l'image. Est-ce que le mot est vraiment là ? Est-ce que les sons se ressemblent vraiment ? Ne te fie pas à ton imagination."
- Analogie : C'est comme donner une loupe à un détective qui a tendance à halluciner. Il doit prouver chaque étape avant de conclure.
Le "Pun-Tuning" (L'entraînement spécial) :
On a pris les IA et on les a "entraînées" spécifiquement avec notre jeu de données (les vrais jeux de mots ET les faux). On leur a appris à dire "Non" quand il n'y a pas de jeu de mot.
- Résultat : Cela a amélioré leurs performances de 16,5 %. Elles sont devenues beaucoup plus précises et moins susceptibles de voir des jeux de mots partout.

💡 En Résumé

Cette étude nous apprend que même les IA les plus avancées ont du mal à comprendre l'humour humain, car l'humour demande de la créativité et de la nuance, pas juste du calcul.

Pour qu'une IA comprenne vraiment un jeu de mot, il ne suffit pas qu'elle "voie" l'image et "lise" le texte. Il faut qu'elle comprenne le lien invisible entre les deux, et qu'elle ait l'humilité de dire "Je ne vois pas de jeu de mot ici" quand il n'y en a pas.

C'est un pas de géant pour rendre les robots plus humains, plus drôles, et surtout, moins confus ! 🤖✨

1. Problématique et Contexte

Les jeux de mots (puns) sont une forme de rhétorique complexe exploitant la polysémie et la similarité phonétique pour créer de l'humour. Dans le contexte multimodal, l'humour naît de la synergie entre des éléments visuels (l'objet littéral) et textuels (le contexte figuré), nécessitant une résolution d'ambiguïté bien plus sophistiquée que la simple légende d'image.

Bien que les Modèles Vision-Langage (VLM) soient performants dans de nombreuses tâches, leur capacité à comprendre les jeux de mots multimodaux n'a pas été systématiquement étudiée, principalement en raison de l'absence de benchmarks rigoureux. Les travaux existants souffrent de trois limitations majeures :

Confinement unimodal : La plupart des recherches se concentrent sur le texte, ignorant l'ambiguïté créée par le mode visuel.
Défauts des benchmarks : Les ensembles de données actuels manquent de catégories fines et, surtout, d'échantillons négatifs (non-jeux de mots) pour tester la robustesse.
Confusion préférence/compréhension : Les évaluations actuelles reposent souvent sur des requêtes simples ("Est-ce un jeu de mots ?"), ce qui ne distingue pas un raisonnement réel d'un biais linguistique affirmatif du modèle.

2. Méthodologie et Proposition

Pour combler ces lacunes, les auteurs proposent une approche complète comprenant la création d'un nouveau dataset, une évaluation rigoureuse et des stratégies d'amélioration.

A. Le Benchmark MULTIPUN

Les auteurs introduisent MULTIPUN, un benchmark linguistiquement ancré contenant :

445 jeux de mots positifs : Divisés en deux catégories linguistiques :
- Jeux de mots homophones (similitude de son, orthographe différente, ex: "pear"/"pair").
- Jeux de mots homographes (même orthographe, sens différents, ex: "fan" = ventilateur / admirateur).
890 échantillons négatifs (distracteurs) : Générés via deux stratégies pour perturber le mécanisme du jeu de mots tout en conservant une cohérence de surface :
- Substitution Explicative (ES) : Remplacement du mot par sa définition littérale, éliminant l'ambiguïté.
- Substitution Aléatoire (RS) : Remplacement par un objet sémantiquement non lié, brisant la connexion phonétique ou sémantique.

Le pipeline de construction utilise des dictionnaires phonétiques (CMU), WordNet pour la sémantique, et des modèles de génération d'images (GPT-image-1) pour créer des scènes visuelles cohérentes avec les définitions littérales et figurées.

B. Tâches d'Évaluation

Pour évaluer la compréhension réelle, trois tâches progressives sont définies :

Détection : Jugement binaire (Jeu de mots ou non).
Localisation : Identification explicite du mot du jeu de mots ( $w_p$ ) et du mot alternatif ( $w_a$ ).
Explication : Justification du mécanisme et extraction du tuple complet $\langle w_p, w_a, S_p, S_a \rangle$ .

Pour isoler le raisonnement du biais de langage, chaque tâche est évaluée avec deux types de prompts : biaisés vers "Oui" (c'est un jeu de mots) et biaisés vers "Non" (ce n'est pas un jeu de mots).

C. Stratégies d'Amélioration

Deux méthodes sont proposées pour améliorer les performances des VLM :

Pun-CoT (Prompt-level) : Une méthode de "Chain-of-Thought" (Chaîne de Pensée) imposant une vérification en trois étapes :
- Ancrage Visuel : Vérifier l'objet littéral sans hallucination.
- Ancrage Lexical : Extraire les mots exacts de la légende.
- Vérification Cross-Modale : Confirmer le lien phonétique ou sémantique valide.
Pun-Tuning (Model-level) : Un fine-tuning des modèles sur le dataset MULTIPUN, incluant spécifiquement les échantillons négatifs pour réduire les hallucinations et les biais d'affirmation.

3. Résultats Clés

L'évaluation de 11 VLM (modèles propriétaires et open-source) révèle des résultats significatifs :

Difficulté à rejeter les non-jeux de mots : La plupart des modèles obtiennent un taux de vrais positifs (TPR) élevé mais un taux de vrais négatifs (TNR) très faible. Ils tendent à classer systématiquement n'importe quelle image drôle comme un jeu de mots (ex: Qwen3-VL-30B a un TNR de 0,018 sur les jeux de mots homophones).
Biais de prompt : Les modèles open-source sont particulièrement sensibles à la formulation de la question, montrant une faible robustesse interne. Les modèles propriétaires (GPT-5.1, Gemini-3-Pro) sont plus stables.
Limites de l'explication : Bien que les modèles puissent souvent identifier le mot du jeu de mots ( $w_p$ ), ils échouent fréquemment à identifier le mot alternatif ( $w_a$ ) ou à expliquer le mécanisme, surtout pour les jeux de mots homophones.
Analyse des erreurs : Les modèles souffrent de quatre types d'hallucinations :
1. Hallucination de mot-clé : Ignorer le texte visible pour restaurer un idiome attendu.
2. Hallucination phonétique : Inventer une similitude sonore inexistante.
3. Hallucination sémantique : Forcer un sens inapproprié sur un mot.
4. Hallucination visuelle : "Voir" des objets qui ne sont pas là pour correspondre au texte.

Impact des améliorations :

Pun-CoT améliore le score F1 moyen de 16,5 %, principalement en augmentant drastiquement le TNR (capacité à rejeter les faux positifs) sans sacrifier la détection des vrais jeux de mots.
Pun-Tuning renforce la robustesse contre les biais de prompt et améliore la précision globale, en particulier pour les modèles open-source.

4. Contributions et Signification

Contributions principales :

Introduction du premier pipeline de génération de jeux de mots multimodaux et du benchmark MULTIPUN incluant des distracteurs adversariaux.
Mise en évidence du fait que les VLM actuels établissent des connexions superficielles plutôt qu'une compréhension profonde des mécanismes de jeux de mots.
Démonstration que des stratégies de prompt (Pun-CoT) et de fine-tuning (Pun-Tuning) peuvent significativement améliorer la capacité des modèles à raisonner sur l'humour multimodal.

Signification :
Ce travail marque une étape cruciale vers le développement de VLM capables de maîtriser les subtilités de l'humour humain. Il démontre que la compréhension multimodale ne se limite pas à la reconnaissance d'objets ou de texte, mais nécessite une capacité de raisonnement abstrait pour résoudre des ambiguïtés croisées. Les résultats suggèrent que pour atteindre une intelligence artificielle véritablement "humaine" dans l'interaction, les modèles doivent apprendre à distinguer la réalité de l'illusion humoristique, évitant ainsi les hallucinations sémantiques et phonétiques.