💬 NLP

Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations

Cet article présente un cadre d'interprétation de la désambiguïsation du sens des mots visuels qui exploite CLIP avec un double canal de sollicitation textuelle et des augmentations d'images pour résoudre l'ambiguïté lexicale, atteignant des améliorations de performance significatives sur le jeu de données SemEval-2023 tout en démontrant que des invites précises et alignées sur CLIP sont plus efficaces que des signaux externes bruités.

Auteurs originaux : Shamik Bhattacharya, Daniel Perkins, Yaren Dogan, Vineeth Konjeti, Sudarshan Srinivasan, Edmon Begoli

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shamik Bhattacharya, Daniel Perkins, Yaren Dogan, Vineeth Konjeti, Sudarshan Srinivasan, Edmon Begoli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à un jeu de « Devinez l'image ». Quelqu'un vous donne un mot qui a deux sens très différents, comme le mot « banque ».

S'agit-il de l'endroit où vous gardez votre argent ?
Ou s'agit-il du bord boueux d'une rivière ?

Si je dis simplement « banque », vous pourriez être confus. Mais si je dis « rive de la banque » (ou « berge de la rivière »), votre cerveau choisit instantanément l'image de la rivière. Ce document traite de la façon d'apprendre à un ordinateur à faire la même chose, mais avec une variante : au lieu de simplement lire plus de mots, l'ordinateur doit regarder 10 images différentes et choisir celle qui correspond au sens du mot.

Voici comment les chercheurs ont résolu ce casse-tête, expliqué simplement :

Le Problème : Les « Lunettes Floues » de l'Ordinateur

Les grands modèles de langage (les cerveaux IA intelligents) sont excellents pour lire, mais ils se trompent parfois lorsqu'un mot a plusieurs sens. Si la phrase est courte, l'ordinateur peut ne pas savoir de quelle « banque » vous parlez. C'est comme essayer d'identifier une personne dans une pièce embrumée ; vous voyez une forme, mais vous n'êtes pas sûr s'il s'agit de votre ami ou d'un étranger.

La Solution : Une Stratégie en Deux Parties

Les chercheurs ont construit un système utilisant un outil appelé CLIP (qui est comme un traducteur super intelligent parlant à la fois l'« anglais » et l'« image »). Ils ont essayé de rendre les « lunettes » de l'ordinateur plus claires en utilisant deux astuces principales :

1. Le Prompt à « Double Canal » (L'indice verbal)

Au lieu de simplement donner la phrase brute à l'ordinateur (ex : « érosion de la banque »), ils lui ont donné un ensemble d'indices pour l'aider à se concentrer. Ils ont utilisé deux types d'indices :

Le canal « Sémantique » : Ce sont des définitions de dictionnaire mais écrites sous forme de phrases courtes et claires (ex : « le concept de rive de rivière »).
Le canal « Photo » : Ce sont des prompts qui décrivent ce à quoi la photo ressemble (ex : « une photo d'une rive de rivière avec érosion »).

Considérez cela comme un détective donnant à l'ordinateur une liste d'indices : « Cherche une rivière, pas un bâtiment ». En mélangeant ces indices, l'ordinateur obtient une idée beaucoup plus nette de ce qu'il recherche.

2. L'« Augmentation d'Image » (Le Kaléidoscope)

Pour les images, l'ordinateur ne se contente pas de regarder l'image une seule fois. Les chercheurs ont utilisé une technique appelée augmentation.
Imaginez que vous regardez une peinture. Pour mieux la comprendre, vous pourriez :

Zoomer sur les détails.
La regarder de côté.
Plisser les yeux pour voir les formes.
La retourner à l'envers.

L'ordinateur a fait la même chose. Il a pris chacune des 10 images candidates et a créé 28 « versions » différentes (recadrées, retournées, éclaircies, etc.). Il a ensuite fait la moyenne de toutes ces vues pour obtenir une « super-vue » de l'image. Cela aide l'ordinateur à ignorer les distractions comme une ombre étrange ou une personne debout dans un coin.

L'Expérience : Ce qui a fonctionné et ce qui n'a pas fonctionné

Les chercheurs ont testé ces astuces sur un ensemble de données appelé SemEval-2023, qui est essentiellement une immense banque de tests de mots et d'images complexes.

Ce qui a le mieux fonctionné :

Les indices verbaux (Prompts) : C'était le grand gagnant. Donner de meilleures descriptions à l'ordinateur (les indices à « double canal ») l'a rendu beaucoup plus intelligent. C'était comme donner une meilleure carte au détective. Cela a considérablement amélioré la précision de l'ordinateur sans trop le ralentir.
Le « Kaléidoscope » (Augmentation d'image) : Regarder les images sous tous les angles a aidé un peu, mais c'était coûteux. Cela demandait beaucoup de puissance de calcul pour traiter 28 versions de chaque image, et l'amélioration de la précision était très faible. C'était comme utiliser un marteau-piqueur pour casser une noix.

Ce qui n'a pas fonctionné :

Ajouter plus de langues : Les chercheurs ont essayé de traduire les indices en espagnol, en français et en allemand, espérant que différentes langues clarifieraient le sens. Au lieu de cela, cela a empiré les choses. C'était comme essayer de résoudre un puzzle en portant des casques antibruit diffusant de la friture ; l'information supplémentaire créait simplement de la confusion.
Ajouter des définitions de dictionnaire : Ils ont essayé de donner la définition officielle du mot à l'ordinateur. Bien que cela ait aidé un tout petit peu, le fait de trop compter sur le dictionnaire a en réalité fait que l'ordinateur oubliait le contexte de la phrase.

Le Résultat Final

En combinant les indices verbaux intelligents avec une quantité modérée de retouches d'image, les chercheurs ont construit un système qui est devenu meilleur pour choisir la bonne image.

Avant : L'ordinateur trouvait la bonne réponse environ 58 % du temps.
Après : L'ordinateur trouve la bonne réponse environ 62 % du temps.

À Retenir

La leçon principale de cet article est que la qualité l'emporte sur la quantité.

Donner à l'ordinateur quelques indices verbaux très précis (prompts) était bien plus efficace que de lui jeter une masse énorme de données supplémentaires (comme des traductions ou des définitions de dictionnaire).
Essayer de voir l'image sous tous les angles possibles (augmentation agressive) coûtait trop de temps et d'énergie pour un gain minime.

En résumé, la meilleure façon d'aider une IA à comprendre un mot complexe est de lui donner une description claire et ciblée de ce qu'elle doit chercher, plutôt que de la submerger avec trop d'options ou trop de bruit.

Résumé technique : Désambiguïsation visuelle du sens des mots avec CLIP via un double canal de requêtes textuelles et des augmentations d'images

Énoncé du problème
L'ambiguïté lexicale demeure un défi persistant pour les grands modèles de langage (LLM), particulièrement lorsque les indices contextuels sont insuffisants pour distinguer des mots polysémiques (sens apparentés) ou homonymes (sens non apparentés). Alors que la désambiguïsation classique du sens des mots (WSD) repose sur le texte environnant, elle échoue souvent dans les scénarios à faible contexte. La désambiguïsation visuelle du sens des mots (VWSD) répond à cela en exploitant des entrées visuelles pour résoudre l'ambiguïté, visant à identifier quelle image parmi un ensemble de candidats représente le mieux le sens voulu d'un mot cible au sein d'un contexte spécifique. Les approches de pointe actuelles reposent souvent sur des fusions multimodales complexes ou de grands générateurs externes, ce qui rend difficile l'isolement des contributions spécifiques des stratégies de requêtage (prompting) par rapport aux améliorations du traitement visuel.

Méthodologie
Les auteurs proposent un cadre de VWSD interprétable basé sur l'architecture CLIP (Contrastive Language-Image Pre-training). L'objectif central est de projeter le texte ambigu et les images candidates dans un espace multimodal partagé afin de déterminer l'alignement via la similitude cosinus. L'architecture proposée améliore l'approche « vanilla » standard de CLIP grâce à trois mécanismes principaux :

Requêtes textuelles à double canal (Dual-Channel Text Prompting) : Au lieu d'utiliser des phrases de contexte brutes, le modèle enrichit les plongements textuels à l'aide d'un ensemble de deux types de requêtes :
- Requêtes sémantiques : Phrases étroitement définies décrivant le mot cible sous des angles sémantiques spécifiques (ex. : « banque liée à l'érosion »).
- Requêtes photo : Phrases qui lient explicitement le texte à des descriptions visuelles (ex. : « une photo d'érosion de berge »).
  Ces requêtes sont générées, plongées (embedded), moyennées au sein de leurs canaux respectifs, puis fusionnées via une somme pondérée ( $\beta_p$ et $\beta_s$ ) pour créer une représentation textuelle robuste.
Intégration de WordNet : Pour diversifier davantage l'entrée, le système incorpore les synonymes de WordNet pour le mot cible et le mot de contexte. Ces synonymes sont utilisés pour générer des requêtes photo supplémentaires, qui sont infusées dans le plongement photo moyen pour affiner le vecteur textuel final.
Pipeline d'augmentation d'image : Pour améliorer la robustesse des plongements visuels, le modèle remplace l'encodage à vue unique par une stratégie complète d'augmentation au moment du test. Cela inclut :
- Transformations géométriques : Miroir horizontal, recadrage centré, zoom et rotations aléatoires.
- Transformations photométriques : Variation de la luminosité, du contraste et de la saturation, ainsi qu'un léger flou.
- Stratégies de multi-recadrage : Recadrages déterministes (grilles de patchs, recadrages de quadrants médians) pour capturer des objets décentrés.
  Chaque image candidate est transformée en plusieurs vues (ex. : 28 vues), encodée indépendamment, et moyennée pour produire un plongement d'image stable et moyené par vue.

La prédiction finale est effectuée en calculant la similitude cosinus entre le plongement textuel enrichi et les plongements d'images enrichis, en sélectionnant l'image ayant le score le plus élevé.

Contributions clés et résultats expérimentaux
L'article évalue son approche sur le jeu de données SemEval-2023 VWSD, en comparant la méthode proposée à une base CLIP « vanilla » et à diverses configurations d'ablation.

Gains de performance : L'enrichissement des plongements par le double canal de requêtes et les augmentations d'images a amélioré le Rang Reciproque Moyen (MRR) de 0,7227 à 0,7590 et le Taux de Succès (Hit Rate) de 0,5810 à 0,6220 sur l'ensemble de test.
Aperçus d'ablation :
- Prompting vs Augmentation : Les études d'ablation révèlent que le double canal de requêtes offre des performances robustes à faible latence (MRR 0,75, Hit@1 ~0,625) avec une latence de bout en bout d'environ 63 ms. En revanche, l'augmentation agressive des images seule n'a produit que des gains marginaux (MRR ~0,72) tout en imposant un coût computationnel important (710 ms de latence).
- Rendements décroissants : La combinaison du prompting et de l'augmentation n'a pas produit de bénéfices additifs ; l'approche combinée a été moins performante que le prompting seul en termes d'efficacité et a offert des gains de performance limités, suggérant des rendements décroissants de la diversité visuelle lorsque la guidance sémantique est déjà présente.
Limites de la connaissance externe :
- Définitions WordNet : L'intégration des définitions de WordNet a montré que si une moyenne pondérée (15 % définition, 85 % contexte) offrait de légères améliorations, remplacer entièrement le contexte par des définitions dégradait les performances.
- Traduction multilingue : Les expériences de traduction des requêtes en espagnol, français et allemand ont systématiquement dégradé les performances. Les auteurs attribuent cela aux erreurs de traduction et à la « dilution » de la spécificité sémantique lors de la moyenne des plongements à travers les langues.
Comparaison avec les bases de référence : Une base utilisant BERT pour le texte et BLIP pour la légende d'image a échoué (taux de succès de 0 %), soulignant la nécessité d'un espace de plongement unifié fourni par CLIP pour une comparaison intermodale significative.

Signification et affirmations
L'article positionne sa signification non pas dans l'atteinte de la précision absolue par rapport aux systèmes de pointe de SemEval-2023 (qui ont atteint ~84-85 % de Hit@1 avec des modèles plus larges et plus complexes), mais dans la fourniture d'un cadre interprétable qui isole les contributions de choix de conception spécifiques.

Les auteurs affirment que :

Précision plutôt que Bruit : Pour la VWSD basée sur CLIP, des requêtes précises, monolingues et alignées sur CLIP sont plus efficaces que des signaux externes bruités comme les traductions multilingues ou les définitions excessives de WordNet.
Efficacité vs Complexité : Le prompting sémantique est une stratégie de calcul efficace qui offre un pouvoir de désambiguïsation significatif, tandis qu'une augmentation visuelle agressive introduit un surcoût substantiel pour des retours limités.
Modularité : L'étude démontre qu'une approche modulaire, évitant les mécanismes de fusion complexes (comme les GNN ou les piles Vision-LLM), peut évaluer efficacement comment des choix de conception à faible coût impactent les métriques de validation sous des budgets de latence stricts.

Les auteurs concluent que bien qu'un écart subsiste entre leurs résultats et les systèmes de pointe, leur travail établit une base pour comprendre les contributions au niveau des composants pour la désambiguïsation, en privilégiant l'interprétabilité et des coûts d'inférence durables.