Not Just What's There: Enabling CLIP to Comprehend Negated Visual Descriptions Without Fine-tuning

Ce papier présente CLIPGlasses, un cadre plug-and-play qui améliore la capacité de CLIP à comprendre les descriptions visuelles négatives sans fine-tuning, en utilisant des modules de lentille et de cadre pour désintriquer les sémantiques négatives et ajuster dynamiquement la similarité afin de réduire les faux positifs.

L'essentiel

🕶️ CLIPGLASSES : La paire de lunettes qui aide l'IA à comprendre le "Non"

Imaginez que vous avez un ami très intelligent, nommé CLIP. C'est un expert en vision par ordinateur capable de regarder une photo et de trouver le texte qui la décrit parfaitement. Si vous lui montrez un chien, il dira : "C'est un chien !". Si vous montrez un chat, il dira : "C'est un chat !".

Mais CLIP a un gros défaut : il est un peu naïf avec les négations.

Si vous lui montrez une photo d'un jardin vide et que vous lui dites : "Regarde, il n'y a pas de chien ici", CLIP va souvent se tromper. Au lieu de dire "Ah, c'est vrai, pas de chien", il va penser : "Attends, j'ai vu le mot 'chien' dans ta phrase, donc je vais chercher un chien sur la photo !" Il associe le mot "chien" à l'image, même si le mot "pas" est là pour l'annuler.

C'est comme si vous disiez à un enfant : "Ne mange pas la tarte", et qu'il ne voyait que le mot "tarte" et se précipitait dessus.

🧐 Le problème : Trop d'entraînement, trop de risques

Pour corriger ce défaut, les chercheurs ont essayé de "rééduquer" CLIP en lui montrant des milliers d'exemples de phrases négatives. C'est comme forcer un élève à faire des exercices de mathématiques pendant des heures.

• Le problème : Cela prend beaucoup de temps et d'argent.
• Le danger : En apprenant trop spécifiquement à ne pas manger la tarte, l'élève oublie comment faire ses devoirs de base (il oublie de reconnaître les chats ou les chiens quand il n'y a pas de négation). C'est ce qu'on appelle l'oubli catastrophique.

🎓 La solution : CLIPGLASSES (La paire de lunettes)

Au lieu de rééduquer tout le cerveau de CLIP, les auteurs de l'article ont proposé une idée géniale : ne changeons pas l'élève, donnons-lui juste des lunettes spéciales.

C'est le système CLIPGLASSES. C'est un petit module "plug-and-play" (comme une lentille de contact) qui s'ajoute à l'IA sans toucher à son cerveau d'origine. Il fonctionne en deux étapes, inspirées de la façon dont les humains réfléchissent :

1. La "Lentille" (Le Lens) : Le détective grammatical

Imaginez que la "Lentille" est un détective qui lit votre phrase avant que CLIP ne la regarde.

• Son travail est de repérer les indices de négation (comme "pas", "sans", "aucun").
• Elle sépare le mot "chien" du mot "pas".
• L'analogie : C'est comme si le détective prenait le mot "chien" et le mettait dans une boîte étiquetée "Interdit ici", pour que CLIP ne le confonde pas avec un vrai chien sur la photo.

2. Le "Cadre" (Le Frame) : Le régulateur de force

Une fois que la négation est détectée, il faut savoir à quel point elle est forte.

• "Pas de chien" est une négation très forte (100% de certitude).
• "Il n'y a peut-être pas de chien" est une négation faible (doute).
• Le "Cadre" agit comme un régulateur de volume. Il calcule une "force de répulsion".
  • Si la phrase est "Pas de chien", le Cadre crie : "Repousse cette image !".
  • Si la phrase est "Peut-être pas de chien", il dit : "Juste un petit avertissement".

⚡ Comment ça marche ensemble ?

Quand CLIP regarde une photo avec la phrase "Une fille mais pas de chien" :

1. La Lentille identifie que le mot "chien" est interdit.
2. Le Cadre regarde la photo. S'il voit un chien, il active un aimant puissant qui repousse la photo vers le bas (réduit la similarité).
3. Le résultat final : CLIP comprend que la photo ne correspond pas à la phrase, car le "chien" a été rejeté par le système de lunettes.

🏆 Pourquoi c'est génial ?

Les tests montrent que cette méthode est bien meilleure que les anciennes :

• Moins de risques : Comme on ne touche pas au cerveau de CLIP, il ne perd pas ses autres compétences. Il reste aussi bon pour reconnaître les chats, les voitures, etc.
• Moins de données : Ça fonctionne très bien même avec peu d'exemples d'entraînement (ce qui est crucial quand on n'a pas des millions de dollars).
• Plus intelligent : Il comprend mieux les nuances. Si vous dites "Pas de chien", il rejette l'image. Si vous dites "Un chien", il l'accepte. Il ne se trompe plus.

En résumé

Au lieu de forcer l'IA à réapprendre tout le monde pour comprendre le "Non", CLIPGLASSES lui donne simplement des lunettes intelligentes qui lui disent : "Attention, ce mot que tu vois est annulé par un 'pas', ne le compte pas !".

C'est une solution élégante, légère et efficace qui permet à l'IA de mieux comprendre la complexité du langage humain, sans la rendre plus bête dans ses autres tâches.

Résumé technique

1. Problématique

Les modèles Vision-Language (VLM) de type CLIP éprouvent de grandes difficultés à comprendre la négation (par exemple, "pas de chien" ou "sans voiture").

• Le symptôme : CLIP tend à mapper les phrases négatives sur des images contenant l'objet mentionné (ex: "pas de chien" correspond à une image avec un chien), car les embeddings de l'affirmation et de la négation sont trop proches dans l'espace latent.
• La cause : La rareté des expressions négatives dans les corpus de pré-entraînement (environ 0,7 % des légendes) empêche l'apprentissage contrastif de saisir les inversions de polarité sémantique.
• Limites des approches existantes : Les méthodes actuelles tentent de résoudre ce problème par un fine-tuning de l'encodeur de texte de CLIP. Cela présente deux inconvénients majeurs :
  1. Le risque de surapprentissage (overfitting) sur les jeux de données de négation, entraînant une mauvaise généralisation hors domaine.
  2. Le risque d'oubli catastrophique, où la capacité de négation s'améliore au détriment des performances générales (zero-shot) du modèle sur des tâches standards.

2. Méthodologie : CLIPGLASSES

Les auteurs proposent CLIPGLASSES, un cadre plug-and-play (non intrusif) qui améliore la compréhension de la négation sans modifier les paramètres pré-entraînés de CLIP. L'approche s'inspire de deux observations :

1. L'analyse visuelle montre que les informations de négation sont structurées de manière séparable dans les couches spécifiques de l'encodeur CLIP.
2. La cognition humaine traite la négation en deux étapes : identifier le concept nié, puis inverser son sens.

Le framework ajoute deux modules légers :

A. Module Lens (Lentille) : Disentanglement Sémantique

Ce module extrait les sémantiques négatives des embeddings textuels via une architecture à deux flux :

• Flux Syntaxique : Capture les dépendances structurelles locales (ex: "ne... pas", "jamais") en utilisant les sorties des trois premières couches de l'encodeur CLIP.
• Flux Sémantique : Capture le contexte global nécessaire pour déterminer la portée de la négation (ex: comprendre ce qui est nié dans une phrase complexe).
• Fusion Hiérarchique et Portail Résiduel : Une attention hiérarchique fusionne ces flux. Un portail résiduel (Residual Gating) adapte dynamiquement l'influence de la structure syntaxique par rapport aux caractéristiques originales de CLIP, évitant ainsi la dérive sémantique et préservant le sens de base.

B. Module Frame (Cadre) : Repulsion Dynamique Contextuelle

Une fois le concept nié identifié, le module Frame prédit une force de répulsion ($\lambda$) contextuelle.

• Contexte Multimodal : Il utilise une attention auto-symétrique pour fusionner les représentations de l'image et du texte, permettant au modèle de comprendre la négation en fonction du contenu visuel.
• Calcul de $\lambda$ : Le module génère un poids de répulsion dynamique (via une fonction sigmoïde) qui dépend de l'intensité linguistique de la négation (ex: "aucun" génère une répulsion plus forte que "peut-être pas") et du contexte visuel.

C. Calcul de Similarité Modifié

La similarité finale entre l'image et le texte est calculée en combinant la similarité de base de CLIP avec un terme de répulsion :
$$S = S_{base} - M \cdot R_{neg}$$

• $S_{base}$ : Similarité standard CLIP.
• $R_{neg}$ : Terme de répulsion calculé comme $\lambda \times \text{similarité}(image, \text{concept nié})$.
• $M$ : Un masque binaire activé uniquement si la phrase contient une négation (détecté par un classifieur léger).
• Résultat : Si le texte nie un objet, la similarité avec les images contenant cet objet est pénalisée dynamiquement, inversant ainsi l'alignement.

Stratégie d'Entraînement

L'entraînement se fait en trois étapes progressives avec les paramètres de CLIP gelés :

1. Entraînement du Lens : Pour apprendre à extraire les représentations de négation.
2. Entraînement du Frame : Pour apprendre à prédire la force de répulsion en utilisant les caractéristiques de vérité terrain.
3. Optimisation Jointe : Pour optimiser la synergie entre les deux modules.

3. Contributions Clés

1. Framework Non-Intrusif : CLIPGLASSES améliore la modélisation de la négation sans toucher aux paramètres pré-entraînés de CLIP, préservant ainsi ses capacités zero-shot natives.
2. Architecture Innovante : Introduction d'un module "Lens" pour le disentanglement syntaxique-sémantique et d'un module "Frame" pour la répulsion contextuelle dynamique.
3. Meilleur Compromis Performance/Généralisation : La méthode atteint des performances de pointe (SOTA) en généralisation inter-domaine et en conditions de ressources limitées, évitant le surapprentissage typique des méthodes par fine-tuning.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks (CC-Neg-val, Neg-COCO-MCQ, Neg-COCO-R) et comparées à des méthodes de référence comme NegCLIP et CoN-CLIP.

• Performance Inter-domaine : Sur le benchmark Neg-COCO-MCQ, CLIPGLASSES dépasse CoN-CLIP de 8,81 points (34,51 % vs 25,70 %), démontrant une bien meilleure capacité de généralisation.
• Robustesse aux Faibles Ressources : Avec seulement 5 000 images d'entraînement, CLIPGLASSES surpasse CoN-CLIP de 27,45 points sur CC-Neg-val, prouvant sa supériorité dans des scénarios à données limitées.
• Préservation des Capacités Zero-Shot : Contrairement aux modèles fine-tunés (comme CoN-CLIP) qui voient leurs performances chuter sur ImageNet et Caltech101, CLIPGLASSES maintient des performances quasi-identiques au CLIP original sur ces tâches standards, confirmant l'absence d'oubli catastrophique.
• Analyse par Ablation :
  • Le retrait du flux syntaxique ou sémantique réduit la précision, confirmant la nécessité des deux.
  • Le retrait du portail résiduel cause une chute drastique de performance (-27,63 %), soulignant l'importance de ne pas perdre le sens original.
  • Le retrait du poids de répulsion dynamique entraîne une baisse massive (-32,82 %), prouvant que la modulation de l'intensité de la négation est cruciale.

5. Signification et Impact

Ce travail démontre qu'il est possible de doter les grands modèles de base (Foundation Models) de capacités de raisonnement complexes (comme la négation) sans les ré-entraîner massivement.

• Efficacité : L'approche est plus économe en ressources et évite les compromis entre spécialisation et généralité.
• Applications Critiques : Cette robustesse est particulièrement importante pour des domaines sensibles comme la médecine ou le diagnostic clinique, où la distinction entre "présence" et "absence" d'un symptôme est vitale.
• Perspectives : Bien que très efficace pour les négations visuelles, la méthode reconnaît encore des limites avec les négations non-visuelles (ex: "pas authentique"), ouvrant la voie à l'intégration de connaissances communes (commonsense) dans les travaux futurs.

En résumé, CLIPGLASSES offre une solution élégante et robuste au problème de la négation dans les VLM, transformant un modèle aveugle à la négation en un système capable de comprendre ce qui n'est pas là, tout en conservant son intelligence visuelle générale.