💻 computer science

When Negation Is a Geometry Problem in Vision-Language Models

Ce papier propose une nouvelle méthode d'évaluation basée sur des modèles de langage multimodaux pour révéler que l'incapacité des modèles vision-langage comme CLIP à comprendre la négation peut être résolue sans réentraînement, en identifiant et en manipulant une direction spécifique dans l'espace d'embedding via l'ingénierie de représentation.

Auteurs originaux : Fawaz Sammani, Tzoulio Chamiti, Paul Gavrikov, Nikos Deligiannis

Publié 2026-03-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fawaz Sammani, Tzoulio Chamiti, Paul Gavrikov, Nikos Deligiannis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Grand Timide" qui ne comprend pas le "Non"

Imaginez que vous avez un assistant très intelligent, capable de voir des millions de photos et de lire des millions de textes. C'est le modèle CLIP. Si vous lui demandez : "Montre-moi un chien sur l'herbe", il est excellent. Il vous sortira des photos de chiens verts, marrons, en train de jouer, etc.

Mais si vous lui demandez : "Montre-moi un chien qui n'est pas sur l'herbe", il panique. Il vous montrera quand même des chiens sur l'herbe !

Pourquoi ? Parce que ce modèle fonctionne un peu comme un sac de mots. Il voit les mots "chien" et "herbe" et se dit : "Ah, c'est la bonne combinaison !". Il oublie complètement le petit mot magique "non" ou "sans" qui change tout le sens de la phrase. C'est comme si vous demandiez à un cuisinier de faire un gâteau sans sucre, et qu'il vous apportait quand même un gâteau très sucré parce qu'il a juste vu les mots "gâteau" et "sucre" sur la commande.

L'Erreur des Anciens Tests : Le Piège du "Faux Négatif"

Jusqu'à présent, pour voir si les chercheurs avaient corrigé ce problème, ils utilisaient des tests automatiques. Mais ces tests étaient piégés.

Imaginez que vous cherchez une photo d'un chien sans collier.

La photo A montre un chien sans collier (c'est la bonne réponse).
La photo B montre aussi un chien sans collier (c'est aussi une bonne réponse !).

Dans les anciens tests, seuls la photo A était marquée comme "correcte". Si le modèle trouvait la photo B, le test disait : "Échec !". C'est injuste ! C'est comme si un professeur disait à un élève qui a donné la bonne réponse qu'il a tort, juste parce qu'il n'a pas choisi la même bonne réponse que le professeur.

Les auteurs de ce papier disent : "Arrêtons de compter bêtement les points et utilisons un juge humain (ou presque) !"

La Solution 1 : Le Juge Super-Puissant (MLLM)

Au lieu de compter des points automatiques, les chercheurs utilisent un Super-Intelligence Artificielle (un "LLM") qui agit comme un juge de tribunal.

Voici comment ça marche pour chaque photo trouvée :

Le modèle trouve une photo.
Le Juge regarde la photo et pose deux questions simples :
- "Est-ce que cette photo correspond au sujet ? (Oui/Non)"
- "Est-ce que l'objet interdit (le collier) est bien absent ? (Oui/Non)"

Si le Juge dit "Oui" aux deux, alors c'est une victoire. Cela permet de tester n'importe quelle photo, même celles qui n'étaient pas prévues à l'avance, comme dans la vraie vie.

La Solution 2 : La Boussole Géométrique (Le vrai génie du papier)

C'est ici que ça devient fascinant. Les chercheurs se sont demandé : "Est-ce que le modèle CLIP comprend déjà le 'Non', mais qu'il a juste peur de l'utiliser ?"

Ils ont découvert que OUI, le modèle sait déjà ce qu'est un "Non".

L'analogie de la boussole :
Imaginez que les pensées du modèle sont des points dans un immense espace 3D (comme une galaxie).

Les phrases positives (avec un chien) sont dans une direction.
Les phrases négatives (sans chien) sont dans une autre direction, très précise, comme une boussole qui pointe vers le Nord.

Le problème, c'est que quand on pose une question, le modèle oublie de tourner sa boussole vers le "Nord du Non". Il reste bloqué dans la direction "Oui".

L'astuce magique :
Au lieu de réapprendre tout le modèle (ce qui est long et coûteux), les chercheurs ont simplement poussé la boussole vers la bonne direction au moment de la recherche.
C'est comme si vous aviez un GPS qui vous dit : "Tourne à gauche pour éviter l'obstacle". Vous ne changez pas la voiture, vous ne changez pas le moteur, vous ajustez juste la direction à la dernière seconde.

Les Résultats : Pourquoi c'est génial ?

Pas de réapprentissage : Ils n'ont pas eu besoin de donner des milliers de nouvelles photos au modèle. Ils ont juste ajusté un petit bouton mathématique.
Meilleure généralisation : Les modèles qui avaient été réentraînés de force avec des milliers de photos (les anciennes méthodes) fonctionnaient bien sur les tests connus, mais échouaient lamentablement sur des situations bizarres (ex: "un livre qui n'est pas en papier").
- Analogie : C'est comme un élève qui a appris par cœur les réponses d'un examen. Il a 20/20 sur l'ancien sujet, mais s'il change une seule question, il est perdu.
- Notre méthode "boussole", elle, comprend la logique. Elle fonctionne même sur des situations qu'elle n'a jamais vues.
Économie d'énergie : C'est beaucoup plus rapide et moins cher que de réentraîner tout le modèle.

En Résumé

Ce papier nous dit :

Les modèles actuels ne comprennent pas le "Non" parce qu'on les évalue avec de mauvais tests.
En utilisant un "Juge IA", on peut voir la vraie performance.
Le modèle sait déjà ce qu'est un "Non", il a juste besoin d'un petit coup de pouce (une boussole géométrique) pour l'exprimer.
C'est une solution élégante, rapide et qui fonctionne mieux que de tout réapprendre de zéro.

C'est un peu comme si on découvrait que notre voiture a déjà un système de freinage d'urgence, mais qu'il était éteint. Au lieu de changer toute la voiture, on a juste allumé l'interrupteur.

1. Le Problème : L'Échec de la Négation dans les Modules VLM

Les modèles d'encodage conjoint vision-langage, tels que CLIP, éprouvent des difficultés majeures à comprendre la négation dans les requêtes textuelles (par exemple, distinguer « une chemise bleue sans logo » d'une chemise avec logo).

Cause racine : Les modèles CLIP se comportent souvent comme un « sac de mots » (bag-of-words), privilégiant la présence de mots-clés sémantiques plutôt que la structure syntaxique et relationnelle fine. De plus, les données d'entraînement pré-entraînent rarement des paires contrastées (ex: « chien sur l'herbe » vs « chien pas sur l'herbe »).
Limites des approches actuelles : Les travaux antérieurs tentent de résoudre ce problème via des approches centrées sur les données (génération de captions synthétiques négatifs et fine-tuning de CLIP). Cependant, ces méthodes souffrent de deux défauts critiques :
1. Faux Négatifs : Les pipelines d'annotation automatique génèrent des faux négatifs (des images qui correspondent sémantiquement à la requête négative mais qui ne sont pas étiquetées comme « vérité terrain » par le pipeline), faussant les métriques d'évaluation.
2. Effondrement du modèle (Collapse) : Le fine-tuning sur des données synthétiques peut parfois dégrader les performances, entraînant le modèle à associer des requêtes négatives à des images totalement non pertinentes.
Problème d'évaluation : Les métriques de récupération standard (comme Recall@K) ne parviennent pas à distinguer si le modèle a compris la négation ou s'il a simplement trouvé une image sémantiquement proche mais incorrecte logiquement.

2. Méthodologie

Les auteurs proposent une double approche : une nouvelle méthodologie d'évaluation et une solution technique basée sur l'ingénierie des représentations.

A. Évaluation via « MLLM-as-a-judge »

Pour pallier les limites des métriques traditionnelles, les auteurs introduisent un cadre d'évaluation utilisant un Grand Modèle de Langage Multimodal (MLLM) comme juge.

Protocole : Pour chaque image récupérée, le MLLM répond à deux questions séquentielles :
1. Question Sémantique ( $q_r$ ) : L'image est-elle contextuellement et sémantiquement correcte par rapport à la requête (hors négation) ?
2. Question de Négation ( $q_n$ ) : L'objet ou l'action nié(e) est-il absent de l'image ?
Avantage : Cette méthode, non supervisée, permet d'évaluer la compréhension réelle de la négation sur n'importe quelle base de données (y compris des bases de 25k images), simulant des scénarios réels sans dépendre de vérités terrain rigides et potentiellement erronées.

B. Ingénierie des Représentations (Steering)

Au lieu de réentraîner le modèle, les auteurs hypothesent qu'une direction vectorielle de négation existe déjà dans l'espace d'encodage de CLIP.

Détection : En utilisant un classifieur linéaire binaire (inspiré de TCAV) sur les états cachés du texteur CLIP, ils démontrent que les captions affirmatives et négatives sont linéairement séparables, en particulier dans les couches intermédiaires de l'encodeur.
Manipulation (Steering) : Une fois la direction de négation ( $W_{dir}$ ) identifiée, ils appliquent une intervention au moment de l'inférence (test-time) :
$h_l = (1 - \alpha)h_l + \alpha W_{dir}||h_l||$
Où $h_l$ est la représentation de la requête, $\alpha$ un hyperparamètre de force, et $W_{dir}$ la direction normalisée. Cela « pousse » géométriquement l'embedding vers la zone de négation sans modifier les poids du modèle ni utiliser de nouvelles données d'entraînement.

3. Contributions Clés

Critique des Métriques : Identification de deux limitations fondamentales des benchmarks existants (faux négatifs et effondrement des modèles après fine-tuning) et proposition d'un protocole d'évaluation robuste basé sur les MLLM.
Découverte Géométrique : Preuve empirique qu'une direction vectorielle dédiée à la négation existe déjà dans l'espace latent de CLIP, rendant le fine-tuning massif inutile.
Solution Sans Entraînement : Développement d'une méthode de « steering » (pilotage) des représentations qui améliore la compréhension de la négation sans aucun fine-tuning, nécessitant seulement un petit ensemble de données textuelles (4k échantillons) pour entraîner le classifieur linéaire.

4. Résultats

Les expériences ont été menées sur plusieurs benchmarks (NegBench, SimpleNeg, et un nouveau benchmark N-COCO pour les objets non communs).

Sur NegBench (Benchmark synthétique standard) :
- Les métriques traditionnelles (Recall@K) montrent une amélioration progressive pour les modèles fine-tunés (NegCLIP, CLIP-CC12M).
- Cependant, l'évaluation MLLM-as-a-judge révèle que la plupart de ces modèles ne surpassent que marginalement le CLIP original. Seul NegCLIP montre une amélioration significative, mais il reste inférieur à la méthode de Steering proposée.
- La méthode de Steering atteint les meilleurs scores (Top-1 ~54% vs ~40-53% pour les autres), surpassant même les modèles fine-tunés avec des données massives (12M d'images pour CLIP-CC12M).
Sur N-COCO (Généralisation et Distribution Shift) :
- Ce benchmark teste la robustesse sur des combinaisons objets/scènes rares (ex: « un livre pas en papier »).
- Les modèles fine-tunés (NegCLIP, CLIP-CC12M) subissent une baisse de performance (R@1 chute à 0.50), suggérant un surapprentissage (overfitting) aux motifs spécifiques des données synthétiques d'entraînement.
- Le CLIP original maintient une bonne généralisation (R@1 = 0.60).
- La méthode de Steering obtient le meilleur résultat (R@1 = 0.80), démontrant qu'elle améliore la négation sans sacrifier la capacité de généralisation du modèle.
Qualitatif : Des exemples visuels montrent que le Steering récupère systématiquement les images correctes, tandis que les modèles fine-tunés échouent souvent en ignorant la contrainte négative ou en récupérant des images hors sujet.

5. Signification et Impact

Ce travail remet en question la nécessité du fine-tuning massif pour résoudre les problèmes de compréhension logique dans les VLM.

Paradigme Shift : Il démontre que les capacités de raisonnement (comme la négation) sont souvent déjà encodées dans la géométrie des modèles pré-entraînés, mais ne sont pas activées par défaut lors de la récupération.
Efficacité : La solution proposée est légère, ne nécessite pas de réentraînement coûteux, et fonctionne sur n'importe quelle taille de base de données.
Robustesse : Contrairement aux approches centrées sur les données qui peuvent fragiliser le modèle face à des distributions nouvelles, l'ingénierie des représentations préserve la généralisation tout en corrigeant le comportement logique.
Évaluation : L'introduction du cadre « MLLM-as-a-judge » offre un standard plus fiable pour évaluer la compréhension sémantique et logique dans les systèmes de récupération d'images.

En résumé, l'article suggère que la négation est un problème de géométrie dans l'espace d'embedding plutôt qu'un problème de manque de données, et qu'une intervention ciblée au moment de l'inférence suffit à débloquer ces capacités.