💬 NLP

Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models

Cet article identifie que les modèles de vision-langage à double encodeur échouent dans le raisonnement compositionnel en raison d'une interface de similitude de type « sac de concepts » (Bag-of-Concepts), et propose une méthode sans entraînement appelée LCSE (Logic-Constrained Score Editing) qui sépare l'extraction d'indices de l'exécution des contraintes afin d'améliorer significativement la précision logique tout en préservant la performance de recherche.

Auteurs originaux : Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Publié 2026-07-28

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot comment « voir » le monde en lui montrant des millions d'images et en les décrivant avec des mots. C'est le monde des modèles de vision-langage (VLM), une branche de l'intelligence artificielle où les ordinateurs apprennent à associer des images avec du texte. La façon la plus populaire dont ces robots apprennent est de construire une « carte » partagée où les images similaires et les mots similaires se situent proches les uns des autres. Lorsque vous posez une question au robot, il mesure simplement la distance entre vos mots et les images pour trouver la meilleure correspondance. C'est comme un immense jeu de « chaud et froid », où le robot devient de plus en plus « chaud » (plus confiant) à mesure qu'il trouve des images qui ressemblent aux mots que vous avez tapés.

Cependant, il existe un problème délicat avec ce simple jeu de distance. Bien que le robot soit excellent pour repérer des choses individuelles — comme un « chien » ou un « ballon » — il se confond souvent lorsque vous lui demandez de combiner ces choses avec de la logique, comme « un chien mais sans ballon » ou « un chat et un oiseau ». Le robot a tendance à ignorer les parties « mais sans » ou « et » et se contente de chercher les mots qu'il connaît. C'est comme si le robot jouait à un jeu de « sac de mots » (Bag of Words), où il ne fait que compter combien de fois un mot apparaît, oubliant complètement les règles de la phrase. Cet article étudie pourquoi cela se produit et propose une nouvelle méthode ingénieuse pour corriger la logique du robot sans avoir à réentraîner l'intégralité de son cerveau.

Le Problème : Le « Sac de Concepts » du Robot

Les auteurs de cet article ont découvert que les modèles d'IA standards, qui sont censés être assez intelligents pour comprendre des phrases complexes, se comportent en réalité comme un bibliothécaire très littéral et légèrement confus. Imaginez que vous demandiez à ce bibliothécaire un livre sur « une voiture rouge sans conducteur ». Au lieu de trouver une voiture sans conducteur, le bibliothécaire vous tend un livre sur une voiture rouge avec un conducteur, car le bibliothécaire est tellement concentré sur les mots « rouge » et « voiture » qu'il ignore complètement le mot « sans ».

En termes techniques, ces modèles utilisent un score de « similitude scalaire ». Voyez ce score comme un nombre unique qui vous indique à quel point une image correspond à un texte. L'article montre que lorsque vous demandez une combinaison d'idées (comme « A et non B »), le modèle ne fait pas réellement le calcul de la logique. Au lieu de cela, il fait simplement la moyenne des preuves pour « A » et des preuves pour « B ». C'est comme faire un smoothie : si vous demandez « des fraises mais sans bananes », le modèle mélange simplement les fraises et les bananes ensemble et vous donne un mélange, car il pense que l'instruction « sans » est juste un autre ingrédient à mélanger, plutôt qu'une règle pour retirer un ingrédient.

Les chercheurs ont testé cela en demandant aux modèles de trouver des images correspondant à des règles logiques spécifiques, comme « parapluie et sans personne ». Même quand le modèle pouvait clairement voir une personne sur la photo, il classait toujours cette photo comme une bonne correspondance parce que le mot « personne » était dans la requête. Le modèle ne manquait pas de voir la personne ; il échouait à utiliser la logique de la phrase pour filtrer la personne.

L'Investigation : Pourquoi la Logique Échoue

Pour comprendre pourquoi cela arrive, les auteurs n'ont pas seulement deviné ; ils ont effectué une « chirurgie » sur le cerveau du modèle. Ils ont regardé à l'intérieur du texte que lit le modèle pour voir si les mots logiques (comme « non » ou « et ») changeaient réellement le sens de la phrase. Ils ont découvert que la logique était là, cachée à l'intérieur du texte, mais qu'elle était trop faible pour changer le score final.

Imaginez que l'encodage du texte (la représentation numérique de la phrase) est une équipe de deux personnes portant une boîte lourde. Une personne représente les « concepts » (les noms comme « chien » ou « voiture »), et l'autre représente la « logique » (le « et » ou le « non »). L'article a trouvé que la personne « concept » est un géant, tandis que la personne « logique » est un enfant minuscule. Lorsqu'ils poussent tous deux la boîte pour décider quelle image choisir, le géant pousse si fort que la poussée du petit enfant est complètement ignorée. Résultat ? La boîte se déplace dans la direction des concepts, et la logique se perd dans le mouvement.

Les auteurs ont également vérifié si le simple fait de réentraîner le modèle (lui enseigner de nouveaux exemples) permettrait de corriger le problème. Ils ont constaté que même après avoir entraîné le modèle sur des milliers d'exemples de « non » et de « pas de », le modèle éprouvait toujours des difficultés. C'est comme essayer d'apprendre à une personne naturellement gauchère à écrire parfaitement de la main droite en lui donnant simplement plus de pratique ; le blocage sous-jacent (la façon dont le modèle combine les scores) est le véritable goulot d'étranglement, et non le manque de pratique.

La Solution : Inférence Factorisée et LCSE

Puisque le « muscle logique » interne du modèle est trop faible pour corriger le problème, les auteurs ont proposé une nouvelle stratégie appelée Inférence Factorisée. Au lieu de demander au modèle de faire le calcul d'un seul coup, ils ont décidé de diviser le travail en deux étapes distinctes :

Extraction de Preuves : D'abord, demandez au modèle figé (inchangé) d'identifier simplement les concepts individuels. « Y a-t-il un chien ? Oui, sûr à 90 %. Y a-t-il un chat ? Oui, sûr à 80 %. »
Exécution des Contraintes : Ensuite, prenez ces chiffres et faites le calcul logique en dehors du modèle. Si l'utilisateur a dit « chien mais sans chat », le système prend le score du « chien », soustrait le score du « chat » (ou inverse le score du chat pour représenter « sans chat ») et les combine en utilisant des règles logiques strictes.

Pour faire fonctionner cela sans briser la capacité du modèle à gérer des phrases normales, ils ont introduit une méthode appelée LCSE (Édition de Score Contrainte par la Logique). Voyez le LCSE comme un éditeur intelligent. Il écoute la réponse originale du modèle, mais si la phrase contient une règle logique (comme « non » ou « et »), l'éditeur intervient et ajuste le score final juste assez pour que la logique fonctionne. Si la phrase est simple, l'éditeur laisse le score tel quel. De cette façon, le modèle conserve sa « personnalité » et ses capacités de recherche, mais il obéit enfin aux règles de la logique.

Les Résultats : Un Grand Bond en Avant pour la Logique

Les résultats de cette nouvelle méthode ont été impressionnants. Les auteurs ont testé leur système sur un nouveau benchmark qu'ils ont construit appelé FACTOR-Bench, conçu spécifiquement pour tester si un modèle comprend la logique.

L'Ancienne Méthode : Les meilleurs modèles existants (même ceux qui avaient été spécialement entraînés pour comprendre la négation) réussissaient environ 73,2 % des questions de logique.
La Nouvelle Méthode (LCSE) : La méthode des auteurs, utilisant les mêmes modèles sous-jacents mais avec leur nouvel « éditeur », a bondi à 85,5 % de précision.
Encore Mieux : Lorsqu'ils ont appliqué cette méthode à un modèle plus récent et plus puissant appelé SigLIP 2, la précision a grimpé à 90,7 %.

Ils l'ont également testé sur un autre défi appelé NegBench, qui se concentre sur les questions de « non » et « pas de ». Le modèle standard n'avait réussi que 27,2 %, mais avec le LCSE, il est passé à 65,2 %. Crucialement, cette amélioration massive de la logique n'a pas nui à la capacité du modèle à effectuer des recherches normales ; il a conservé la même haute performance pour la recherche d'images standard.

Pourquoi Cela Importe

Cet article suggère que le problème n'est pas que les modèles d'IA savent mal « voir » ou « lire » ; c'est que la façon dont ils combinent les informations est fondamentalement défaillante pour les tâches complexes. En séparant l'acte de « voir » (trouver les concepts) de l'acte de « réfléchir » (appliquer les règles de logique), nous pouvons rendre ces modèles beaucoup plus intelligents sans avoir besoin de les reconstruire de zéro. C'est un rappel que parfois, la meilleure façon de réparer un robot intelligent n'est pas de lui apprendre plus de faits, mais de lui donner une meilleure calculatrice pour les faits qu'il connaît déjà.

Résumé technique : La similitude n'est pas la logique : l'inférence factorisée pour les modèles vision-langage à double encodeur

1. Énoncé du problème

Les modèles vision-langage (VLM) à double encodeur, tels que CLIP et SigLIP, projettent les images et le texte dans un espace de plongement partagé en utilisant une interface de similitude scalaire (généralement la similitude cosinus ou le produit scalaire). Bien qu'extrêmement efficace pour la recherche zero-shot, cette interface ne parvient pas à satisfaire les contraintes compositionnelles impliquant des opérateurs logiques (négation, conjonction, disjonction).

Le problème central est un effet de « sac de concepts » (Bag-of-Concepts) au niveau de l'interface. Lorsqu'une requête contient des opérateurs logiques (par exemple, « un parapluie et pas de personne »), le score de similitude scalaire approxime une moyenne pondérée (mean pooling) des preuves pour les concepts individuels plutôt que d'exécuter l'opérateur logique. Par conséquent :

La négation échoue : Les requêtes comme « pas de personne » récupèrent souvent des images contenant une personne car le score de similitude suit la présence du concept plutôt que son absence.
La conjonction est instable : Les requêtes telles que « A et B » récupèrent fréquemment des images contenant soit A, soit B.
L'exclusion échoue : Les requêtes visant à exclure des concepts (par exemple, « ni A ni B ») récupèrent systématiquement des images contenant ces concepts.

Les auteurs attribuent cet échec non pas à un manque d'informations dépendant des opérateurs dans les plongements textuels (qui existent mais sont faibles), mais au mécanisme d'exécution : le calcul du produit scalaire agrège les preuves d'une manière qui supprime la sémantique des opérateurs, se comportant comme une opération de moyenne douce (soft mean-pooling) quel que soit la structure logique.

2. Méthodologie : Inférence factorisée et LCSE

Le papier propose l'Inférence Factorisée, un paradigme qui sépare l'extraction de preuves de l'exécution des contraintes. Au lieu de s'appuyer sur la similitude holistique d'une requête composée, la méthode extrait les preuves atomiques pour chaque concept et exécute les opérateurs logiques de manière externe.

2.1. Édition de score contrainte par la logique (LCSE)

La principale contribution est la LCSE, une méthode sans réentraînement (training-free) qui modifie le score de similitude d'un VLM gelé pour imposer des contraintes logiques tout en préservant les performances de recherche standard. Le processus comprend quatre étapes :

Analyse (Parsing) : Une requête est analysée en concepts visuels ( $c_i$ ), leurs polarités (présent/absent, $n_i$ ) et l'opérateur logique ( $o$ ).
Extraction de preuves : Le VLM gelé encode l'image et chaque phrase de concept atomique indépendamment pour générer des scores de présence ( $p_i$ ). Ces scores sont calibrés de la similitude brute vers des probabilités à l'aide d'une fonction sigmoïde.
Exécution des contraintes :
- Ajustement de la polarité : Pour les concepts niés, le score est inversé ( $1 - p_i$ ).
- Agrégation : Les scores ajustés sont agrégés à l'aide d'une moyenne de puissance ( $M_\gamma$ $M_{γ}$ ).
  - La conjonction ( $A \land B$ ) utilise $\gamma < 0$ (approchant le minimum).
  - La disjonction ( $A \lor B$ ) utilise $\gamma \gg 1$ (approchant le maximum).
  - Cela remplace le mean-pooling implicite du score holistique par une agrégation fonctionnelle de vérité.
Édition de score (l'étape « LCSE ») : Pour éviter la perte d'informations holistiques (contexte de la scène, style, disposition spatiale) qui ne sont pas capturées par les scores de concepts atomiques, la méthode applique une correction légère au score holistique d'origine ( $s_{hol}$ ) :
$s_{LCSE} = s_{hol} + \frac{1}{\beta} \left( \text{logit}(p_{logic}) - \text{logit}(p_{soft}) \right)$
Où $p_{logic}$ est le score de contrainte agrégé, et $p_{soft}$ est la simple moyenne des scores de concepts. Ce terme ajuste le score holistique uniquement lorsque l'opérateur logique nécessite une agrégation non-moyenne (par exemple, une conjonction stricte ou une négation). Si aucun opérateur n'est présent, la correction s'annule et la méthode revient à la recherche holistique standard.

3. Principales contributions

Analyse mécaniste de l'échec des contraintes : Les auteurs fournissent une « décomposition résiduelle d'étalement » (span-residual decomposition) des plongements textuels, démontrant que bien que les signaux dépendants des opérateurs existent dans la composante résiduelle, ils sont trop faibles ou mal alignés pour influencer les classements sous un calcul de produit scalaire standard. La composante d'étalement (dominée par l'évidence du concept) approxime le mean-pooling, provoquant l'échec.
Interface sans réentraînement (LCSE) : Une méthode pour exécuter explicitement des contraintes booléennes sur des preuves atomiques sans réentraîner les encodeurs. Elle préserve le comportement de recherche standard là où les contraintes ne s'appliquent pas.
FACTOR-Bench : Un nouveau benchmark conçu pour tester la sémantique des opérateurs booléens en utilisant des paires de légendes contrastives d'opérateurs (mêmes concepts, opérateurs différents) avec une présence/absence de concept validée par la vérité de terrain.
Validation empirique : Une évaluation étendue montrant que la LCSE surpasse significativement les bases de référence par fine-tuning sur les contraintes logiques tout en maintenant les performances de recherche zero-shot.

4. Résultats expérimentaux

Les auteurs ont évalué la LCSE sur FACTOR-Bench, NegBench et des tâches de rétention de recherche standard en utilisant des backbones CLIP et SigLIP 2.

Précision sur FACTOR-Bench :
- LCSE (CLIP) : A atteint 85,5 % de précision, surpassant nettement la meilleure base de référence par fine-tuning (NegationCLIP à 73,2 %).
- LCSE (SigLIP 2) : A atteint 90,7 % de précision, démontrant qu'une meilleure preuve atomique se traduit par une meilleure exécution des contraintes.
Gestion de la négation : Sur le QCM de NegBench, la LCSE a amélioré la précision de 56,2 % (NegCLIP-NegFull) à 60,3 % pour CLIP, et de 27,2 % à 65,2 % pour SigLIP 2.
Rétention de la recherche : Contra\irement aux modèles par fine-tuning qui dégradent souvent la recherche standard (Corrélation de rang $\rho \approx 0,63\text{--}0,85$ ), la LCSE préserve presque parfaitement la performance de recherche standard ( $\rho = 0,999$ pour CLIP, R@5 inchangé).
Analyse stratifiée : Le gain de performance de la LCSE est proportionnel à la qualité de la preuve atomique. Lorsque la détection de concept est fiable (AUC > 0,90), la LCSE atteint 90,4 % de précision, alors que le scoring holistique n'atteint que 57,8 %.
Ablation : La méthode fonctionne sur différents backbones et stratégies d'agrégation. La composante « Édition de score » est cruciale ; la supprimer (en utilisant uniquement le scoring factorisé) dégrade la recherche sur les requêtes en langage naturel qui ne possèdent pas d'opérateurs explicites.

5. Signification et affirmations

L'article affirme que l'incapacité des VLM à gérer la logique compositionnelle est principalement un goulot d'étranglement au niveau de l'interface (la façon dont les scores agrègent les preuves) plutôt qu'un échec de représentation (ce que les encodeurs représentent).

Portée modeste : Les auteurs déclarent explicitement que leur analyse et leur méthode sont validées sur les opérateurs booléens sur des concepts visuels (un à deux concepts, avec une extension à 3-4 concepts). Ils ne prétendent pas résoudre toute la raison compositionnelle (ex: liaison d'attributs, relations, comptage) mais suggèrent que le principe de l'inférence factorisée peut s'étendre si une preuve atomique fiable est disponible.
Impact pratique : La méthode offre une solution sans réentraînement qui peut être appliquée aux VLM gelés existants pour permettre des requêtes et des filtrages structurés sans l'instabilité ou les besoins en données du fine-tuning.
Limites : L'approche dépend de la capacité à analyser la structure booléenne (gérée par un parseur LLM avec une grande précision) et de la qualité de la détection de concept atomique de l'encodeur sous-jacent. Si l'encodeur ne peut pas détecter un concept de manière fiable, l'exécution externe ne peut pas restaurer la correction.

En résumé, l'article soutient que « La similitude n'est pas la logique » et propose l'Inférence Factorisée comme un mécanisme pour découpler l'extraction de preuves de l'exécution des contraintes logiques, atteignant une haute précision sur les tâches logiques tout en conservant les capacités robustes de recherche zero-shot des VLM standards.