💻 computer science

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

Cet article révèle que les grands modèles de langage multimodaux parviennent à encoder des preuves visuelles à grain grossier mais peinent à contrôler de manière fiable leur dépendance à l'égard de celles-ci par rapport aux priorités linguistiques, une limitation qui peut être atténuée par le réglage fin supervisé et le pilotage d'activation.

Auteurs originaux : Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Publié 2026-07-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parliez à un robot super intelligent qui a lu presque tous les livres jamais écrits et regardé des millions d'heures de films. Ce robot est un « Modèle de Langage Multimodal » (MLLM). C'est comme un bibliothécaire de génie qui connaît tout sur le monde grâce à ses données d'entraînement — ses « connaissances préalables ». Mais ce robot possède aussi des yeux. Il peut regarder une image et combiner ce qu'il voit avec ce qu'il sait. La grande question que les scientifiques se posent est la suivante : lorsqu'un robot regarde une image qui contredit ce qu'il sait (comme une photo d'un cheval avec cinq pattes), échoue-t-il parce qu'il ne voit pas la patte supplémentaire, ou échoue-t-il parce qu'il voit la patte mais décide de l'ignorer ? Cet article plonge dans ce mystère, traitant le cerveau du robot comme une histoire de détective pour découvrir où se produit la rupture : dans les « sens » (la vue) ou dans la « prise de décision » (l'utilisation de ce que l'on voit).

Les chercheurs, dirigés par Jiaang Li et ses collègues, ont entrepris de résoudre ce casse-tête en utilisant une enquête astucieuse en deux parties. D'abord, ils voulaient savoir si le robot « voyait » réellement les choses étranges dans les images. Pour tester cela, ils ne se sont pas contentés de poser des questions au robot ; ils ont essayé de reconstruire les images à partir des signaux cérébraux internes du robot. Ils ont découvert que même lorsque le robot donnait la mauvaise réponse, le « plan » de l'image étrange (comme un cheval à cinq pattes) était toujours clairement visible dans ses pensées finales. C'était comme si les yeux du robot fonctionnaient parfaitement, mais que son cerveau choisissait de les fermer. Cela a permis d'exclure l'idée que le robot était simplement aveugle aux détails.

Ensuite, l'équipe a créé un nouveau jeu appelé « WhatIfVis » pour tester la capacité du robot à basculer entre faire confiance à ses yeux et faire confiance à sa mémoire. Ils ont montré au robot des images qui transgressaient les règles de la nature (comme une pastèque rouge) et lui ont demandé de répondre à des questions de deux manières : « Regarde seulement l'image » ou « Ignore l'image et utilise ce que tu sais ». Ils ont constaté que sans entraînement supplémentaire, le robot avait des sautes d'humeur. Parfois, il ignorait l'image et donnait la réponse du manuel (comme dire qu'une pastèque est verte même quand elle est rouge). D'autres fois, il restait tellement bloqué sur l'image qu'il ne pouvait pas suivre les instructions consistant à l'ignorer. Le robot n'était pas cassé ; il n'avait simplement pas un « interrupteur » fiable pour décider quand regarder et quand réfléchir.

Cependant, la bonne nouvelle est que les chercheurs ont trouvé l'interrupteur. En donnant au robot un peu de pratique (appelée Ajustement Fin Supervisé) sur un seul type d'image complexe, ils lui ont appris à contrôler son attention. Mieux encore, ils ont découvert un « bouton » spécifique à l'intérieur du cerveau du robot — une direction mathématique unique — qui pouvait activer ou désactiver la concentration du robot sans avoir besoin d'instructions verbales. Lorsqu'ils tournaient ce bouton, le robot devenait bien meilleur pour suivre les règles, qu'il s'agisse de regarder l'image ou de l'ignorer.

L'étude a également comparé la façon dont le robot gérait les images par rapport aux phrases écrites. Ils ont découvert qu'il était beaucoup plus facile de faire suivre une phrase écrite qui transgressait les règles au robot qu'une image. C'est comme si le robot était un bien meilleur auditeur qu'un spectateur. Cet écart s'est accentué à mesure que les robots devenaient plus intelligents et plus grands, suggérant qu'à mesure que ces modèles grandissent, ils pourraient devenir encore plus obstinés à ignorer ce qu'ils voient.

En fin de compte, l'article suggère que pour les choses grandes et évidentes que nous étudions (comme la couleur, la taille et le nombre de pattes d'un animal), ces modèles d'IA ne sont pas en échec parce qu'ils ne peuvent pas voir. Ils échouent parce qu'ils n'ont pas appris une manière cohérente de décider quand faire confiance à leurs yeux et quand faire confiance à leur mémoire. Mais puisque les chercheurs ont trouvé un « bouton » spécifique qui contrôle ce comportement, cela signifie que nous pourrons peut-être le réparer à l'avenir, en apprenant à ces cerveaux numériques à être plus flexibles et plus fiables lorsque le monde ne ressemble pas exactement à leurs manuels.

Résumé Technique : Voir ou Savoir ? La Sensibilité au Contexte Visuel dans les Grands Modèles de Langage Multimodaux

1. Énoncé du Problème

Les Grands Modèles de Langage Multimodaux (MLLM) intègrent des entrées visuelles aux riches connaissances paramétriques des modèles de langage pré-entraînés (LLM). Bien qu'efficaces pour de nombreuses tâches, ils échouent fréquemment sur des tâches centrées sur la vision lorsque les preuves visuelles entrent en conflit avec leurs connaissances internes du monde. Le domaine a traditionnellement attribué ces échecs à des déficits de perception (Hypothèse H1), arguant que les encodeurs de vision rejettent les détails fins, forçant le modèle à se rabattre sur ses acquis (priors).

Cependant, les auteurs observent un double mode d'échec :

Échecs dominés par l'acquis (Prior-dominant) : Le modèle ignore une entrée visuelle anormale (ex: un cheval à 5 pattes) et répond en fonction de son acquis (4 pattes).
Échecs dominés par le contexte (Context-dominant) : Le modèle ignore les instructions explicites d'ignorer l'image et répond en fonction des preuves visuelles même lorsqu'elles contredisent les connaissances canoniques (ex: répondre « Rouge » pour l'écorce d'une pastèque lorsqu'on demande sa couleur habituelle).

Le papier postule que le problème central n'est pas nécessairement que le modèle ne peut pas voir la preuve, mais qu'il manque d'une politique contrôlable pour décider quand s'appuyer sur le contexte visuel par rapport aux acquis paramétriques (Hypothèse H2). C'est ce que les auteurs nomment la Sensibilité au Contexte Visuel. Les auteurs visent à dissocier la perception (voir) de l'utilisation (utiliser) pour déterminer où se situe le goulot d'étranglement et si celui-ci peut être contrôlé.

2. Méthodologie

L'étude emploie une approche en trois volets pour isoler et traiter l'échec d'utilisation :

A. Sondage de la Perception via la Reconstruction d'Image (Test de H1)

Pour déterminer si les preuves visuelles sont dégradées avant d'atteindre le squelette (backbone) du LLM, les auteurs réalisent un sondage génératif.

Configuration : Ils figent les MLLM et tentent de reconstruire des images contrefactuelles uniquement à partir des tokens d'image de la dernière couche.
Conception : Utilisant un cadre adapté de Metaquery, ils associent un MLLM figé à un connecteur entraînable et un décodeur d'image (SANA). Crucialement, le connecteur et le décodeur sont entraînés uniquement sur des images du monde réel, sans jamais voir les contrefactuelles.
Objectif : Si le décodeur parvient à reconstruire avec succès les attributs contrefactuels (ex: nombre de membres anormal) à partir des tokens du MLLM figé, cela signifie que la preuve visuelle a été préservée dans la représentation, réfutant ainsi H1.

B. Le Benchmark WhatIfVis (Test de H2)

Pour mesurer la capacité du modèle à basculer entre le contexte visuel et l'acquis, les auteurs introduisent WhatIfVis, un benchmark de 3 049 échantillons contrefactuels.

Structure : Il couvre cinq dimensions de haut niveau : Spatio-Temporelle, Couleur, Nombre, Taille et Poids.
Mécanisme : Chaque exemple associe une image (ou une affirmation textuelle) contrefactuelle à une question. Le modèle est testé sous deux instructions d'intention strictes :
1. Dominante de contexte : « Considérez uniquement l'image/l'affirmation. »
2. Dominante d'acquis : « Ignorez l'image/l'affirmation. »
Métrique : Ils utilisent la PairAcc (Précision par paire), une métrique conjonctive exigeant que le modèle réponde correctement pour les deux intentions sur le même exemple. Cela isole la capacité à contrôler la sensibilité au contexte, plutôt que la simple précision sur une tâche unique.

C. Patching d'Activation et Pilotage de Sous-Espace

Pour localiser et contrôler le mécanisme régissant l'arbitrage entre vision et acquis :

Activation Patching : En utilisant des modèles ayant subi un ajustement fin supervisé (SFT) et qui suivent les deux intentions de manière fiable, les auteurs appliquent un traçage causal (activation patching) pour identifier les couches spécifiques où l'arbitrage est calculé.
Pilotage de Sous-Espace (Subspace Steering) : Ils émettent l'hypothèse que l'arbitrage est encodé dans un sous-espace unidimensionnel (un vecteur) au sein du flux résiduel. Ils apprennent un vecteur unité $u$ qui englobe ce sous-espace.
Contrôle : Au lieu d'utiliser des instructions textuelles, ils appliquent une constante scalaire $c(w)$ le long de ce vecteur appris lors de l'inférence pour orienter le modèle soit vers le contexte visuel, soit vers l'acquis.

3. Principaux Résultats et Constatations

1. La Preuve Visuelle est Préservée (Réfutation de H1)

Succès de Reconstruction : À travers trois familles de modèles distinctes (Qwen2.5-VL, Qwen3.5, Gemma-4), les attributs contrefactuels grossiers (identité, pose, nombre, couleur dominante) ont été reconstruits avec succès à partir des tokens d'image de la dernière couche.
Preuve Métrique : Les reconstructions à partir des tokens contrefactuels étaient métriquement plus proches de la référence contrefactuelle que de l'image réelle (ex: mIoU > 0,86 pour les contrefactuelles contre < 0,83 pour les images réelles).
Conclusion : La preuve visuelle n'est pas dégradée durant la perception. L'échec réside dans l'utilisation, et non dans la perception.

2. Les Modèles Classiques Manquent de Contrôle Stable (Confirmation de H2)

Fragilité : Les modèles classiques (non-SFT) présentent une sensibilité au contexte instable. Ils suivent souvent l'image pour certains attributs (ex: Couleur) mais l'ignorent pour d'autres (ex: Poids), ou inversement.
Effondrement de la PairAcc : Les modèles classiques obtiennent une PairAcc proche de zéro sur les tâches de raisonnement complexe (Nombre, Poids) et des scores faibles sur les autres, indiquant qu'ils ne peuvent pas basculer de manière fiable entre les intentions sur demande.
Le SFT améliore la contrôlabilité : L'ajustement fin supervisé sur un seul sous-ensemble (Spatio-Temporel) augmente significativement la PairAcc sur toutes les tâches et tous les modèles, démontant que la contrôlabilité est une capacité apprenable et généralisable.

3. L'Arbitrage est Localisé et Contrôlable

Localisation des Couches : L'activation patching révèle que l'arbitrage entre vision et acquis est résolu dans une bande étroite et récurrente de couches (partie médiane à supérieure) spécifique à chaque architecture.
Vecteur de Pilotage : Un vecteur unique appris dans ce sous-espace agit comme un « bouton ». Appliquer ce vecteur sans aucune instruction d'intention améliore la contrôlabilité par rapport au modèle classique (faisant passer la macro PairAcc de 14,7 % à 37,7 %).
Spécificité : Des vecteurs aléatoires dans le même sous-espace dégradent les performances, confirmant que l'effet provient de la direction spécifique apprise et non d'une simple intervention de rang 1.

4. Asymétrie entre les Modalités

Texte vs Vision : L'écart entre les modalités est significatif. La sensibilité au contexte basée sur le texte est bien plus contrôlable que celle basée sur la vision.
Mise à l'échelle (Scaling) : À mesure que la taille du modèle augmente, l'écart de contrôlabilité entre texte et vision s'élargit (passant de 9,1 pp à 20,6 pp pour Qwen2.5-VL).
Cause Racine : Le déficit est principalement un échec à suivre les preuves visuelles sur demande, et non un échec à les outrepasser. La capacité à ignorer les preuves (intention d'acquis) est presque identique entre les modalités.

4. Signification et Revendications

Le papier affirme que le goulot d'étranglement des échecs des MLLM est déplacé de la perception vers l'utilisation.

Redéfinition du Problème : Pour les attributs grossiers, les MLLM encodent fidèlement les preuves visuelles mais manquent d'une politique cohérente et contrôlable pour savoir quand les utiliser. Le problème n'est pas la « cécité », mais une « fiabilité aléatoire ».
Identification du Mécanisme : L'arbitrage entre vision et acquis est une propriété localisable et compacte de l'architecture du réseau, résidant dans des couches spécifiques et contrôlable via un vecteur appris.
Contrôle sans Instructions : Les auteurs démontrent que la sensibilité au contexte visuel peut être pilotée efficacement sans instructions de prompt explicites, simplement en manipulant un vecteur de sous-espace appris.
Écart de Modalité : Ce travail met en lumière une asymétrie fondamentale où les MLLM sont nettement meilleurs pour suivre des contrefactuels textuels que visuels, un écart qui persiste et s'accentue avec l'échelle du modèle.

Les auteurs concluent que séparer « voir » de « utiliser » permet de construire des bases plus solides pour des modèles multimodaux capables d'être explicitement dirigés pour prêter attention aux preuves visuelles lorsqu'elles contredisent leurs acquis.