Where To Look? : Causal Tracing of Vision Encoders in VLM

Le dilemme du détective : Comment les yeux de l'IA voient-ils réellement ?

Imaginez que vous essayiez d'apprendre à un robot à comprendre le monde. Vous lui donnez une caméra et un cerveau, et vous lui demandez de décrire la photo d'un chien. Depuis des années, les scientifiques sont émerveillés par le fait que ces « modèles de vision-langage » (VLM) parviennent à le faire avec une précision incroyable. Mais une question persistante demeure : Comment font-ils réellement ? « Voient-ils » vraiment le chien de la même manière que nous, ou ne font-ils que deviner en se basant sur de minuscules indices cachés ?

Pour répondre à cela, les chercheurs utilisent une technique appelée traçage causal. Voyez cela comme le scénario du « et si » d'un détective. Si vous retirez une information spécifique du cerveau du robot et que vous la remplacez par une autre, est-ce que la réponse change ? Si la réponse change radicalement, cette information était « causalement importante ». Généralement, nous supposons que si un robot parle d'un chien, la partie la plus importante de son cerveau doit regarder précisément le chien. Mais et si le robot prêtait en réalité attention à l'herbe, au ciel ou aux ombres, et qu'il se contentait de deviner la présence du chien ? Ce document plonge dans ce mystère, demandant si les parties de l'IA qui comptent le plus regardent réellement le bon endroit.

---

Où regarder ? La grande diversion de l'IA

Dans cette étude, les chercheurs du groupe de recherche LINGO ont décidé de jouer à un jeu de « cherche l'erreur » avec certains des modèles d'IA les plus intelligents au monde. Ils voulaient savoir : Lorsqu'une IA répond à une question sur une image, la partie de son cerveau qui fait le gros du travail regarde-t-elle réellement l'objet en question ?

Pour le découvrir, ils ont utilisé une astuce ingénieuse appelée patching d'activation. Imaginez que le cerveau de l'IA est une immense usine avec des milliers d'ouvriers (appelés « tokens ») qui se transmettent des notes sur un tapis roulant.

1. La session propre : Ils montrent à l'IA une photo claire et une question, comme « Où est la dame à la chemise bleue ? ». L'IA donne un score pour évaluer sa compréhension de l'image.
2. La session corrompue : Ils prennent la même photo et ajoutent un tas de bruit statique (comme quand on règle la télévision sur une chaîne enneigée) afin de confondre l'IA et faire chuter son score.
3. La session patchée : C'est l'étape magique. Ils prennent la photo bruyante et « confuse », mais ils glissent discrètement une seule note propre provenant de la photo originale dans la ligne de production de l'usine. Si l'IA se souvient soudainement de la réponse et que le score remonte, ce token spécifique était le « héros ».

Les chercheurs ont ensuite posé une question simple : Ce token héros provenait-il de la partie de l'image montrant la dame à la chemise bleue ? Pour mesurer cela, ils ont utilisé un outil mathématique appelé IoU (Intersection over Union), qui est simplement une façon sophistiquée de demander : « À quel point cette note chevauche-t-elle la dame réelle ? »

La découverte choc : L'IA regarde partout sauf au bon endroit

Les résultats étaient un peu comme découvrir que votre meilleur ami résout un problème de mathématiques en fixant le plafond plutôt que les chiffres.

L'équipe a testé de tout, du modèle classique CLIP aux géants modernes massifs comme DeepSeek-VL, Qwen-2.5 et LLaVA. Ils s'attendaient à trouver que les tokens les plus « causaux » (les héros) seraient regroupés directement sur l'objet cible. Au lieu de cela, ils ont trouvé une connexion faible, presque inexistante.

• Les chiffres ne mentent pas : Dans le modèle CLIP, la corrélation entre « être important » et « être au bon endroit » n'était que de 0,062. C'est pratiquement zéro.
• Le schéma se maintient : Même dans les modèles plus grands et plus intelligents, les chiffres restaient bas. Pour DeepSeek-VL, la corrélation était de 0,0531 ± 0,0334 avec un type de bruit et de 0,0520 ± 0,0041 avec un autre. Pour Qwen-2.5, elle était de 0,0912 ± 0,0422.
• La surprise du « chevauchement zéro » : Dans un exemple spécifique, un token qui avait une influence massive sur la réponse (un score causal de 0,718) n'avait presque aucun chevauchement avec l'objet cible (un IoU de seulement 0,049). C'était comme si l'IA résolvait l'énigme en regardant l'arrière-plan, et non le sujet.

Les auteurs suggèrent que ces modèles sont incroyablement doués pour utiliser les informations visuelles, mais qu'ils ne sont pas nécessairement ancrés dans la localisation spécifique de cette information. Ils pourraient s'appuyer sur un réseau de indices « distribués » — comme la couleur du ciel, la texture du sol ou l'ambiance générale de la scène — plutôt que de zoomer sur l'objet spécifique.

Est-ce que plus grand signifie meilleur ?

Vous pourriez penser : « Eh bien, peut-être que les anciens modèles, plus petits, étaient juste mauvais à cela, et que les nouvelles super-IA ont corrigé le tir. » Les chercheurs ont également vérifié cela. Ils ont examiné des modèles allant de 2023 jusqu'aux dernières sorties de 2025.

Le verdict ? Non. Le schéma n'a pas changé. Même les modèles les plus avancés, capables de répondre à des questions complexes et de suivre des instructions parfaitement, présentent toujours ce décalage. Les auteurs notent que le fait qu'un modèle obtienne un score élevé à un test ne signifie pas qu'il a développé une meilleure « carte spatiale » de l'image. Il semble que la performance élevée ne signifie pas automatiquement que l'IA regarde au bon endroit ; cela signifie simplement qu'elle est très douée pour deviner la bonne réponse en utilisant tous les indices qu'elle peut trouver.

Le test de la « corde » : Comprennent-elles les formes ?

Pour creuser encore plus loin, l'équipe a posé une question différente : si vous retirez l'« apparence » d'un objet mais que vous gardez sa forme, l'IA la reconnaît-elle toujours ? Ils ont utilisé une tâche impliquant des cordes (lignes) où ils maintenaient la géométrie (la forme et les connexions) identique tout en changeant l'apparence.

Ils ont découvert que les modèles exploitent les indices visuels pour comprendre les structures visuelles. Lorsque ces indices basés sur l'apparence étaient supprimés, les modèles peinaient à maintenir leur compréhension de la structure. Cela suggère que l'IA ne « voit » pas réellement la forme d'une manière structurelle profonde et indépendante de son aspect ; elle dépend fortement de ces astuces d'apparence de surface pour donner un sens aux connexions. Quand ces astuces disparaissent, l'IA est perdue.

Ce que cela signifie pour l'avenir

L'article conclut par un message clair, bien qu'un peu troublant : Il existe un fossé entre « voir » et « raisonner ».

Les modèles ne sont pas défectueux ; ils travaillent simplement d'une manière que nous n'avions pas prévue. Ils sont comme un détective qui peut résoudre un crime en remarquant que le suspect porte toujours un chapeau rouge, sans jamais vraiment regarder le visage du suspect. Les parties « causales » de leur cerveau font le travail, mais elles ne regardent pas nécessairement la cible.

Les auteurs prévoient maintenant d'examiner encore plus de modèles et différents types d'architectures de caméras pour voir s'il s'agit d'une règle universelle pour toute l'IA moderne ou simplement d'une particularité des modèles qu'ils ont testés. Pour l'instant, ils suggèrent que nous ne devrions pas supposer que, parce qu'une IA peut décrire une image parfaitement, elle « regarde » réellement l'objet de la manière dont nous le pensons. L'IA regarde peut-être l'ensemble de l'image, mais elle manque l'endroit précis qui nous intéresse.