💬 NLP

Pathways of Visual Information Flow in Vision-Language Models

Cet article révèle que les modèles vision-langage utilisent deux voies distinctes et dépendantes de la tâche pour le flux d'informations visuelles — une voie directe et une voie médiée par le texte — qui font preuve d'une flexibilité remarquable et peuvent basculer vers un mécanisme de repli sous des interventions spécifiques.

Auteurs originaux : Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Modèle Vision-Langage (VLM) comme un détective hautement qualifié qui tente de résoudre un mystère à partir d'une photographie et d'une question écrite. L'article pose une question simple mais profonde : Comment le détective regarde-t-il réellement la photo pour trouver la réponse ? Regarde-t-il la photo directement, ou décrit-il d'abord la photo à un collègue, qui lui transmet ensuite la réponse ?

Les chercheurs ont découvert que ces modèles d'IA n'utilisent pas qu'une seule façon de réfléchir. Au contraire, ils possèdent deux « voies » ou chemins différents pour transmettre l'information de l'image vers la réponse finale, et ils basculent entre eux selon la situation.

Voici une décomposition de leurs découvertes en utilisant des analogies simples :

1. Les deux voies

Considérez le cerveau de l'IA comme un bureau très occupé avec deux façons de transmettre un dossier du « Département Image » au « Décideur Final » (le dernier jeton/token qui tape la réponse).

L'Autoroute Directe (Voie Directe) :
- Fonctionnement : Le Décideur Final regarde directement le Département Image. Il saisit l'information visuelle directement, comme si l'on prenait un dossier directement sur un bureau.
- Utilisation : L'article a découvert que c'est la route principale pour la Reconnaissance d'Objets (ex: « Quel est cet objet ? »). C'est rapide et direct. Le modèle voit une étoile et dit « étoile » sans avoir besoin d'en parler d'abord.
La Voie du Messager (Voie Médiée par le Texte) :
- Fonctionnement : Le Département Image ne parle pas directement au Décideur Final. Au lieu de cela, ils remettent l'information visuelle au « Rédacteur de Questions » (les jetons de texte). Le Rédacteur de Questions traite l'image, la transforme en mots, puis transmet cette information au Décideur Final.
- Utilisation : C'est la route principale pour les Relations Spatiales (ex: « Où se trouve la tasse par rapport à l'assiette ? »). Le modèle semble avoir besoin de « réfléchir » à la relation en termes de mots avant de répondre.

2. Le mécanisme de basculement

La découverte la plus surprenante est que le modèle ne reste pas bloqué sur une seule voie. C'est comme un conducteur qui prend habituellement l'autoroute mais peut instantanément passer par une petite route de campagne si l'autoroute est bloquée.

Dépendance à la tâche : Le modèle choisit la voie en fonction du travail à accomplir.
- Tâches d'identification simples : Utilise l'Autoroute Directe.
- Tâches de relations complexes : Utilise la Voie du Messager.
Dépendance aux données : La voie peut changer selon le type d'image. Par exemple, lorsqu'il s'agit d'identifier où se trouve un objet (Localisation), le modèle utilise l'Autoroute Directe pour des formes simples générées par ordinateur, mais bascule sur la Voie du Messager lorsqu'il regarde des photos réelles complexes.
Dépendance au Prompt : Même la façon dont vous posez la question modifie la voie. Si vous donnez au modèle une liste à choix multiples (ex: « Est-ce A, B ou C ? »), il a tendance à basculer vers la Voie du Messager. Si vous le laissez répondre librement, il prend souvent l'Autoroute Directe.

3. La découverte du « Plan de Secours »

C'est la partie la plus critique de l'article. Les chercheurs ont testé ce qui se passe si l'on « casse » l'une des voies.

L'Expérience : Ils ont utilisé une technique appelée « patch de causalité » (imaginez échanger la mémoire du détective avec un autre scénario) et des « knockouts d'attention » (imaginez mettre un bandeau sur les yeux du détective pour qu'il ne puisse pas regarder directement la photo).
Le Résultat :
- Lorsqu'ils ont bloqué l'Autoroute Directe, le modèle n'a pas échoué. Au lieu de cela, il a instantanément basculé sur la Voie du Messager et a quand même trouvé la bonne réponse !
- Même pour des tâches où le modèle regarde habituellement directement la photo (comme la reconnaissance d'un objet), si vous le forcez à arrêter de regarder, il peut toujours résoudre le problème en s'appuyant sur les descriptions textuelles qu'il a générées en cours de route.

4. Pourquoi cela importe (Le moment « Eurêka ! »)

L'article explique que les études précédentes se sont trompées car elles n'ont regardé qu'un seul côté de l'histoire.

Certains chercheurs ont bloqué le chemin direct et ont vu que le modèle continuait de fonctionner, concluant ainsi que le modèle utilise toujours la voie du texte.
D'autres ont observé un comportement normal et ont vu que le modèle regardait directement l'image, concluant ainsi que la voie du texte n'était pas nécessaire.

La Vérité : Le modèle possède les deux voies actives en même temps. Il choisit généralement la plus efficace pour la tâche spécifique. Cependant, si vous perturbez le modèle (comme bloquer un chemin), il active son « plan de secours ».

À retenir : Vous ne pouvez pas supposer que vous savez comment une IA pense simplement en brisant certaines de ses parties. Si vous cassez l'« Autoroute Directe », l'IA peut simplement emprunter la « Voie du Messager » et réussir quand même, ce qui pourrait vous faire croire qu'elle n'a jamais eu besoin de l'autoroute. L'article montre que ces modèles sont incroyablement flexibles, possédant plusieurs façons de résoudre le même puzzle selon la manière dont vous les interrogez et ce que vous leur permettez de faire.

Résumé technique : Les voies de flux d'informations visuelles dans les modèles vision-langage

Problématique

Bien que les modèles vision-langage (VLM) résolvent avec succès des tâches multimodales complexes, les mécanismes spécifiques par lesquels l'information visuelle est acheminée et intégrée au sein du modèle de langage lors de la génération de texte restent obscurs. Les recherches antérieures ont produit des conclusions divergentes concernant ces mécanismes : certaines études suggèrent que l'information visuelle circule directement des jetons (tokens) d'image vers le jeton de sortie final (voie directe), tandis que d'autres soutiennent que l'information visuelle est toujours médiée par les jetons de texte/requête avant d'atteindre le jeton final (voie médiée par le texte).

Une limitation critique des travaux précédents est la dépendance aux interventions d'attention (par exemple, les suppressions d'attention ou attention knockouts). Ces méthodes testent principalement la nécessité (si un modèle peut résoudre une tâche sans un composant spécifique) plutôt que l' usage (si le modèle utilise typiquement ce composant lors d'une inférence standard). Par conséquent, il reste incertain comment les VLM acheminent réellement l'information dans des conditions normales et si des voies alternatives existent en tant que replis latents (latent fallbacks).

Méthodologie

Les auteurs emploient le patching causal (causal patching) avec des exemples contrefactuels pour distinguer ce que les modèles peuvent faire de ce qu'ils font typiquement. L'étude utilise un design expérimental contrôlé à travers trois tâches visuelles :

Reconnaissance d'objets : Identifier des entités.
Relations spatiales : Raisonner sur les positions entre des entités.
Localisation d'objets : Cartographier des entités vers des positions globales.

Données : Les expériences sont menées sur des jeux de données synthétiques (formes colorées avec des primitives contrôlées) et des jeux de données naturels (ex. COCO, Visual Genome, What's Up) pour tester la généralisation.

Modèles : L'étude évalue Qwen3-VL-4B, InternVL3.5-4B et LLaVA-1.5-7B.

Interventions :

Patching causal : Des représentations cachées provenant d'un échantillon contrefactuel (image différente, même texte) sont insérées dans le passage direct (forward pass) d'un échantillon original à des couches spécifiques. Cela mesure le « Score de Restauration », indiquant si l'ensemble de jetons patchés contient suffisamment d'informations pour modifier la prédiction du modèle.
Suppression d'attention (Attention Knockouts) : Des arêtes d'attention spécifiques sont supprimées pour tester la nécessité d'une voie.
Patching d'entrée corrompue : Des représentations textuelles d'une image valide sont injectées dans une exécution d'inférence où l'image a été remplacée par un bruit aléatoire, testant si les jetons de texte seuls encodent un signal visuel suffisant.

Définitions des voies :

Voie directe ( $r_{I \to last}$ ) : Le jeton final porte une attention directe aux jetons d'image.
Voie médiée par le texte ( $r_{I \to T} \to r_{T \to last}$ ) : L'information visuelle est transférée des jetons d'image vers les jetons de texte/requête, qui sont ensuite lus par le jeton final.

Résultats clés

1. Sélection de la voie dépendante de la tâche

L'étude identifie que les VLM utilisent des voies distinctes selon la tâche spécifique :

Reconnaissance d'objets : S'appuie sur la voie directe. Le patching causal montre que le jeton final lit l'information visuelle directement depuis les jetons d'image à travers le réseau ; patcher les jetons de texte n'a aucun effet sur la sortie.
Relations spatiales : S'appuie sur la voie médiée par le texte. L'information visuelle est transférée aux jetons de texte lors des couches intermédiaires. Une fois ce transfert effectué, le patching des jetons d'image n'affecte plus la prédiction, indiquant que le jeton final dépend des représentations textuelles.
Localisation d'objets : La sélection de la voie est modulée par la distribution des données.
- Sur les données synthétiques, les modèles utilisent la voie directe.
- Sur les données naturelles, les modèles basculent vers la voie médiée par le texte, probablement en raison de la complexité visuelle accrue et du besoin d'ancrage dans des scènes riches en distracteurs.

2. Modulation par la conception du prompt

La conception du prompt influence la sélection de la voie. Pour la reconnaissance d'objets, un protocole de génération « ouvert » (texte libre) maintient la voie directe. Cependant, un protocole de « choix » (sélection parmi un ensemble fixe de candidats) induit un basculement vers la voie médiée par le texte, suggérant que les contraintes de l'espace de sortie altèrent la stratégie de routage interne.

3. Les voies comme replis flexibles

Une découverte significative est que ces voies ne sont pas rigides ; elles coexistent comme des alternatives de secours.

Patching d'entrée corrompue : Lorsque l'entrée d'image est remplacée par du bruit, les modèles peuvent toujours récupérer les bonnes réponses en utilisant uniquement la voie médiée par le texte. Cela est vrai même pour les tâches (comme la reconnaissance d'objets) où la voie directe est dominante lors de l'inférence normale.
Suppression d'attention (Attention Knockouts) : Bloquer la voie directe ( $r_{I \to last}$ ) a un impact négligeable sur la précision. Le modèle parvient à rediriger l'information via la voie médiée par le texte pour maintenir la performance. À l'inverse, perturber la voie médiée par le texte provoque des chutes de performance substantielles.

Signification et affirmations

L'article affirme fournir une caractérisation mécaniste du flux d'information visuelle, unifiant les conclusions précédemment contradictoires dans la littérature. Les auteurs soutiennent que :

Biais d'intervention : Les interventions basées sur l'ablation standard (comme les suppressions d'attention) risquent d'activer des voies de repli. La capacité d'un modèle à résoudre une tâche sans un composant n'implique pas qu'il utilise normalement ce composant. Cela explique pourquoi différentes études ont rapporté des mécanismes contradictoires pour les mêmes tâches.
Flexibilité des mécanismes internes : Les VLM possèdent des stratégies de routage flexibles. La voie médiée par le texte encode suffisamment d'informations visuelles pour résoudre des tâches même lorsque le flux visuel direct est ablaté ou corrompu.
Implication méthodologique : Pour caractériser avec précision la manière dont les modèles traitent l'information, les chercheurs doivent combiner des interventions sensibles à l'usage (patching causal) avec des tests de nécessité (suppressions). Se fier à une seule méthode peut conduire à des conclusions incomplètes ou trompeuses sur le comportement du modèle.

Les auteurs concluent que l'intégration de l'information visuelle dans les VLM n'est pas un mécanisme unique et fixe, mais un système dynamique où la sélection de la voie dépend de la tâche, de la distribution des données et de la conception du prompt, la routage médié par le texte servant de mécanisme de repli robuste et latent.