💻 computer science

Direct Visual Grounding by Directing Attention of Visual Tokens

Cet article propose une nouvelle perte d'attention KL (KLAL) qui supervise directement l'attention des jetons visuels vers les jetons linguistiques pertinents dans les modèles de vision-langage, améliorant ainsi les performances sur les tâches de localisation visuelle en traitant l'insuffisance des signaux d'attention fournis par la prédiction standard du prochain jeton.

Auteurs originaux : Parsa Esmaeilkhani, Longin Jan Latecki

Publié 2026-08-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Parsa Esmaeilkhani, Longin Jan Latecki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs peuvent regarder une image et en parler, tout comme vous et moi discutons d'une photo sur nos téléphones. C'est le domaine des Modèles Vision-Langage (VLM), une branche de l'intelligence artificielle qui tente de combler le fossé entre ce qu'une caméra voit et ce qu'un humain dit. Considérez ces modèles comme des traducteurs super intelligents qui prennent une image, la décomposent en minuscules pièces de puzzle numériques appelées « jetons visuels » (visual tokens), et les mélangent avec des mots pour répondre à des questions comme « De quelle couleur est le chat ? » ou « Combien y a-t-il de pommes ? ».

Pendant longtemps, les scientifiques ont pensé que ces modèles devenaient très doués pour cela. Mais il y avait un mystère persistant : parfois, même quand la réponse était correcte, l'ordinateur semblait ignorer l'image entièrement. C'était comme un étudiant passant un examen, lisant la question, jetant un coup d'œil au diagramme, puis répondant en se basant entièrement sur ce qu'il avait mémorisé dans un manuel, oubliant complètement de regarder les lignes et les formes spécifiques juste devant lui. La grande question pour les chercheurs était : Pourquoi le « cerveau » de l'ordinateur cesse-t-il de prêter attention aux indices visuels au moment de donner la réponse finale ? Ce document plonge précisément dans ce problème, essayant de déterminer si nous pouvons apprendre à ces modèles d'IA à réellement regarder les bonnes parties de l'image lorsqu'ils s'expriment.

Le Problème : Le « Fantôme » dans la Machine

Rencontrez le Modèle Vision-Langage. Vous pouvez le voir comme un robot très bavard qui a lu un million de livres et regardé un million de photos. Lorsque vous lui posez une question sur une image, il décompose l'image en une grille de petits carrés (jetons visuels) et les mélange avec les mots que vous avez tapés.

Voici la partie étrange : l'article a découvert que dans les derniers instants de la réflexion, juste avant que le robot ne tape sa réponse, il cesse souvent de regarder l'image. C'est comme un chef qui a tous les ingrédients sur le comptoir mais qui, au moment de dresser l'assiette, décide d'ignorer la nourriture et de simplement deviner quel goût elle devrait avoir en se basant sur une recette mémorisée. Les chercheurs ont découvert que l'« attention » que l'ordinateur accorde aux parties les plus importantes de l'image (comme l'intersection de deux lignes ou un objet spécifique) est presque nulle. C'est comme si les indices visuels étaient des fantômes — présents dans le système, mais invisibles pour la partie du cerveau qui écrit la réponse.

L'article soutient que la méthode standard utilisée pour entraîner ces modèles (appelée « Prédiction du jeton suivant » ou Next-Token Prediction) est comparable à un enseignant qui ne noterait que la dissertation finale sans jamais vérifier si l'étudiant a réellement regardé les photos de référence. L'ordinateur apprend à deviner le mot suivant correctement, mais il n'apprend pas pourquoi c'est le bon mot ou quelle partie de l'image l'a rendu correct.

La Solution : Un « Pointeur Laser » pour l'Attention

Pour corriger cela, les auteurs ont conçu un nouveau tour de force d'entraînement très astucieux appelé Perte d'Attention KL (KLAL - KL Attention Loss).

Imaginez que vous apprenez à un chien à rapporter une balle. Avec l'ancienne méthode, vous diriez simplement « Bon chien ! » lorsqu'il rapporte la balle, mais le chien aurait pu courir n'importe où de manière aléatoire et attraper la balle par chance. Dans la nouvelle méthode proposée par cet article, vous utilisez un pointeur laser. Chaque fois que le chien regarde la balle, vous projetez la lumière dessus et dites : « Oui ! Regarde juste là ! »

Dans le monde informatique, le « pointeur laser » est un signal mathématique spécial qui force le modèle à concentrer son attention sur les pixels spécifiques de l'image qui sont importants pour la réponse.

Si la question est « Combien de fois ces lignes se croisent-elles ? », le pointeur laser brille sur les points exacts où les lignes s'intersectent.
Si la question est « Ce nœud est-il connecté à celui-là ? », le pointeur laser trace le chemin de la ligne reliant les deux.

Le modèle est ensuite puni (via une fonction de perte) s'il regarde ailleurs. C'est comme dire au robot : « Tu ne peux pas juste deviner la réponse ; tu dois prouver que tu regardes le bon endroit dans l'image. »

Ce Qu'Ils Ont Découvert : De la Devinette à la Vision

Les chercheurs ont testé cette idée sur des tâches complexes nécessitant un raisonnement visuel précis, comme compter combien de fois deux lignes sinueuses se croisent ou tracer un chemin à travers un graphe complexe pour voir si deux points sont connectés. Ils ont même inventé un nouveau jeu appelé « Traçage de Ligne » (Line Tracing) où l'ordinateur doit suivre un chemin à travers un labyrinthe de points.

Voici ce qui s'est passé lorsqu'ils ont activé le « pointeur laser » (KLAL) :

De Meilleures Réponses : Les modèles se sont nettement améliorés sur les tâches exigeantes. Par exemple, sur la tâche de « l'Intersection de Lignes », l'un des modèles a amélioré sa précision d'environ 47 % à plus de 70 % en ajoutant cette nouvelle méthode d'entraînement. Sur une tâche de « Pointage » (où le modèle doit dire exactement où se trouve un objet), l'amélioration a été massive, passant d'un choix quasi aléatoire à une réussite de près de la moitié des cas.
Un Meilleur Focus : La partie la plus excitante n'était pas seulement le score, mais la façon dont le modèle pensait. Lorsque les chercheurs ont examiné les « cartes d'attention » du modèle (qui montrent où l'ordinateur regarde), ils ont constaté un changement radical. Avant le nouvel entraînement, le modèle regardait des parties aléatoires de l'image. Après l'entraînement, l'attention du modèle était étroitement verrouillée sur les points d'intersection ou l'objet spécifique, tout comme un humain le ferait.
Une Mémoire Plus Forte : L'article a également découvert que cet entraînement ne changeait pas seulement l'endroit où le modèle regardait ; cela rendait aussi la mémoire interne de l'image plus forte. Les « poids » numériques des parties importantes de l'image sont devenus plus lourds et plus distincts, ce qui signifie que le modèle comprenait réellement mieux les données visuelles, et pas seulement les mots.

Le Verdict

L'article suggère que la raison pour laquelle ces modèles d'IA échouent parfois à des tâches visuelles simples n'est pas qu'ils ne sont pas assez intelligents, mais parce qu'on ne leur apprend pas à regarder correctement. En ajoutant un signal direct de « pointeur laser » pendant l'entraînement, ils ont forcé les modèles à connecter leurs mots directement aux pixels qu'ils représentent.

Les résultats montrent que cette méthode fonctionne sur différents types de modèles, des modèles open-source aux plus grands systèmes d'IA commerciaux. Même les modèles commerciaux les plus avancés ont lutté face à ces tâches géométriques spécifiques jusqu'à ce que cette méthode soit appliquée. Les auteurs concluent que si nous voulons que l'IA comprenne véritablement le monde, nous ne pouvons pas simplement la laisser deviner ; nous devons lui apprendre à prêter attention aux bonnes choses, tout comme un enseignant guide les yeux d'un élève vers la bonne partie d'un diagramme.

En bref, l'article prouve que lorsqu'on force une IA à regarder les preuves avant de parler, elle arrête d'halluciner et commence réellement à voir.

Résumé Technique : Ancrage Visuel Direct par la Direction de l'Attention des Tokens Visuels

Énoncé du Problème
Les modèles vision-langage (VLM) intègrent des tokens visuels et textuels au sein de modules de grands modèles de langage (LLM), pourtant ils échouent fréquemment à des tâches exigeant un raisonnement visuel précis, telles que l'inférence géométrique, le comptage d'objets et la vérification des relations spatiales. Un problème critique identifié est que, dans les dernières couches du LLM, les tokens de réponse allouent peu ou pas d'attention aux tokens visuels les plus pertinents pour la requête. Au lieu de cela, le modèle s'appuie souvent sur des biais linguistiques (priors), entraînant des hallucinations ou des réponses incorrectes même lorsque l'information visuelle est présente. La perte standard de prédiction du prochain token (NTP - Next-Token Prediction) fournit un signal insuffisant pour diriger l'attention du modèle vers des régions visuelles spécifiques, aboutissant à un scénario où les tokens visuels sont effectivement ignorés ou traités de manière égale avec des tokens non pertinents.

Méthodologie
Les auteurs proposent un nouveau cadre d'entraînement qui introduit la Perte d'Attention KL (KLAL - KL Attention Loss) pour superviser directement le mécanisme d'attention des VLM. L'hypothèse centrale est qu'aligner explicitement la distribution d'attention des tokens de réponse textuels avec les régions visuelles de vérité terrain (GT - Ground Truth) améliore les performances.

Supervision de l'Attention : La méthode calcule la distribution d'attention des tokens visuels par rapport au dernier token de réponse généré. Cette distribution est traitée comme un vecteur de probabilité.
Construction de la Vérité Terrain : Les cartes d'attention de vérité terrain sont construites automatiquement sans nécessiter de nouvelles étiquettes manuelles :
- Tâches Synthétiques : Les cartes sont dérivées de la géométrie de la tâche (par exemple, des patchs contenant des intersections de lignes ou des chemins reliant des nœuds).
- Images Réelles : Les cartes sont projetées à partir d'annotations standards (boîtes englobantes ou annotations de points) en utilisant des fonctions de lissage.
Fonction de Perte : La KLAL proposée minimise la divergence de Kullback-Leibler (KL) entre la distribution d'attention prédite par le modèle et la distribution de vérité terrain construite à travers toutes les couches du LLM.
Objectif d'Entraînement : La perte totale combine la perte NTP standard avec la KLAL : $L_{total} = L_{NTP} + \lambda L_{KLAL}$ . Cette approche est indépendante du modèle, ne nécessite aucune modification architecturale et ne nécessite pas de têtes spécifiques à la tâche (par exemple, pour la segmentation ou la localisation).

Contributions Clés

Nouvelle Fonction de Perte : Introduction de la KLAL, qui ancre directement les tokens de réponse textuels aux tokens visuels pertinents en alignant les distributions d'attention via la divergence KL.
Preuve Empirique : Démonstration que l'amélioration de l'attention sur les régions d'image pertinentes est directement corrélée à une augmentation des performances sur les tâches visuelles, offrant une meilleure explicabilité via les cartes d'attention.
Amélioration de l'Embedding : Découverte que la méthode améliore les plongements (embeddings) profonds des tokens visuels, provoquant une concentration des tokens à haute norme sur les régions de l'image les plus pertinentes pour la bonne réponse.
Nouveau Jeu de Données : Création d'un jeu de données synthétique de Tracé de Lignes (Line Tracing) pour évaluer la capacité des VLM à tracer des chemins et à déterminer la connectivité entre des nœuds dans des graphes complexes, une tâche où même les modèles commerciaux peinent.
Évaluation Complète : Benchmarking extensif des VLM open-source et commerciaux sur des tâches de raisonnement géométrique, de pointage et de compréhension d'expression de référence (REC).

Résultats Expérimentaux
La méthode a été évaluée sur cinq jeux de données : Line Intersection, Line Tracing, Grid Patch pointing, PixMo-Points et RefCOCO.

Tâches Géométriques : Sur les tâches Line Intersection et Line Tracing, l'ajout de la KLAL au fine-tuning NTP a nettement surpassé les modèles de base et le fine-tuning NTP seul. Par exemple, Qwen2.5-VL est passé de 47,62 % à 70,23 % sur Line Intersection et de 49,62 % à 62,21 % sur Line Tracing.
Tâches de Pointage : L'approche a produit des gains substantiels dans la localisation de coordonnées. Qwen2.5-VL a atteint 44,90 % de précision sur Grid Patch et 35,77 % sur PixMo-Points avec NTP+KLAL, surpassant à la fois les modèles de base et d'autres références de pointe comme GPT-4o et Gemini-2.0 Flash.
Généralisation : Les expériences de transfert inter-jeux de données ont montré que NTP+KLAL permettait un transfert efficace entre les jeux de données de pointage, là où NTP seul échouait à généraliser.
Ancrage dans le Monde Réel : Sur le jeu de données RefCOCO, la méthode a fourni des améliorations mesurables de la précision (ex: 91,45 % contre 90,05 % sur la validation) même pour les modèles qui performaient déjà fortement.
Visualisation de l'Attention : Les cartes d'attention ont confirmé que les modèles entraînés avec la KLAL se concentraient significativement plus sur les régions cibles (ex: points d'intersection) par rapport aux modèles de base, où l'attention était diffuse ou mal alignée.

Signification et Revendications
L'article affirme que la principale limitation de la performance actuelle des VLM sur les tâches visuelles est l'absence de supervision directe de l'attention visuelle au sein du module LLM. En tirant une analogie avec l'apprentissage de la petite enfance — où la supervision directe lie la dominance visuelle à l'apprentissage des mots — les auteurs soutiennent que leur approche transforme l'exposition passive en apprentissage actif. La portée de ce travail réside dans la démonstration que :

La NTP standard est insuffisante pour l'ancrage des tokens visuels.
La supervision directe de l'attention via la divergence KL est une solution simple, efficace et indépendante du modèle qui améliore à la fois la précision des réponses et l'interprétabilité des décisions du modèle.
Même les VLM commerciaux avancés présentent des faiblesses fondamentales en matière de raisonnement géométrique et de connectivité, lesquelles peuvent être atténuées grâce à cette supervision d'attention ciblée.

Le Problème : Le « Fantôme » dans la Machine

La Solution : Un « Pointeur Laser » pour l'Attention

Ce Qu'Ils Ont Découvert : De la Devinette à la Vision

Le Verdict

Articles similaires