💬 NLP

GazeVLM: Active Vision via Internal Attention Control for Multimodal Reasoning

GazeVLM est un modèle multimodal de 4 milliards de paramètres qui améliore le raisonnement haute résolution en intégrant un contrôle métacognitif pour générer dynamiquement des tokens de regard, permettant au modèle de simuler de manière autonome une attention fovéale active et de supprimer les caractéristiques visuelles non pertinentes sans recourir à des outils de recadrage externes ou à des fenêtres de contexte gonflées.

Auteurs originaux : Brown Ebouky, Gabriele Carrino, Niccolo Avogaro, Christoph Studer, Andrea Bartezzaghi, Mattia Rigotti

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Brown Ebouky, Gabriele Carrino, Niccolo Avogaro, Christoph Studer, Andrea Bartezzaghi, Mattia Rigotti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, mais au lieu de regarder l'image entière d'un coup, vous portez une paire de lunettes magiques qui vous permettent de zoomer sur de tout petits morceaux spécifiques sans perdre de vue l'ensemble. C'est essentiellement ce que fait GazeVLM pour les ordinateurs.

Voici une décomposition simple des idées du papier, en utilisant des analogies du quotidien :

Le Problème : L'ordinateur à la « Lecture Floue »

Les modèles d'IA actuels qui regardent des images (appelés Modèles Vision-Langage) sont un peu comme un élève essayant de lire un livre pendant que quelqu'un lui crie mille faits aléatoires à l'oreille.

Comment ils fonctionnent maintenant : Ils tentent de traiter l'image entière d'un coup, transformant chaque pixel individuel en une liste massive de mots (tokens). Au fur et à mesure qu'ils réfléchissent et écrivent leur réponse, le « bruit » de tous ces mots supplémentaires noie les détails importants.
Le résultat : Ils sont souvent confus, inventent des choses (hallucinent) ou manquent des détails minuscules mais cruciaux, car ils essaient de garder tout le monde dans leur tête en même temps.

La Solution : Le « Regard Actif »

Les auteurs de ce papier, GazeVLM, voulaient enseigner à l'IA de regarder une image comme un humain le fait : activement.

Imaginez un détective humain résolvant une scène de crime :

Vue Globale : Il regarde d'abord toute la pièce pour se faire une idée de la disposition.
Focus Fovéal : Il repère quelque chose d'intéressant (comme une empreinte de pas boueuse) et zoome spécifiquement ses yeux sur cet endroit, ignorant le reste de la pièce pendant un moment.
Retour au Global : Une fois qu'il a examiné l'empreinte, il recule pour voir comment elle s'intègre dans la scène entière avant de passer à la prochaine indice.

L'IA actuelle ne fait pas vraiment les étapes 2 et 3 naturellement. Soit elle fixe bêtement l'image entière, soit elle utilise des outils externes maladroits (comme un bras robotique qui coupe physiquement un morceau de la photo et le re-scanner), ce qui est lent et coûteux.

GazeVLM change les règles : Il enseigne à l'IA de faire ce « zoom » à l'intérieur de son propre cerveau, sans avoir besoin d'outils externes.

Comment ça marche : Le Token Magique « Regard »

Les chercheurs ont donné à l'IA un ensemble spécial d'instructions, comme un langage secret :

<LOOK> : Lorsque l'IA réalise qu'elle doit vérifier un détail spécifique, elle tape <LOOK> et dessine un cadre autour de cette zone sur l'image.
Le bouton « Silence » : C'est la partie magique. Lorsque l'IA dit <LOOK>, elle ne coupe pas réellement l'image. Au lieu de cela, elle appuie sur un bouton « muet » pour le reste de l'image. Elle dit à son propre système d'attention : « Ignorez tout ce qui est à l'extérieur de ce cadre pendant une seconde. Concentrez-vous uniquement ici. »
</LOOK> : Une fois qu'elle a fini de vérifier cet endroit, elle tape </LOOK>, désactive le « muet », et peut voir l'image entière à nouveau pour planifier son prochain mouvement.

L'Entraînement : Apprendre en Faisant (et en étant Récompensé)

On ne peut pas simplement dire à une IA de « regarder plus fort » ; elle doit apprendre à le faire. Les chercheurs ont utilisé un processus d'entraînement en deux étapes :

Montrer et Dire (SFT) : Ils ont montré à l'IA des milliers d'exemples de la manière de regarder des images étape par étape, lui enseignant la syntaxe de <LOOK> et <THINK>.
Le Jeu (Apprentissage par Renforcement) : Ils ont joué à un jeu avec l'IA. Si elle regardait au bon endroit et donnait la bonne réponse, elle obtenait une « friandise » (une récompense). Si elle regardait au mauvais endroit, regardait trop de fois, ou simplement devinait, elle obtenait un « time-out » (une pénalité).

Au fil du temps, l'IA a appris que la façon la plus intelligente de gagner n'était pas de fixer l'image entière, mais de zoomer stratégiquement sur les indices dont elle avait besoin.

Les Résultats : Plus Intelligent et Plus Rapide

Le papier affirme que cette nouvelle méthode est une énorme amélioration :

Meilleure Précision : Sur des tests difficiles impliquant des images haute résolution (comme du petit texte sur un graphique ou de petits objets dans une photo), GazeVLM a obtenu des scores nettement supérieurs à d'autres modèles de premier plan. Il a obtenu environ 4 % à 5 % de meilleurs scores, ce qui est un bond massif dans le monde de l'IA.
Moins de Gaspillage : Parce qu'il n'a pas besoin de découper l'image et de la re-scanner (comme le font d'autres outils de « zoom »), il utilise beaucoup moins de puissance informatique. Il génère environ 5 fois moins de mots pour résoudre le même problème, ce qui le rend beaucoup plus rapide et moins cher à exécuter.
Compétence Intériorisée : Fait intéressant, une fois que l'IA a appris cette compétence, elle n'avait même plus besoin que le « bouton muet » (le biais) soit activé lors du test final. Elle avait appris l'habitude de se concentrer si bien qu'elle pouvait le faire naturellement, tout comme un détective humain n'a pas besoin d'un manuel pour lui dire comment concentrer ses yeux.

En Résumé

GazeVLM revient à enseigner à un ordinateur d'arrêter d'essayer d'avaler tout l'océan d'un coup et d'apprendre plutôt à boire une gorgée dans la bonne tasse. En donnant à l'IA la capacité de « zoomer » et de « dézoomer » volontairement en utilisant son propre attention interne, elle résout des puzzles visuels plus précisément, plus rapidement et sans être submergée par le bruit.

Résumé Technique : GazeVLM : Vision Active via Contrôle Interne de l'Attention pour le Raisonnement Multimodal

Énoncé du Problème

Les modèles modernes Vision-Langage (VLM) souffrent d'un déséquilibre fondamental entre la génération textuelle et la perception visuelle. Bien que l'encouragement par la Chaîne de Pensée (CoT) ait renforcé le raisonnement dans les modèles de langage, les VLM traitent l'information visuelle de manière passive. Ils reposent sur l'accumulation statique de contextes massifs de tokens, ce qui entraîne une sous-pondération progressive des caractéristiques visuelles originales à mesure que le raisonnement autorégressif s'étend. Cela conduit à une sur-reliance sur les priors linguistiques, résultant en des hallucinations d'objets et une dérive logique par rapport au contenu spatial de l'image.

Les solutions existantes tentent de remédier à cela mais héritent des limitations du traitement passif :

Raisonnement Ancré : Force les modèles à sortir des boîtes englobantes mais n'altère pas les poids d'attention internes de l'encodeur visuel durant la génération.
Outils Externes de « Zoom » : Des cadres comme V*, Pixel Reasoner et Ground-R1 recadrent et ré-encodent explicitement des patches d'image. Bien qu'efficaces pour l'extraction de détails, cette approche entraîne une pénalité computationnelle substantielle en gonflant la fenêtre de contexte avec des milliers de tokens visuels supplémentaires et en fragmentant le contexte spatial global du modèle.

Le raisonnement visuel humain, en revanche, repose sur une vision active : un processus métacognitif où un contrôle descendant achemine dynamiquement le focus foveal vers les détails pertinents pour la tâche tout en maintenant une conscience périphérique de la scène globale. Les VLM actuels manquent de cette capacité à passer fluidement entre une conscience globale et un raisonnement focalisé localisé sans agents externes.

Méthodologie

Les auteurs proposent GazeVLM, une architecture multimodale qui intègre la vision active directement dans la boucle de raisonnement du VLM. Au lieu de ré-encoder des patches d'image, GazeVLM applique un contrôle descendant directement au masque d'attention causale des caractéristiques visuelles pré-encodées.

Architecture et Mécanisme de Base

Tokens de Regard Internes : Le modèle génère de manière autonome des tokens spéciaux <LOOK> annotés avec des coordonnées de boîte englobante (bbox=[x1, y1, x2, y2]) et un token de fermeture </LOOK>.
Pilotage de l'Attention : Lors de la génération d'un token <LOOK>, le modèle déclenche un biais de suppression continue ( $\beta$ $β$ ) appliqué aux logits d'attention des tokens visuels.
- Suppression de Plateau : Les tokens strictement à l'intérieur de la boîte englobante ne reçoivent aucune pénalité. Les tokens à l'extérieur de la boîte reçoivent un biais de suppression qui décroît selon un profil gaussien basé sur la distance euclidienne au bord de la boîte.
- Modulation des Logits : Ce biais est injecté de manière additive dans les scores d'attention ( $s$ ) uniquement lorsque le token requête provient du texte ( $1_{text}(q_t) = 1$ ), assurant que le focus du modèle de langage est dirigé vers la région foveale tout en préservant les représentations internes de la scène globale.
Accumulation Temporelle : Pour le raisonnement multi-étapes, le modèle accumule les champs récepteurs non supprimés à travers une séquence de regards. Le biais effectif pour n'importe quel token est le maximum élément par élément à travers tous les états de regard historiques, permettant au modèle d'intégrer des preuves provenant de multiples régions discrètes sans ajouter de nouveaux tokens à la fenêtre de contexte.
Flux de Raisonnement : Le modèle alterne le raisonnement logique (<THINK>) avec la navigation visuelle active (<LOOK>), pour finalement sortir la réponse (<ANSWER>).

Paradigme d'Entraînement

GazeVLM emploie un pipeline d'entraînement en deux étapes :

Affinage Supervisé (SFT) de Démarrage à Chaud : Un ensemble de données hautement curaté de traces de raisonnement est synthétisé à l'aide d'un modèle expert (Qwen3-VL-235B). Ces traces démontrent des motifs de balayage itératifs, à l'image de l'humain. Le modèle est entraîné à suivre la structure <LOOK>/</LOOK> et à apprendre les conséquences visuelles de ses coordonnées de regard.
Apprentissage par Renforcement (GRPO) : Le modèle est affiné en utilisant l'Optimisation de Politique Relative de Groupe (GRPO). Une fonction de récompense sur mesure incite à :
- Exactitude : Précision de la réponse.
- Navigation Visuelle : Ancrage géométrique valide des boîtes <LOOK>.
- Efficacité : Pénalités pour les regards redondants, un chevauchement excessif entre les boîtes et des sorties verbeuses.

Contributions Clés

Ensemble de Données de Raisonnement par Regard Curaté : Un ensemble de données spécialisé conçu pour faire passer les modèles de l'observation passive à la navigation visuelle active multi-régions, synthétisé pour imposer un ancrage structurel et spatial strict.
Architecture de Pilotage de l'Attention : Un mécanisme interne qui biaise dynamiquement le masque d'attention causale du VLM. Cela permet au modèle de déplacer de manière autonome son focus des vues globales vers les détails locaux et inversement, simulant une fixation foveale sans la surcharge computationnelle du ré-encodage ou de l'ajout de tokens visuels.
Performance à Coût Réduit : GazeVLM (4 milliards de paramètres) atteint des performances de pointe dans sa classe de paramètres, en particulier sur les benchmarks haute résolution, tout en générant significativement moins de tokens de sortie que les approches basées sur des agents.

Résultats Expérimentaux

Évalué sur une suite de benchmarks incluant MathVista, MMBench, ChartQA et des ensembles de données haute résolution (HRBench-4k, HRBench-8k), GazeVLM démontre des améliorations significatives :

Raisonnement Haute Résolution : Sur HRBench-4k, GazeVLM obtient un score de 83,4 (+3,9 par rapport au Qwen3-VL-4B de base) et 78,0 sur HRBench-8k (+4,4). Il surpasse les pipelines d'agents comme DeepEyes et Ground-R1 de plus de 5 % sur ces ensembles de données.
Raisonnement Général : Il obtient de solides résultats sur MathVista (73,3) et MMBench (89,2), surpassant d'autres VLM entraînés par RL et des modèles de raisonnement basés sur SFT.
Efficacité Computationnelle : Contrairement aux agents de « zoom » externes (par exemple DeepEyes) qui génèrent en moyenne plus de 1 300 tokens de sortie par trace en raison du ré-encodage, GazeVLM génère en moyenne ~266 tokens sur HRBench-4k. Il atteint une précision supérieure (+8,3 % par rapport à DeepEyes) avec environ 5 fois moins de tokens de sortie.
Insights des Ablations :
- Biais d'Entraînement vs Inférence : De manière surprenante, le modèle performe le mieux à l'inférence lorsque le biais mathématique de suppression explicite est désactivé. Cela indique que le mécanisme de routage descendant a été intégralement internalisé dans les poids du modèle durant l'entraînement, agissant comme un régularisateur qui façonne le comportement de la politique sans nécessiter le masque codé en dur au moment du test.
- Force de Suppression : Une force de suppression modérée ( $\alpha_s = 4$ ) suffit à filtrer le bruit périphérique ; une suppression extrême produit des rendements décroissants.

Signification et Revendications

L'article revendique que GazeVLM représente un changement de paradigme en intégrant la surveillance métacognitive directement dans la boucle de raisonnement. En permettant au VLM de générer de manière autonome des tokens de regard et de contrôler son propre masque d'attention, le modèle réalise une transition fluide entre la conscience spatiale globale et le raisonnement focalisé localisé.

La signification réside dans la démonstration qu'un modèle de langage peut être enseigné un contrôle autodirigé de son traitement visuel, faisant écho au routage descendant du regard humain. Cette approche élimine le besoin de dispositifs d'agents externes (comme les outils de recadrage) et évite le gonflement de la fenêtre de contexte associé au traitement de nouveaux patches visuels. Les auteurs positionnent cela comme une étape vers un contrôle métacognitif plus large des propres calculs d'un modèle, permettant un raisonnement multimodal haute résolution efficace, à la fois plus précis et computationnellement plus léger que les pipelines d'agents actuels de pointe.