💻 computer science

DeepGaze3.5-VL: Modeling Scanpaths via Autoregressive Token Prediction

DeepGaze3.5-VL établit un nouveau état de l'art en prédiction de parcours de regard visuel en reformulant la tâche comme une génération de jetons autorégressive au sein d'un modèle vision-langage, permettant un conditionnement flexible sur l'identité du spectateur et les tâches tout en réalisant des gains de performance significatifs et en facilitant des simulations comportementales in-silico contrôlées.

Auteurs originaux : Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de prédire où les yeux d'une personne se porteront ensuite lorsqu'elle voit une image. Pendant longtemps, les scientifiques ont construit des machines spéciales et rigides uniquement pour cette tâche. Ces machines avaient des règles fixes (comme « les gens regardent toujours le centre en premier ») et ne pouvaient pas facilement apprendre de nouveaux tours, comme « cette personne est un médecin cherchant un diagnostic » ou « cette personne est un enfant cherchant un jouet ».

Le document présente un nouveau modèle appelé DeepGaze3.5-VL qui change la donne. Au lieu de construire une machine spéciale, les auteurs traitent les mouvements oculaires comme l'écriture d'une histoire.

Voici la décomposition de son fonctionnement et de ce qu'ils ont découvert, en utilisant des analogies simples :

1. L'idée centrale : Les mouvements oculaires comme une histoire de « texte »

Considérez le chemin parcouru par les yeux d'une personne (appelé scanpath) comme une phrase.

L'ancienne méthode : Vous construisiez un robot sur mesure pour dessiner la phrase, mais si vous vouliez changer de style (par exemple, passer de l'écriture d'un enfant à celle d'un adulte), vous deviez reconstruire le robot.
La nouvelle méthode : Les auteurs ont réalisé que les mouvements oculaires sont simplement une séquence de coordonnées (comme « regarder ici, puis regarder là »). Ils ont appris à un immense IA pré-entraîné (un Grand Modèle Vision-Langage) à traiter ces coordonnées comme des mots dans une phrase.

En transformant les positions oculaires en « tokens » (comme les lettres d'un mot), l'IA peut utiliser son cerveau gigantesque — déjà entraîné à comprendre les images et le langage — pour prédire le prochain « mot » (le prochain endroit où l'œil regardera).

2. La « magie » du prompt

Parce que ce modèle pense en termes de langage, vous pouvez lui donner des instructions exactement comme vous le feriez avec un chatbot.

L'analogie : Imaginez un guide touristique. Si vous dites au guide : « Montrez-moi le musée comme un touriste », il vous montrera les statues célèbres. Si vous dites : « Montrez-le-moi comme un historien de l'art », il pointera du doigt les coups de pinceau.
Le résultat : Les chercheurs ont montré qu'en changeant simplement le prompt textuel (par exemple, « Prédisez le regard d'une personne cherchant un chat » contre « Prédisez le regard d'une personne qui regarde simplement autour d'elle »), le modèle s'adapte instantanément. Il n'a pas besoin de nouveau matériel ou de changements de code complexes ; il lit simplement l'instruction.

3. Pourquoi est-ce meilleur : Le débat « Intelligent » vs « Grand »

Les chercheurs se sont demandé : Ce modèle est-il bon simplement parce qu'il est énorme, ou parce qu'il comprend réellement la scène ?

Le test : Ils ont comparé leur modèle à d'autres modèles de pointe qui utilisaient les mêmes « yeux » (encodeur de vision) mais des « cerveaux » différents.
La conclusion : Le « cerveau » (la partie linguistique de l'IA) compte plus que le simple fait d'avoir de plus grands « yeux ». Un modèle qui comprend le sens de l'image et l'histoire du mouvement oculaire est bien plus performant qu'un modèle qui voit seulement des pixels.
Le score : Sur un test standard (MIT1003), leur modèle a amélioré la précision de la prédiction de 46 % par rapport à la meilleure méthode précédente.

4. L'expérience de la « Machine à remonter le temps » (Interventions)

L'une des choses les plus cool que ce papier démontre est la capacité de faire tourner des scénarios de type « et si » (what-if) à l'intérieur de l'ordinateur, sans avoir besoin de vrais humains.

L'analogie : Imaginez un jeu vidéo où vous pouvez mettre le temps en pause, changer une variable (comme « le joueur était fatigué ») et voir instantanément comment le jeu se déroule différemment.
L'expérience : Les chercheurs ont pris un moment spécifique où un humain a regardé une image pendant une courte durée (50 ms) et ont demandé au modèle : « Et s'ils avaient regardé pendant une longue durée (600 ms) ? »
Le résultat : Le modèle a prédit que les regards courts ont tendance à être des coups d'œil rapides, instinctifs (comme un réflexe), tandis que les regards longs mènent à une exploration plus errante et réfléchie. Le modèle a compris ces comportements humains complexes uniquement en lisant les données, agissant comme un bac à sable numérique pour la vision humaine.

5. Le facteur « Qui » (Personnalisation)

Le modèle peut également être informé de qui regarde.

L'analogie : Si vous savez que votre ami adore les chiens, et que vous lui montrez une photo d'un parc, vous savez qu'il regardera le chien en premier. Si vous montrez la même photo à quelqu'un qui aime les oiseaux, il regardera l'arbre.
Le résultat : En injectant un « Subject ID » spécifique (comme « Subject A3F8 »), le modèle a appris à prédire les habitudes uniques de cette personne précise. Il n'avait pas besoin d'une nouvelle architecture ; il a simplement appris que différents « personnages » ont des « histoires » différentes.

Résumé

DeepGaze3.5-VL est une nouvelle façon de prédire où les humains regardent. Au lieu de construire des outils rigides et spécialisés, les auteurs ont transformé l'eye-tracking en un problème de langage. En faisant cela, ils ont créé un modèle qui est :

Plus intelligent : Il comprend le contexte et le sens de la scène.
Flexible : Vous pouvez changer son comportement en tapant simplement une nouvelle instruction.
Précis : Il bat tous les records précédents par une marge considérable.
Expérimental : Il permet aux scientifiques de simuler des scénarios de type « et si » concernant la vision humaine instantanément, sans avoir besoin de mener de nouvelles expériences physiques.

Résumé Technique : DeepGaze3.5-VL

Problématique

La modélisation de l'attention visuelle humaine au fil du temps (prédiction de scanpaths) a historiquement reposé sur des architectures spécialisées intégrant des priors géométriques conçus à la main, tels que l'exploration de Lévy contrainte, les biais saccadiques ou le marquage inhibiteur. Bien que ces modèles capturent avec succès les séquences de fixations, leurs biais structurels rigides limitent leur extensibilité et leur capacité de conditionnement flexible. L'intégration d'instructions spécifiques à une tâche ou l'adaptation à des identités de spectateurs distinctes nécessite traditionnellement des ajouts architecturaux personnalisés et disjoints. De plus, les approches génératives existantes (par exemple, les modèles de diffusion, les processus ponctuels neuronaux) s'entraînent souvent de zéro uniquement sur des données de regard, échouant ainsi à exploiter les riches priors séquentiels disponibles dans les modèles de fondation. Un goulot d'étranglement critique demeure dans l'évaluation : les modèles génératifs continus ne peuvent pas calculer nativement les densités de probabilité spatiale exactes, ce qui force le recours à des métriques d'alignement de séquence heuristiques (par exemple, ScanMatch) plutôt qu'à des mesures informationnelles rigoureuses.

Méthodologie

Les auteurs proposent DeepGaze3.5-VL, un cadre qui reformule la prédiction de scanpath purement comme une tâche de modélisation de séquence discrète utilisant des modèles de langage-vision de grande taille (LVLM).

Formulation Centrale

Prédiction de Tokens Autoregressifs : Au lieu de régresser des coordonnées continues, le modèle prédit le regard sous la forme d'une séquence de tokens discrets. Les coordonnées spatiales $(x, y)$ sont mappées sur des entiers à deux chiffres avec remplissage de zéros (00–99) représentant les positions en pourcentage le long des dimensions de l'image. Cela garantit que chaque fixation contribue exactement à quatre tokens (deux pour $x$ , deux pour $y$ ), assurant une longueur de token uniforme et une comparaison probabiliste équitable.
Intégration de LVLM : Le système utilise des LVLM pré-entraînés (spécifiquement InternVL3.5-8B) affinés via l'adaptation de bas rang (LoRA). Le modèle encode l'image d'entrée $I$ et les facteurs de conditionnement optionnels $C$ (ex: descriptions de tâches, identifiants de sujets) via des prompts en langage naturel.
Objectif d'Entraînement : Le modèle est entraîné via la prédiction du prochain token standard sur des scanpaths de vérité terrain. La structure autoregressive permet le calcul exact de la log-vraisemblance de toute séquence de fixation valide :
$\log P(S \mid I, C) = \sum_{i=1}^{n} \log P((x_i, y_i) \mid I, C, (x_1, y_1), \ldots, (x_{i-1}, y_{i-1}))$

Stratégie d'Évaluation

Gain d'Information (IG) : Les auteurs exploitent l'alignement autoregressif pour calculer l'Information Gain exact, défini comme l'amélioration de la log-vraisemblance par rapport à une ligne de base de biais central. Contra \text{à} les modèles contin, cette formulation permet le calcul exact des densités de probabilité spatiale sans heuristique.
Calcul Efficace : Pour calculer les distributions spatiales complètes (ex: pour l'AUC) à travers une grille de $100 \times 100$ , les auteurs emploient une stratégie d'arbre de préfixe (prefix tree). En mettant en cache les états Clé-Valeur aux préfixes partagés, ils décomposent la probabilité jointe en une expansion à 4 phases (marginale $x_1$ , conditionnelle $x_2$ , conditionnelle $y_1$ , conditionnelle $y_2$ ), nécessitant seulement 1 111 passages avant (forward passes) au lieu de 10 000. Pour l'IG spécifiquement, seuls 4 passages avant par fixation sont nécessaires.

Contributions Clés

Formulation comme Prédiction de Tokens Autoregressifs : En affinant les LVLM pour prédire des tokens de coordonnées discrets, les auteurs tirent parti des priors sémantiques et séquentiels pré-entraînés. Cette approche atteint un état de l'art de 2,18 bits de Gain d'Information sur le jeu de données MIT1003, une amélioration de 46 % par rapport à la ligne de base DeepGaze III avec le même backbone.
Évaluation Exacte et Efficace : Le cadre exploite la structure autoregressive pour décomposer les probabilités conjointes spatiales complètes, permettant un calcul rapide et mathématiquement exact de l'Information Gain à grande échelle, résolvant ainsi un goulot d'étranglement majeur pour l'évaluation des modèles de scanpath génératifs.
Conditionnement Flexible et Généralisation : Le modèle absorbe naturellement diverses variations par le biais de prompts en langage naturel. Il démontre une forte généralisation hors distribution (Leave-One-Dataset-Out) et peut être conditionné sur des objectifs de tâche (vision libre vs recherche visuelle) ou des identités d'observateurs individuels sans changement architectural.
Intervention In-silico : Le cadre génératif sert d'outil de calcul pour des interventions comportementales contrôlées, permettant de simuler des scénarios contrefactuels (ex: varier la durée des fixations) difficiles à mener expérimentalement.

Résultats

Performance : DeepGaze3.5-VL établit de nouvelles performances de pointe sur cinq jeux de données diversifiés (MIT1003, COCO-FreeView, CAT2000, DAEMONS, FiGrIm). Sur MIT1003, il atteint 2,18 bits d'IG contre 1,49 bits pour DeepGaze III (ré-entraîné avec le même backbone InternViT-6B).
Rôle des Représentations : Le gain de performance ne provient pas uniquement de meilleures caractéristiques visuelles. Une expérience de contrôle a montré que DeepGaze III, malgré l'utilisation de l'encodeur supérieur InternViT-6B, était moins performant que le VLM. De plus, une forte corrélation ( $\rho = 0,93$ ) a été observée entre l'Information Gain et le score du benchmark MMMU (une mesure du raisonnement multimodal), suggérant qu'une compréhension sémantique de haut niveau pilote la qualité de la prédiction de scanpath.
Séquentiel vs Spatial : Les études d'ablation révèlent que si la saillance spatiale statique pilote les fixations précoces, les dépendances séquentielles (l'historique de l'observateur spécifique) deviennent le prédicteur dominant pour les fixations ultérieures. Le modèle complet surpasse les variantes "invariantes à l'historique" et "uniquement spatiales", particulièrement lors des étapes tardives d'un scanpath.
Effets de Conditionnement :
- Durée : Le conditionnement sur la durée de fixation améliore la prédiction spatiale, particulièrement pour les fixations courtes (<100 ms), récupérant des phénomènes oculomoteurs connus comme les saccades pré-programmées.
- Identité du Sujet : Fournir les identifiants de sujet améliore l'IG de +0,09 bit/fixation, permettant au modèle d'apprendre des priors spatiaux distincts par observateur.

Signification et Revendications

L'article affirme que formuler la prédiction de scanpath comme une prédiction de tokens autoregressifs comble le fossé entre la modélisation de regard spécialisée et les modèles de fondation généraux. Les auteurs soutiennent que :

La Compréhension Sémantique est la Clé : La qualité des représentations multimodales apprises (mesurée par les benchmarks de raisonnement) est un moteur primaire de la prédiction de scanpath, soutenant les théories cognitives selon lesquelles les objectifs de tâche top-down et la compréhension sémantique pilotent l'exploration visuelle.
Évaluation Native : La formulation autoregressive aligne la prédiction de scanpath avec l'objectif d'entraînement natif des modèles de fondation, permettant à l'Information Gain d'être une manifestation directe de l'objectif de prédiction du prochain token, éliminant ainsi le besoin de métriques de substitution.
Utilité Générative : Au-delà de la prédiction, le cadre agit comme un outil puissant pour les interventions comportementales "in-silico". Les auteurs démontrent que le modèle peut récupérer des phénomènes oculomoteurs connus (tels que la modulation de l'entropie spatiale par la durée de fixation) uniquement à partir des statistiques des données, permettant des simulations contrôlées sans collecte de données supplémentaires.

Le travail suggère que les priors rigides et conçus à la main des générations précédentes ne sont plus nécessaires, car les priors séquentiels et sémantiques inhérents aux LVLM sont suffisants pour modéliser la dynamique complexe du regard humain avec plus de flexibilité et de précision.