💻 computer science

Attention Alignment Between Humans and Vision-Language Models

Cette étude révèle que si les décodeurs basés sur le LSTM dans les modèles vision-langage parviennent à un meilleur alignement avec l'attention spatiale humaine que les décodeurs Transformer, ces derniers présentent une concentration spatiale plus nette et une meilleure différenciation des tâches, avec un compromis apparaissant où les modèles ayant un alignement de fixation plus faible (CNN-Transformers) prédisent mieux l'activité neurale synthétique dans le cortex visuel primaire.

Auteurs originaux : Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à regarder une image de la même manière qu'un humain. Vous voulez que les yeux du robot se posent sur les mêmes endroits qu'une personne le ferait en regardant une photo d'une rue animée ou d'une réunion de famille.

Ce document est comme une expérience scientifique où des chercheurs ont construit plusieurs « cerveaux de robots » différents pour voir lequel ressemble le plus à un humain. Ils n'en ont pas seulement construit un ; ils ont créé toute une famille de robots en mélangeant et en associant différentes pièces, comme si l'on remplaçait l'objectif de la caméra (l'Encodeur) et la partie du cerveau qui décide sur quoi se concentrer (le Décodeur).

Voici le détail de leurs découvertes, en utilisant des analogies simples :

1. Les deux parties principales du robot

Considérez le système de vision du robot comme une caméra et un réalisateur :

L'Encodeur (La Caméra) : C'est la partie qui prend l'image et la décompose en morceaux. Les chercheurs ont testé deux types :
- CNN (Le Scanner Local) : Comme une personne regardant une photo un petit carré à la fois, en remarquant des détails comme les bords et les textures.
- ViT (Le Regard Global) : Comme une personne prenant du recul pour voir l'image entière d'un coup, comprenant immédiatement la vue d'ensemble.
Le Décodeur (Le Réalisateur) : C'est la partie qui décide : « D'accord, maintenant que je vois l'image, que dois-je dire et où dois-je regarder ensuite ? » Ils ont testé deux types :
- LSTM (Le Réalisateur à Fil Unique) : Ce réalisateur essaie de tenir toute l'information visuelle dans une seule main et de la compresser en un seul « point de focalisation » pour chaque mot qu'il prononce.
- Transformer (L'Équipe de Réalisateurs) : Ce réalisateur possède une équipe de spécialistes (appelés « têtes ») qui regardent tous l'image en même temps, chacun se concentrant sur un aspect différent.

2. La grande découverte : Le réalisateur compte plus que la caméra

Les chercheurs ont découvert que celui qui dirige le spectacle importe bien plus que le type de caméra utilisé.

Le « Réalisateur LSTM » (Fil Unique) : Ce robot était le meilleur pour imiter les mouvements oculaires humains. Lorsque les humains regardaient une image, la carte d'attention de ce robot ressemblait beaucoup à l'endroit où les humains regardaient. Il a atteint environ 85 à 87 % d'une correspondance parfaite avec l'humain.
- Le bémol : Bien qu'il regardait aux bons endroits, il était un peu « brouillon ». Son attention était étalée comme un projecteur large et flou. Il ne zoomait pas de manière nette sur des détails spécifiques et ne changeait pas beaucoup sa focalisation, que la tâche soit de « décrire la scène » ou de « deviner ce que la personne regarde ».
Le « Réalisateur Transformer » (Équipe de Spécialistes) : Ce robot était plus net et plus précis. Il pouvait concentrer son attention étroitement sur des points spécifiques, tout comme un rayon laser. Il changeait aussi radicalement de focalisation selon la tâche (par exemple, regarder un visage pour une tâche sociale versus regarder toute la pièce pour une description).
- Le bémol : Malgré cette netteté, il était bien moins performant pour correspondre aux mouvements oculaires humains. Il n'a atteint que 40 à 59 % de la correspondance humaine. Il regardait les bons types d'endroits, mais pas les endroits exacts choisis par les humains.

Le Verdict : Si vous voulez un robot qui regarde une image exactement là où un humain le fait, vous voulez le « Réalisateur LSTM ». Si vous voulez un robot précis et adaptable mais qui regarde des endroits différents, vous voulez le « Réalisateur Transformer ».

3. La « Caméra » aide quand même

Même si le Réalisateur était la partie la plus importante, la Caméra faisait tout de même une différence.

La Caméra CNN (le scanner local) aidait systématiquement le robot à ressembler davantage à un humain que la Caméra ViT (le regard global).
La meilleure combinaison globale était la Caméra CNN associée au Réalisateur LSTM. Ce robot était celui qui se rapprochait le plus du comportement humain, atteignant près de 87 % de la limite humaine.

4. Le test de la « lésion cérébrale »

Pour voir à quel point ces robots étaient robustes, les chercheurs ont simulé une « lésion cérébrale » en bloquant le côté gauche de la vision du robot (comme une condition appelée négligence hémispatiale, où l'on ignore un côté de l'espace).

Les robots Transformer (l'équipe de réalisateurs) étaient très résistants. Même lorsqu'une moitié de leur vision était bloquée, ils pouvaient encore donner un sens à l'image car les membres de leur équipe pouvaient partager la charge de travail.
Les robots LSTM (le réalisateur à fil unique) avaient plus de mal. Parce qu'ils dépendaient d'un seul grand « résumé » de l'image, bloquer une partie de la vue les affectait davantage.

5. La surprise : Regarder vs Penser

Enfin, les chercheurs ont posé une question délicate : « Un robot qui regarde comme un humain pense-t-il comme un humain ? »

Ils ont utilisé un outil spécial pour simuler la façon dont le cerveau humain réagirait aux images que les robots regardaient.

La Surprise : Le robot qui ressemblait le plus à un humain (le LSTM) n'était pas celui qui prédisait le mieux l'activité cérébrale.
Au lieu de cela, le robot CNN-Transformer (qui ressemblait moins à un humain) était en réalité meilleur pour prédire quelles parties du cerveau s'allumeraient.
Ce que cela signifie : Il existe une différence entre « où nous regardons » (comportement) et « comment notre cerveau traite l'image » (activité neurale). Un robot peut regarder une image d'une manière humaine, mais traiter l'information de manière non humaine, et vice versa.

Résumé

Pour ressembler à un humain : Utilisez une caméra de « Scanner Local » (CNN) avec un « Réalisateur à Fil Unique » (LSTM). C'est un peu flou, mais cela frappe les bons points.
Pour être net et adaptable : Utilisez un « Regard Global » (ViT) avec une « Équipe de Réalisateurs » (Transformer). C'est précis, mais cela regarde des endroits différents des humains.
La Leçon : Le fait que les yeux d'un robot bougent comme ceux d'un humain ne signifie pas que son cerveau fonctionne comme celui d'un humain. Ces deux choses sont liées, mais elles ne sont pas identiques.

Résumé Technique : Alignement de l'Attention entre les Humains et les Modèles Vision-Langage

Énoncé du Problème

La perception visuelle est régie par l'interaction entre les mécanismes sensoriels ascendants (bottom-up) et les objectifs descendants (top-down). Bien que les modèles vision-langage (VLM) implémentent ces deux composantes, il reste incertain comment des choix architecturaux spécifiques dans l'encodeur (ascendant) et le décodeur (descendant) façonnent l'alignement de l'attention du modèle avec la fixation visuelle humaine. Les recherches antérieures se sont largement concentrées sur la saillance ascendante ou ont traité la distribution d'entraînement comme le principal moteur de l'alignement, négligeant souvent comment les biais architecturaux influencent indépendamment et conjointement les mécanismes d'attention descendante. Cette étude vise à dissocier ces contributions en faisant varier systématiquement les architectures d'encodeurs et de décodeurs tout en contrôlant les données d'entraînement, pour déterminer si des configurations architecturales spécifiques produisent des cartes d'attention qui imitent mieux la sélection spatiale et l'adaptation aux tâches humaines.

Méthodologie

Conception Expérimentale

Les auteurs ont employé un plan factoriel $2 \times 2$ pour entraîner quatre modèles de légende d'images, isolant les effets des familles d'encodeurs et de décodeurs :

Encodeurs : ResNet-101 (CNN) vs ViT-B/16 (Vision Transformer).
Décodeurs : LSTM avec attention douce additive vs Transformer à 4 couches avec attention croisée multi-têtes (multi-head cross-attention).
Modèles de Référence : Deux VLM de pointe (Molmo 7B-D et Qwen3.5 9B) ont été évalués sans ajustement fin (fine-tuning).

Données et Tâches

Stimuli : 200 images naturalistes issues de l'ensemble de validation COCO 2017.
Données Humaines : Les mouvements oculaires ont été enregistrés auprès de 49 participants à l'aide d'un EyeLink 1000 Plus (2000 Hz) lors de deux tâches distinctes :
1. Tâche de Description : Description générale de la scène.
2. Tâche Sociale : Inférer l'état attentionnel d'un acteur spécifique au sein de la scène.
Vérité Terrain (Ground Truth) : Des cartes de chaleur de fixation humaine ont été générées en convoluant les échantillons de regard avec un noyau gaussien et en effectuant un sous-échantillonnage à $256 \times 256$ .

Protocole d'Entraînement

Les quatre modèles personnalisés ont suivi un curriculum cohérent en quatre phases :

Pré-entraînement : Décodeur entraîné sur les légendes COCO 2014 (encodeur gelé).
Ajustement fin (Description) : Encodeur dégelé ; entraîné sur COCO 2014.
Ajustement fin (Social) : Encodeur dégelé ; entraîné sur un ensemble de données de légendes sociales collectées en laboratoire.
Évaluation : Les cartes d'attention ont été extraites et comparées aux cartes de chaleur humaines pour la tâche correspondante.

Métriques d'Évaluation

Alignement de Fixation : Corrélation de Spearman entre les cartes d'attention du modèle et les cartes de chaleur de fixation humaine, normalisée par rapport au plafond de bruit humain-humain (human-human noise ceiling).
Dispersion Spatiale : Entropie de Shannon normalisée pour mesurer la diffusivité de l'attention (concentration vs distribution).
Adaptation à la Tâche : Corrélation entre les cartes d'attention générées pour la tâche Sociale par rapport à la tâche de Description pour évaluer la reconfiguration spécifique à la tâche.
Robustesse : Simulation de négligence hémispatiale via l'ablation progressive de la grille spatiale du côté gauche (7 % à 100 %) pour mesurer la dégradation des légendes.
Prédiction Neurale : Un modèle d'encodage par régression de type ridge a prédit les réponses IRMf simulées par TRIBE en utilisant les cartes d'attention du modèle (« où ») et les plongements (embeddings) CLIP (« quoi »). La partition de la variance a été utilisée pour isoler les contributions uniques et partagées.

Résultats Clés

1. L'Architecture du Décodeur Domine l'Alignement

Le choix du décodeur est le principal prédicteur de l'alignement avec les fixations humaines, expliquant une différence de 40 à 50 points de pourcentage :

Décodeurs LSTM : Ont atteint l'alignement le plus élevé, atteignant 80 à 87 % du plafond de bruit humain (ex. : CNN-LSTM : 85–87 %).
Décodeurs Transformer : Ont montré un alignement nettement inférieur, atteignant 40 à 59 % du plafond (ex. : ViT-Transformer : 39–52 %).
Contribution de l'Encodeur : Les encodeurs CNN ont fourni un avantage secondaire de 5 à 20 points de pourcentage par rapport aux encodeurs ViT, selon la famille de décodeurs. La combinaison CNN-LSTM est la plus alignée globalement.
Modèles SOTA : Molmo 7B-D (76–82 %) et Qwen3.5 9B (53–69 %) se situent entre les extrêmes des modèles entraînés mais n'ont pas surpassé le CNN-LSTM personnalisé.

2. Dissociation entre Alignement et Propriétés Spatiales

Une découverte critique est le compromis entre la précision de l'alignement et les caractéristiques spatiales :

Modèles LSTM : Bien qu'hautement alignés sur les emplacements de fixation humaine, leurs cartes d'attention étaient spatialement diffuses (entropie de Shannon $\approx 0,999$ ), répartissant les poids sur la quasi-totalité des 196 positions spatiales. Ils présentaient également une faible différenciation de tâche, maintenant des motifs d'attention similaires entre les tâches de Description et Sociale.
Modèles Transformer : Malgré un alignement de fixation plus faible, ils ont présenté une concentration spatiale plus nette et une plus forte différenciation de tâche (ex. : le ViT-Transformer a montré les cartes d'attention les plus distinctes entre les tâches).

3. Robustesse aux Lésions

Dans les simulations de négligence hémispatiale, la robustesse suit le degré de traitement distribué :

ViT-Transformer : L'architecture la plus distribuée est la plus résiliente à l'ablation spatiale, maintenant la qualité de la légende même avec une perte significative du champ récepteur.
Modèles LSTM : Ont montré la plus grande dégradation lors de l'ablation, particulièrement aux niveaux de sévérité élevés où tous les patchs recevaient un poids égal.

4. Précision de Prédiction Neurale vs Alignement Comportemental

L'étude a trouvé une dissociation entre l'alignement comportemental et le pouvoir de prédiction neurale :

CNN-Transformer : Malgré un classement troisième en alignement de fixation, les cartes d'attention de ce modèle ont le mieux prédit l'activité cérébrale synthétique (plus haut $R^2$ du cerveau entier) dans la simulation TRIBE.
Modèles LSTM : Bien qu'ils soient les mieux alignés sur le regard humain, ils n'étaient pas les meilleurs prédicteurs des réponses neurales.
Partition de la Variance : Le « quoi » (contenu visuel/sémantique via CLIP) explique la majorité de la variance neurale, concentrée dans les régions du langage et du temporel. Le « où » (attention spatiale) explique de manière unique la variance principalement dans le cortex visuel précoce et les réseaux d'attention dorsale. Les deux signaux sont largement partagés dans les régions de haut niveau, suggérant une séparation moindre entre les voies « quoi » et « où » que ce qui est traditionnellement supposé.

Signification et Revendications

L'article affirme que l'architecture du décodeur est le facteur dominant déterminant la capacité de l'attention d'un VLM à s'aligner sur la sélection spatiale humaine, les décodeurs LSTM surpassant les Transformers en termes d'alignement comportemental, mais échouant à capturer la netteté spatiale et l'adaptabilité aux tâches propres à l'attention humaine. Inversement, les décodeurs Transformer, bien que moins alignés comportementalement, offrent une acuité spatiale et une robustesse supérieures.

Les auteurs soulignent un compromis fondamental :

Mécanismes descendants (Décodeurs) : Les décodeurs LSTM agissent comme un goulot d'étranglement, forçant un échantillonnage large et diffus qui imite la distribution de la fixation humaine mais manque de la netteté spécifique à la tâche. Les décodeurs Transformer distribuent l'attention entre les têtes, permettant la spécialisation et l'adaptation à la tâche, mais résultant en un alignement de fixation global plus faible.
Mécanismes ascendants (Encodeurs) : Les CNN surpassent systématiquement les ViT en termes d'alignement, renforçant l'idée que les biais de traitement local peuvent être bénéfiques pour imiter la sélection visuelle humaine.

Crucialement, l'étude démontre que l'alignement de la fixation et la précision de la prédiction neurale ne sont pas des métriques interchangeables. Un modèle peut être moins aligné sur les mouvements oculaires humains tout en étant un meilleur prédicteur des réponses neurales, suggérant que différents biais architecturaux capturent différentes facettes du traitement humain. Les résultats suggèrent que les VLM actuels ne capturent pas pleinement le spectre complet de l'attention humaine, laquelle nécessite à la fois l'échantillonnage diffus des LSTM et la concentration nette et adaptative à la tâche des Transformers.