💬 NLP

Attention, not scale, drives human-AI alignment in multimodal language prediction

Cette étude démontre que l'attention sélective portée aux indices visuels informatifs, plutôt que l'échelle du modèle, est le principal moteur permettant aux modèles de vision-langage basés sur les transformers de s'aligner sur le comportement humain dans la prédiction des mots à venir au sein de contextes multimodaux.

Auteurs originaux : Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher Edwards, Quitterie Lacome D'Elascombe, Akilles Rechardt, Jeremy I Skipper, Gabriella Vigliocco

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher Edwards, Quitterie Lacome D'Elascombe, Akilles Rechardt, Jeremy I Skipper, Gabriella Vigliocco

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La grande question : L'IA et les humains « voient-ils » de la même manière ?

Imaginez que vous regardiez un film avec un ami. Vous entendez tous deux un personnage dire : « L'homme va manger... » et, avant qu'il ne finisse sa phrase, vous regardez tous les deux instinctivement une image de gâteau sur la table, et non une image de voiture. Vous utilisez le contexte visuel (le gâteau) pour prédire le mot qui va suivre.

Cette étude a posé la question suivante : Les modèles d'IA modernes font-ils la même chose ? Lorsqu'une IA voit une vidéo et entend une phrase, utilise-t-elle les indices visuels pour deviner le mot suivant, tout comme le fait un humain ? Et si c'est le cas, est-ce parce que l'IA est plus « intelligente » (possède plus de puissance cérébrale/de paramètres), ou est-ce parce qu'elle possède un mécanisme spécifique pour porter attention aux bonnes choses ?

L'expérience : Le test du film

Les chercheurs ont mis en place un immense jeu en ligne. Ils ont montré à 600 participants humains 100 clips courts (de 6 secondes) issus de deux films célèbres (The Prestige et The Usual Suspects).

La tâche : Avant chaque clip, ils montraient un mot cible (par exemple, « départ »).
La question : Après avoir regardé le clip (avec ou sans le son), les humains devaient noter : « À quel point cette vidéo vous a-t-elle aidé à deviner ce mot ? »
L'oculométrie (Eye Tracking) : Pendant qu'ils regardaient, les chercheurs suivaient les mouvements de leurs yeux à l'aide de leurs webcams.

Au même moment, ils ont soumis cinq modèles d'IA différents au test exact. Certains modèles ne voyaient que le texte (les sous-titres). D'autres voyaient le texte plus la vidéo.

Les trois grandes découvertes

1. Le contexte visuel est la « recette secrète »

Le constat : Lorsque les modèles d'IA étaient autorisés à voir la vidéo en même temps que le texte, ils devenaient bien meilleurs pour correspondre aux prédictions humaines. Lorsqu'ils ne voyaient que le texte, ils étaient souvent confus ou se trompaient.

L'analogie : Pensez à l'IA sans la vidéo comme à une personne essayant de deviner la fin d'un roman policier avec un bandeau sur les yeux. Elle doit deviner en se basant uniquement sur les mots. Mais quand on retire le bandeau (on ajoute la vidéo), elle peut voir les indices que les personnages regardent, et ses suppositions correspondent soudainement à ce qu'un humain devinerait.

Surprise : La taille de l'IA n'avait pas beaucoup d'importance. Un modèle plus petit, mais plus intelligent, capable de voir la vidéo, était plus performant qu'un modèle massif, un « géant », qui ne pouvait pas voir la vidéo. C'est comme un petit détective avec une loupe qui résout mieux une affaire qu'un géant sans aucun outil.

2. L'« Attention » est la véritable héroïne

Le constat : L'étude a examiné comment l'IA traitait la vidéo. Ils ont comparé des modèles utilisant un mécanisme appelé « Attention » (qui permet à l'IA de se concentrer sur des parties spécifiques d'une image) à des modèles qui ne l'utilisent pas.

Les modèles avec Attention (comme les Transformers) s'alignaient très bien avec les humains.
Les modèles sans Attention (comme les anciens modèles ResNet) ne s'alignaient pas bien, même s'ils étaient de la même taille.

L'analogie : Imaginez une pièce bondée où tout le monde parle.

Sans Attention : L'IA est comme une personne qui essaie d'écouter tout le monde à la fois, étant submergée par le bruit. Elle ne peut pas isoler la voix importante.
Avec Attention : L'IA est comme une personne capable de focaliser ses oreilles sur une seule personne parlant, ignorant le bruit de fond. Cette capacité à « se régler » sur l'indice visuel pertinent (comme le gâteau sur la table) est ce qui fait que l'IA agit comme un humain.

3. L'IA « regarde » là où les humains regardent

Le constat : Les chercheurs ont comparé la « carte d'attention » de l'IA (une carte thermique montrant ce sur quoi l'IA se concentrait) avec les mouvements oculaires réels des humains.

Lorsqu'il y avait un indice visuel clair (comme un gâteau), la carte d'attention de l'IA ressemblait presque parfaitement à l'endroit où les humains regardaient.
Plus précisément, l'« Attention croisée » (Cross-Attention) de l'IA (là où elle mélange ce qu'elle voit avec ce qu'elle entend) était la plus efficace pour suivre les mouvements oculaires humains. Elle expliquait environ 70 % des raisons pour lesquelles les humains regardaient à tel endroit.

L'analogie : C'est comme regarder deux personnes regarder un tour de magie.

Humain : Ses yeux se dirigent vers la main du magicien lorsqu'une pièce apparaît.
IA avec Attention croisée : Ses « yeux numériques » se dirigent également vers la main au même instant précis.
IA sans Attention croisée : Ses « yeux numériques » pourraient fixer le chapeau du magicien ou l'arrière-plan, manquant totalement l'indice crucial.

Ce que cela signifie (en termes simples)

L'article conclut que la façon dont une IA est construite importe plus que sa taille.

Vieille idée : Nous pensions que les modèles d'IA plus grands (avec plus de paramètres) seraient automatiquement plus semblables aux humains.
Nouvelle réalité : Un modèle a besoin des bonnes « lunettes » (mécanismes d'Attention) pour voir le monde comme nous le voyons. Si une IA est entraînée à ignorer les indices visuels ou ne peut pas s'y concentrer, elle ne comprendra jamais vraiment le langage dans un contexte réel, peu importe sa taille.

L'étude suggère que pour que l'IA comprenne réellement le langage comme les humains, elle doit être capable de porter une attention sélective aux indices visuels les plus importants d'une scène, tout comme nos yeux le font.

Résumé Technique : L'attention, et non l'échelle, conduit l'alignement humain-IA dans la prédiction de langage multimodale

Énoncé du problème
Bien que les progrès récents de l'IA générative aient démontré que les grands modèles de langage (LLM) peuvent simuler le comportement humain dans des tâches unimodales, il reste incertain dans quelle mesure les modèles de vision-langage (VLM) actuels reproduisent le traitement prédictif humain dans des contextes écologiques et multimodaux. La compréhension du langage humain intègre systématiquement le contexte visuel pour contraindre l'espace du contenu sémantique à venir, un processus indexé par les mouvements oculaires dans le paradigme du monde visuel (VWP). Cependant, on ignore si l'ajout d'un contexte visuel aux modèles computationnels améliore leur alignement avec les prédictions humaines, ou si cet alignement est principalement piloté par l'échelle du modèle (nombre de paramètres) ou par des caractiches architecturales spécifiques comme les mécanismes d'attention. De plus, la mesure dans laquelle les motifs d'attention des modèles correspondent au regard humain lors de la prédiction multimodale est largement inexplorée.

Méthodologie
Les auteurs ont mené une expérience à grande échelle sur le web impliquant 600 participants humains et cinq systèmes préentraînés de pointe (FLAVA, LLaMA avec adaptateur visuel, GPT-4, variantes de CLIP et BLIP).

Conception expérimentale : Les participants ont visionné 100 clips de six secondes issus de The Prestige et The Usual Suspects. Dans un paradigme « Multimodal », ils ont regardé des clips vidéo avec un audio synchronisé ; dans les conditions « Unimodales », ils ont reçu des stimuli uniquement audio ou uniquement visuels. Les participants ont évalué la pertinence du stimulus pour prédire un mot cible spécifique sur une échelle de 0 à 100. Les mouvements oculaires ont été suivis via webcam tout au long de la tâche.
Modèles computationnels : L'étude a évalué les modèles à travers trois paradigmes :
1. Unimodale (Texte uniquement) : Les modèles ont traité les sous-titres ou les prompts sans entrée visuelle.
2. Multimodale (Texte + Image) : Les modèles ont traité le texte synchronisé avec les images vidéo.
3. Basée sur le prompt : Pour les modèles fermés comme GPT-4, les instructions humaines ont été utilisées comme prompts pour générer des estimations de prédictibilité déterministes (température réglée à 0).
Modèles testés :
- FLAVA : Un encodeur vision-langage de 1,3 milliard de paramètres.
- LLaMA-Adapter : Un modèle de 7 milliards de paramètres (texte uniquement) avec une couche d'adaptateur visuel.
- GPT-4 : Versions texte seule et texte-image.
- CLIP : Variantes avec des backbones ResNet (sans attention) et Vision Transformer (ViT, avec attention) de tailles variables.
- BLIP : Un modèle présentant des mécanismes de cross-attention (attention croisée).
Métriques d'analyse :
- Alignement : Corrélations de Pearson entre les scores de prédictibilité des modèles et les évaluations de pertinence humaines, corrigées par rapport à un « plafond humain » (corrélation leave-one-participant-out).
- Chevauchement de l'attention : Comparaison des cartes de chaleur d'attention des modèles (issues des couches transformer) avec les cartes de chaleur de l'eye-tracking humain en utilisant la corrélation de Spearman, la saillance du parcours normalisé (NSS) et le gain d'information (IG).
- Alignement sémantique : Analyse de similitude de représentation (RSA) pour lier les représentations internes des modèles aux jugements sémantiques humains des indices visuels.
- Ablation : Les poids d'attention dans CLIP ViT ont été manipulés (uniforme et patch-shuffled) pour tester le rôle causal de l'attention apprise.

Résultats clés

Le contexte visuel améliore l'alignement : L'ajout d'un contexte visuel a augmenté de manière significative l'alignement entre les prédictions des modèles et les jugements humains dans toutes les architectures (moyenne $\Delta r \approx 0,18$ ). Le modèle multimodal FLAVA a obtenu la corrélation brute la plus élevée ( $\rho = 0,42$ ), expliquant environ 72 % de la variance humaine explicable, surpassant des modèles plus grands comme GPT-4 et LLaMA dans le cadre multimodal. Crucialement, la taille des paramètres n'était pas corrélée à une amélioration de l'alignement ; des modèles plus petits, mais dotés d'une architecture soignée, ont surpassé les plus grands.
Les mécanismes d'attention sont critiques : Les modèles dotés de backbones Vision Transformer (ViT) (incorporant l'attention) ont nettement mieux performé que ceux avec des backbones ResNet (sans attention) pour prédire les jugements humains, particulièrement lorsque les indices visuels étaient informatifs (haute prédictibilité humaine). Des tests de permutation ont montré un avantage constant de ViT à travers tous les percentiles de prédictibilité.
L'ablation de l'attention confirme la nécessité : Lorsque l'attention apprise dans CLIP ViT a été remplacée par une attention uniforme ou par un mélange de patches (patch-shuffled), la relation positive entre la confiance du modèle et les évaluations humaines s'est inversée, indiquant que le contenu spécifique de l'attention apprise, et non seulement l'existence du mécanisme, pilote l'alignement.
L'attention du modèle reflète le regard humain : Les cartes d'attention des couches de cross-attention de BLIP (spécifiquement la couche 9) ont montré le plus fort chevauchement avec les données d'eye-tracking humain, expliquant jusqu'à 70 % de la variance du plafond humain. Cet alignement était maximal en présence d'indices visuels sémantiquement saillants.
Intégration cross-modale : La cross-attention de BLIP, qui intègre explicitement le contexte linguistique dans l'attention visuelle, a surpassé les mécanismes d'attention purement visuels (BLIP-Vision) et les modèles contrastifs (CLIP) pour s'aligner sur le regard et les jugements sémantiques humains. La cross-attention a permis au modèle de suivre les fixations anticipatoires humaines sur les indices sémantiques (ex: objets, actions, décors).
Réduction de l'entropie : L'entrée visuelle a réduit de manière fiable l'entropie prédictive des modèles (ex: FLAVA $\Delta H = 0,26$ bits), confirmant que le contexte visuel contraint la distribution prédictive du modèle de la même manière qu'il contraint la cognition humaine.

Signification et affirmations
L'article soutient que l'attention sélective aux indices informatifs, plutôt que la simple échelle du modèle, est le principal moteur de l'alignement humain-IA dans la prédiction de langage multimodale.

Contraintes architecturales plutôt que l'échelle : Les résultats remettent en question l'idée que l'augmentation des paramètres suffit à produire un comportement humain. Au contraire, l'étude suggère que les caractéristiques architecturales permettant l'intégration efficace des modalités (spécifiquement la cross-attention) sont plus critiques pour ancrer le langage dans le contexte visuel.
Ancrage multimodal : Les résultats suggèrent que les modèles entraînés conjointement sur des données multimodales (comme FLORA et BLIP) peuvent atteindre un meilleur alignement comportemental que les modèles entraînés uniquement sur du texte et adaptés a posteriori, soutenant l'idée qu'un ancrage structurel ou incarné est nécessaire pour un traitement multimodal efficace.
L'attention comme mécanisme : L'étude fournit des preuves que les mécanismes d'attention des transformers, particulièrement l'attention cross-modale, fonctionnent de manière similaire à l'attention humaine en se concentrant sélectivement sur l'information visuelle sémantiquement pertinente pour contraindre la prédiction du langage. Le chevauchement entre l'attention du modèle et le regard humain suggère que ces modèles ne traitent pas seulement les données statistiquement, mais s'engagent dans une forme de traitement prédictif qui reflète les stratégies cognitives humaines.
Limites et portée : Les auteurs notent que bien que leurs modèles approchent le comportement humain, l'alignement n'est pas parfait. Ils soulignent que les modèles comme CLIP ont tendance à se concentrer sur les zones périphériques en l'absence d'indices prédictifs, alors que les humains et les modèles de cross-attention centralisent l'attention, suggérant que les architectures actuelles manquent encore de la pleine flexibilité de la gestion de l'incertitude humaine.

En conclusion, l'article pose que la voie vers une IA plus humaine dans les contextes multimodaux ne réside pas simplement dans l'augmentation de la taille des modèles, mais dans le raffinement des mécanismes architecturaux — spécifiquement l'attention — qui permettent l'intégration dynamique et sémantiquement guidée de l'information visuelle et linguistique.