🧠 neuroscience

Language-aligned models and structured scene descriptions reveal sensitivity to compositional scene structure in the high-level visual cortex

En utilisant des données d'IRMf à 7T et des modèles alignés sur le langage, cette étude démontre que le cortex visuel de haut niveau est sensible à la structure compositionnelle des scènes naturelles plutôt qu'à la simple cooccurrence d'objets, suggérant que la supervision par le langage peut aider les modèles de vision artificielle à développer des représentations structurées similaires.

Auteurs originaux : Rajaei, K., Afshar, A., Cichy, R. M., Soltanian-Zadeh, H.

Publié 2026-07-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Rajaei, K., Afshar, A., Cichy, R. M., Soltanian-Zadeh, H.

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que votre cerveau soit une immense bibliothèque en pleine effervescence. Pendant longtemps, les scientifiques ont pensé que la « section visuelle » de cette bibliothèque n'était qu'un gigantesque classeur d'objets individuels. Si vous voyiez un chien, une voiture ou un arbre, une étagère spécifique s'allumerait pour dire : « Hé, nous avons un chien ici ! » Mais que se passe-t-il quand le chien poursuit la voiture, ou que l'arbre bloque la voiture ? Le cerveau est-il simplement en train de cocher une liste d'éléments, ou est-il réellement en train de lire l'histoire de la façon dont ils s'assemblent ? Cette question est au cœur d'un domaine appelé les neurosciences cognitives, où les chercheurs tentent de décoder le langage secret de nos pensées et de nos sens. Ils utilisent des outils puissants comme l'IRMf (imagerie par résonance magnétique fonctionnelle), qui agit comme une caméra de haute technologie capable de voir quelles parties du cerveau « parlent » lorsque vous regardez quelque chose. Le grand mystère est de savoir si le centre visuel de notre cerveau est assez intelligent pour comprendre les relations entre les choses, ou s'il n'est qu'un créateur de listes qui ne se soucie que des objets présents.

Une équipe de chercheurs a décidé de percer ce code en traitant le cerveau comme un détective et le langage comme une loupe. Ils ont utilisé les données de huit personnes dont le cerveau a été scanné pendant qu'elles regardaient 10 000 scènes naturelles différentes. Pour tester la capacité du cerveau à comprendre des « histoires » plutôt que de simples « listes », ils ont conçu une expérience ingénieuse. Pour chaque image, ils ont utilisé une IA pour écrire une phrase complète et grammaticalement correcte décrivant exactement ce qui se passait (par exemple : « Une personne poursuit un chien dans un parc »). Ensuite, ils ont pris cette même phrase et l'ont éparpillée en un tas de mots aléatoires (par exemple : « parc, chien, personne, poursuivant, dans, un »). Les deux versions contenaient exactement les mêmes mots, mais seule la première racontait une histoire cohérente avec une structure claire.

Les résultats ont révélé une chose fascinante. Lorsque les chercheurs ont tenté de prédire ce que faisait le cerveau à partir de ces descriptions, le « sac de mots » éparpillés prédisait toujours l'activité cérébrale, mais de manière nettement moins précise que les phrases complètes et structurées. Les phrases structurées offraient une bien meilleure correspondance avec l'activité cérébrale, en particulier dans les zones de haut niveau responsables de la reconnaissance des visages, des lieux et des corps. Il s'avère que le cerveau n'est pas seulement un créateur de listes ; c'est un conteur d'histoires. Il se soucie profondément de la façon dont les pièces s'assemblent. Les chercheurs ont également testé cela avec des modèles informatiques. Ils ont découvert que les modèles d'IA entraînés à comprendre à la fois les images et le langage étaient bien meilleurs pour deviner l'activité cérébrale que les modèles qui ne regardaient que les images. Cela suggère que le langage aide le cerveau (et peut-être l'IA) à organiser le monde visuel en connexions significatives, et non en un simple amas d'objets.

Pour s'assurer qu'il ne s'agissait pas seulement de la « fluidité » ou de la correction grammaticale des phrases, l'équipe a tenté un second tour de magie. Ils ont pris les mots clés de l'histoire originale et ont demandé à une IA d'écrire une nouvelle phrase grammaticale en utilisant uniquement ces mots. Même si cette nouvelle phrase était grammaticalement parfaite, elle ne prédisait pas aussi bien la réaction du cerveau que l'histoire originale, spécifique à l'image. Cela a prouvé que le cerveau ne se contente pas d'entendre n'importe quelle phrase bien formée ; il recherche spécifiquement les relations structurées uniques qui existent dans la scène réelle. L'étude suggère que le cortex visuel de haut niveau est sensible à la « structure compositionnelle » d'une scène — la manière spécifique dont les agents, les actions et les espaces sont organisés. Il ne suffit pas de savoir qu'un chien et une personne sont là ; le cerveau doit savoir qui poursuit qui pour véritablement « voir » la scène.

Résumé Technique

Problème et Motivation
Les scènes naturelles ne sont pas définies uniquement par les objets qu'elles contiennent, mais par les relations structurées entre ces entités, incluant la disposition spatiale, les associations sémantiques, les interactions sociales et les actions. Alors que le système visuel extrait rapidement ces informations structurelles pour interpréter le sens de la scène, il reste incertain de savoir si les représentations du cortex visuel de haut niveau encodent cette structure compositionnelle ou reflètent principalement la cooccurrence d'entités individuelles. Des travaux antérieurs ont établi que les modèles de vision alignés sur le langage prédisent mieux les réponses cérébrales que les modèles purement visuels, mais la base de cet avantage fait débat : cela pourrait provenir de labels sémantiques plus riches ou de la capacité à capturer une organisation relationnelle structurée. Cette étude vise à dissocier la sensibilité à l'organisation structurée d'une scène de la sensibilité à la simple présence d'éléments de scène.

Méthodologie
Les auteurs ont utilisé des données d'IRMf à 7T issues du Natural Scenes Dataset (NSD), comprenant les réponses de huit participants observant 10 000 images naturelles uniques. L'étude a employé deux approches complémentaires au sein d'un cadre d'encodage :

Manipulation Linguistique : Pour chaque image, un modèle de vision-langage génératif (Qwen 2.5-VL) a produit une description narrative. Les auteurs ont construit plusieurs espaces de caractéristiques linguistiques pour manipuler systématiquement la structure tout en contrôlant le contenu lexical :
- Narratif Complet : Descriptions cohérentes et intactes.
- Sac de Mots (Bag-of-Words) : Les mêmes mots que le récit mais dans un ordre aléatoire, perturbant la structure syntaxique et relationnelle.
- Mots de Contenu : Noms, verbes et adjectifs dans un ordre aléatoire (excluant les mots de fonction).
- Catégories Isolées : Modèles entraînés uniquement sur les noms, les verbes ou les adjectifs.
- Descriptions Régénérées : Un contrôle où les mots de fonction ont été supprimés du récit original, et un modèle de langage a régénéré une phrase grammaticale en utilisant uniquement les mots de contenu originaux. Cela testait si l'avantage narratif était dû à une fluidité grammaticale générique ou à une organisation relationnelle spécifique à l'image.
- Les plongements de texte (embeddings) ont été dérivés des encodeurs CLIP (ViT-L/14) et RoBERTa.
Comparaison de Modèles Computationnels : Les auteurs ont comparé la prédictivité neurale entre un modèle de vision aligné sur le langage (SigLIP2) et un modèle de vision auto-supervisé (DINOv3). Les deux modèles partagent des architectures similaires (Vision Transformer Large) et des échelles d'entraînement comparables, mais diffèrent par leurs objectifs d'apprentissage (perte de contraste image-texte vs apprentissage visuel auto-supervisé).

Encodage et Analyse
Des modèles de régression de type Ridge par voxel ont été ajustés pour prédire les réponses de l'IRMf à partir des espaces de caractéristiques. L'étude a utilisé la partition de variance pour calculer la variance expliquée unique ( $R^2_{unique}$ ). Cette métrique isole la contribution d'un ensemble de caractéristiques spécifique (par exemple, la structure narrative) en mesurant la chute de performance de prédiction lorsqu'un ensemble est retiré d'un modèle conjoint contenant à la fois l'ensemble cible et une base de référence (par exemple, le sac de mots). La signification statistique a été évaluée via un rééchantillonnage par bootstrap non paramétrique et une correction FDR.

Résultats Clés

La Structure Narrative Surpasse les Contrôles Lexicaux : Les descriptions narratives complètes prédisent significativement mieux les réponses corticales que les contrôles de type sac de mots et de mots de contenu à travers le cortex visuel de haut niveau, incluant les régions sélectives de catégories (EBA, FFA, PPA, OPA, RSC). Cet avantage était minimal dans le cortex visuel primaire.
Spécificité à la Structure Compositionnelle : La variance unique expliquée par les récits par rapport au sac de mots n'était pas pilotée par les mots de fonction ou la fluidité générique. Le contrôle de la description régénérée a montré que si les phrases grammaticales reconstruites à partir des mots de contenu capturaient une partie de la variance, elles ne parvenaient pas à égaler le pouvoir prédictif des récits originaux spécifiques à l'image. Cela indique que le cerveau encode l'organisation relationnelle spécifique de la scène, et non simplement des formes de phrases fluides.
Contributions Lexicales : Les noms expliquaient la majeure partie de la variance, suivis des verbes et des adjectifs. Cependant, les combinaisons non ordonnées de plusieurs classes lexicales capturaient plus d'informations que n'importe quelle catégorie seule.
Convergence avec les Modèles Alignés sur le Langage : SigLIP2 (aligné sur le langage) a surpassé DINOv3 (purement visuel) dans les régions de haut niveau sélectives de catégories. La distribution spatiale de cet avantage correspondait étroitement à la distribution de l'avantage narratif sur le sac de mots. Une forte corrélation positive ( $r = 0,66$ ) a été trouvée entre la variance expliquée unique des descriptions structurées et la variance expliquée unique du modèle aligné sur le langage à travers les voxels.
Stimuli Drivers : Les images générant la variance unique pour les descriptions structurées et les modèles alignés sur le langage étaient caractérisées par des scores élevés en structure compositionnelle, relations sémantiques et interaction sociale. Il ne s'agissait pas simplement d'images "visuellement riches", mais d'images présentant des relations complexes et organisées entre agents, objets et actions.

Signification et Revendications
L'article affirme que le cortex visuel de haut niveau représente des informations de scène structurées qui vont au-delà de la simple cooccurrence d'entités ou du contenu lexical seul. Les résultats suggèrent que le système visuel encode l'organisation relationnelle des éléments de la scène (agents, actions, disposition spatiale) en un tout cohérent.

De plus, l'étude postule que la performance supérieure des modèles de vision alignés sur le langage pour prédire l'activité cérébrale n'est pas un simple artefact d'une couverture lexicale plus large, mais reflète leur capacité à capturer une information relationnelle structurée similaire à celle représentée dans le cortex visuel humain. La convergence entre l'« avantage narratif » et l'« avantage du modèle aligné sur le langage » soutient l'idée que la supervision par le langage aide à induire dans les modèles artificiels des représentations qui s'alignent sur le codage relationnel structuré du système visuel biologique. Les auteurs concluent que le langage naturel sert d'outil utile pour isoler l'information relationnelle encodée par le cortex visuel, plutôt que d'agir comme un substitut de la vision.

Résumé Technique

Articles similaires