The macaque IT cortex but not current artificial vision networks encode object position in perceptually aligned coordinates

Cette étude démontre que le cortex temporal inférieur des macaques encode la position des objets dans un référentiel perceptif aligné sur l'illusion visuelle, contrairement aux réseaux de vision artificielle actuels qui, bien qu'efficaces pour la localisation, ne reproduisent pas ces biais d'adaptation dépendants de l'histoire visuelle.

L'essentiel

🧠 Le cerveau vs l'ordinateur : Qui comprend vraiment où sont les objets ?

Imaginez que vous regardez une pomme sur une table. Votre cerveau fait deux choses instantanément : il dit "C'est une pomme" (l'identité) et "Elle est à gauche" (la position).

Pendant longtemps, les scientifiques pensaient que le cerveau séparait ces deux tâches comme deux équipes distinctes :

• L'équipe "Quoi" (le ventral) s'occupait de reconnaître les objets.
• L'équipe "Où" (le dorsal) s'occupait de leur position pour vous aider à les attraper.

Mais cette nouvelle étude, menée par des chercheurs au Canada, remet tout cela en question. Ils ont découvert que l'équipe "Quoi" (une zone du cerveau appelée cortex IT) ne se contente pas de dire "c'est une pomme". Elle sait aussi exactement où elle est, mais d'une manière très spéciale : elle utilise notre perception, pas seulement la réalité physique de l'image.

Voici comment ils ont prouvé cela, en utilisant un tour de magie visuel.

🎩 Le Tour de Magie : L'Effet "Après-Mouvement"

Pour tester le cerveau, les chercheurs ont utilisé un phénomène connu sous le nom d'effet d'après-mouvement (Motion Aftereffect).

L'analogie du toboggan :
Imaginez que vous descendez un toboggan très rapide pendant 30 secondes. Quand vous arrivez en bas et que vous vous arrêtez, votre corps a l'impression de glisser encore vers le bas pendant quelques secondes, même si vous êtes immobile. C'est votre cerveau qui est "fatigué" par le mouvement.

Dans cette expérience, les chercheurs ont fait la même chose avec les yeux :

1. Ils ont fait regarder aux participants (humains et singes) des lignes qui bougeaient vers la droite pendant longtemps.
2. Ensuite, ils ont montré une image fixe d'un objet (comme un ours ou une voiture) au centre de l'écran.
3. Le résultat magique : Les participants ont juré que l'objet se déplaçait vers la gauche ! Même si l'objet était parfaitement immobile sur l'écran.

C'est ici que ça devient fascinant. Puisque l'image sur l'écran n'a pas bougé, mais que le cerveau pense qu'elle bouge, cela permet de tester si le cerveau se base sur la réalité physique (les pixels) ou sur ce qu'il ressent.

🐒 Ce que disent les singes (et leur cerveau)

Les chercheurs ont enregistré l'activité électrique du cerveau de singes macaques pendant ce tour de magie.

• Ce qu'ils ont trouvé : Le cerveau des singes (dans la zone IT) a changé son message. Avant l'expérience, il disait "L'objet est au centre". Après l'expérience (quand les lignes bougeaient vers la droite), le cerveau a commencé à dire : "L'objet est décalé vers la gauche".
• La conclusion : Le cerveau du singe ne se contente pas de lire les coordonnées de l'image. Il recalcule la position en fonction de ce qu'il a vu juste avant. Il est aligné avec la perception humaine. Si l'humain voit un décalage, le cerveau du singe l'enregistre aussi.

C'est comme si le cerveau disait : "Je ne me fie pas à ce que mes yeux voient sur le papier, je me fie à ce que je ressens dans mon expérience."

🤖 Et les ordinateurs (l'Intelligence Artificielle) ?

C'est là que ça devient drôle. Les chercheurs ont pris les meilleurs réseaux de neurones artificiels (les "cerveaux" des IA modernes) et leur ont montré la même chose.

• Le test : Ils ont montré les lignes qui bougent, puis l'objet fixe.
• Le résultat de l'IA : L'IA a dit : "L'objet est toujours exactement au centre."
• Pourquoi ? Parce que pour une IA classique, l'image est juste une grille de pixels. Si les pixels ne bougent pas, l'IA ne voit aucun changement. Elle est "bête" dans ce sens-là : elle ne ressent pas l'illusion d'optique. Elle ne comprend pas que le contexte (le mouvement précédent) change la réalité perçue.

Même les IA les plus avancées, qui regardent des vidéos et ont de la "mémoire" (comme des réseaux récurrents), ont échoué. Elles n'ont pas réussi à reproduire ce décalage perceptuel.

💡 La grande leçon : La "Neuralisation"

Pour voir si les IA pouvaient comprendre, les chercheurs ont fait une expérience de "chirurgie numérique". Ils ont pris les données du cerveau du singe (qui sait faire l'illusion) et les ont appliquées à l'IA.

• Résultat : Dès qu'ils ont forcé l'IA à utiliser la "logique" du cerveau du singe, l'IA a soudainement vu le décalage !
• Ce que ça signifie : L'IA a la capacité de stocker l'information, mais il lui manque le mécanisme interne pour transformer cette information en fonction de l'histoire récente. Il lui manque la "musique" du cerveau qui réagit au contexte.

🏁 En résumé

1. Le cerveau humain (et celui des singes) est un artiste : il ne se contente pas de copier la réalité. Il mélange ce qu'il voit avec ce qu'il a vu juste avant pour créer une expérience cohérente. Même si l'image est fixe, il peut "voir" un mouvement.
2. L'Intelligence Artificielle actuelle est un photocopieur très rapide : elle voit exactement ce qui est sur la page. Si l'image ne bouge pas, elle ne voit aucun mouvement, même si notre cerveau nous dit le contraire.
3. L'avenir : Pour créer de vraies IA qui voient comme nous, il ne suffit pas de leur donner plus de données. Il faut leur apprendre à s'adapter et à changer leur perception en fonction de l'histoire, exactement comme le fait notre cortex visuel.

En gros, notre cerveau est un interprète créatif, tandis que nos ordinateurs sont encore de simples lecteurs de texte. Il reste beaucoup de travail pour que les machines apprennent à "sentir" le monde comme nous.

Résumé technique

Voici un résumé technique détaillé de l'article scientifique intitulé "The macaque IT cortex but not current artificial vision networks encode object position in perceptually aligned coordinates" (Le cortex IT du macaque, mais pas les réseaux de vision artificielle actuels, encodent la position des objets dans des coordonnées alignées sur la perception).

1. Problématique et Contexte

La vision humaine nécessite à la fois l'identification précise des objets ("quoi") et leur localisation spatiale ("où"). L'hypothèse classique des deux flux (Goodale & Milner, 1992) postule une ségrégation stricte : le flux ventral (cortex temporal inférieur, IT) gère l'identité, tandis que le flux dorsal gère l'espace.
Cependant, des études récentes montrent que le cortex IT contient des informations sur la position des objets. Une question critique demeure : ces signaux de position dans l'IT reflètent-ils une représentation perceptuelle (c'est-à-dire alignée sur ce que l'animal/humain perçoit) ou sont-ils simplement un héritage passif des récepteurs rétiniens (coordonnées rétinotopiques) ?

Pour trancher, il faut dissocier la position physique de l'objet (pixels) de sa position perçue. L'article utilise l'illusion de l'effet après-cinétique (Motion Aftereffect - MAE) : une adaptation prolongée à un mouvement dans une direction (ex: droite) induit un décalage perceptif de la position d'un objet statique suivant (vers la gauche), alors que l'entrée visuelle (pixels) reste identique.

Hypothèse centrale : Si le cortex IT encode la position de manière perceptuelle, ses représentations neuronales doivent se décaler après l'adaptation, même si l'image reste la même. Si c'est un simple héritage rétinotopique, aucune variation ne devrait être observée.

2. Méthodologie

L'étude combine trois approches complémentaires :

• Enregistrements neurophysiologiques (Macaca mulatta) :

  • Enregistrements à grande échelle de l'activité neuronale dans le cortex temporal inférieur (IT) de macaques.
  • Paradigme : Les animaux observent des images d'objets naturels placés à différentes positions. Une phase d'adaptation (grilles mouvantes vers la droite ou la gauche pendant 30s) précède la présentation de l'image test (100 ms).
  • Analyse : Des décodeurs linéaires sont entraînés sur l'activité IT (70-170 ms après l'apparition de l'image) pour prédire la position de l'objet. Ces décodeurs sont ensuite appliqués aux réponses post-adaptation sans réentraînement.

• Psychophysique humaine :

  • Des participants humains effectuent la même tâche de localisation d'objets après une adaptation au mouvement.
  • Cela fournit une référence comportementale ("vérité terrain" perceptuelle) pour comparer les biais neuronaux.

• Modélisation par Réseaux de Neurones Artificiels (ANN) :

  • Test de plusieurs architectures d'état de l'art (Feedforward : VGG-16, ResNet-18, ViT ; Dynamiques : SlowFast, ConvRNN).
  • Expérience "Neuralisation" : Application de transformations linéaires dérivées empiriquement des données IT (mapping entre conditions non-adaptées et adaptées) sur les caractéristiques des ANN pour voir si cela suffit à induire des biais.
  • Simulation d'adaptation intrinsèque : Implémentation de fonctions de décroissance exponentielle (suppression par répétition) dans les unités des ANN pour simuler l'adaptation biologique.
  • Tests temporels : Utilisation de modèles vidéo (SlowFast, ConvRNN) exposés à des séquences d'adaptation suivies d'images statiques.

3. Résultats Clés

A. Alignement Perceptuel dans le Cortex IT

• Décodage de base : La position des objets peut être décodée avec précision à partir de l'activité IT, confirmant les travaux antérieurs.
• Effet de l'adaptation : Après une adaptation au mouvement (ex: vers la droite), les décodeurs entraînés sur l'activité pré-adaptation prédisent systématiquement une position décalée vers la gauche pour les images post-adaptation.
• Corrélation comportementale : Ce décalage neuronal (biais directionnel opposé au mouvement d'adaptation) correspond qualitativement et quantitativement aux biais rapportés par les humains.
• Géométrie de représentation : L'analyse par Centered Kernel Alignment (CKA) montre que l'adaptation modifie la géométrie de l'espace de représentation de l'IT, et non seulement l'amplitude des réponses.

B. Échec des Réseaux de Neurones Artificiels (ANN)

• Modèles Feedforward standards : Les modèles statiques (VGG, ResNet) ne montrent aucun décalage de position après l'adaptation, car leur entrée pixelique n'a pas changé. Ils sont insensibles au contexte d'adaptation.
• Neuralisation : Lorsque l'on applique artificiellement les transformations linéaires dérivées de l'IT aux caractéristiques des ANN, ces derniers reproduisent les biais de position. Cela prouve que l'espace de caractéristiques des ANN peut contenir ces informations, mais les mécanismes dynamiques pour les générer intrinsèquement font défaut.
• Dynamiques intrinsèques insuffisantes : L'ajout de fonctions de décroissance exponentielle (suppression de réponse) dans les ANN reproduit la baisse d'activité observée en neurophysiologie, mais échoue à générer les biais directionnels de position.
• Modèles temporels (SlowFast, ConvRNN) : Même les architectures conçues pour le traitement vidéo, avec des convolutions temporelles et des boucles de rétroaction, ne parviennent pas à reproduire les biais de position induits par l'adaptation.

4. Contributions Principales

1. Preuve d'un codage spatial perceptuel dans l'IT : L'étude démontre que le cortex IT ne se contente pas de coder l'identité ou la position rétinotopique, mais intègre l'histoire sensorielle (adaptation) pour encoder la position dans un cadre de référence aligné sur la perception.
2. Mécanisme de distorsion géométrique : Il est montré que l'adaptation ne se limite pas à une réduction globale du taux de décharge (suppression), mais réorganise la géométrie de l'espace de représentation populationnel de manière directionnelle.
3. Écart fondamental entre Biologie et IA : L'article identifie un manque critique dans les modèles de vision actuels : l'absence de mécanismes dynamiques capables de transformer l'histoire sensorielle en biais perceptuels spatiaux. Les architectures actuelles traitent les images de manière trop indépendante de leur contexte temporel.
4. Validation par "Neuralisation" : La démonstration que l'application de transformations empiriques sur des ANN suffit à reproduire les effets biologiques suggère que le problème n'est pas la capacité de représentation, mais l'architecture dynamique.

5. Signification et Implications

• Pour les neurosciences : Ces résultats remettent en question la ségrégation stricte des flux "quoi" et "où". L'IT apparaît comme un lieu d'intégration où l'information spatiale est dynamiquement ajustée pour correspondre à l'expérience perceptuelle, probablement via des interactions avec les zones sensibles au mouvement (MT/V4) ou des boucles de rétroaction.
• Pour l'Intelligence Artificielle : Les modèles de vision actuels, bien que performants pour la reconnaissance d'objets statiques, manquent de robustesse perceptuelle dans des environnements dynamiques. Pour atteindre une intelligence visuelle humaine, les futurs modèles devront intégrer :
  • Des mécanismes d'adaptation non uniformes (reweighting sélectif).
  • Un couplage explicite entre les canaux de forme et de mouvement.
  • Des objectifs d'apprentissage qui favorisent l'alignement perceptuel plutôt que la simple prédiction de catégories.
• Conclusion : L'adaptation motrice induit une restructuration des représentations neurales dans l'IT qui est essentielle pour la perception spatiale. Les systèmes artificiels actuels échouent à capturer cette dynamique, révélant une lacune fondamentale dans notre compréhension et notre modélisation de la vision biologique.