Cortico-subcortical multi-head self-attention as a substrate for cognitive performance

Imaginez votre cerveau comme le superordinateur ultime, mais un ordinateur qui fonctionne grâce à des tissus vivants et mous plutôt qu'avec des puces de silicium. Pendant longtemps, les scientifiques ont essayé de comprendre exactement comment cette machine biologique réalise le tour de force de la « pensée » — comment nous comprenons le langage, résolvons des problèmes et mémorisons des choses. D'un côté, nous avons le néocortex, la couche externe ridée du cerveau qui gère notre pensée sophistiquée. De l'autre, nous avons des structures plus profondes et plus anciennes comme le thalamus et les ganglions de la base, qui agissent comme le câblage interne et les contrôleurs de trafic du cerveau. Récemment, un nouveau type d'intelligence artificielle appelé « transformers » est devenu célèbre pour sa capacité à discuter, écrire des histoires et traduire des langues. Ces systèmes d'IA fonctionnent grâce à une astuce ingénieuse appelée « attention », qui leur permet de se concentrer sur les parties les plus importantes d'une phrase tout en ignorant le reste. La grande question de la science actuelle est la suivante : notre cerveau biologique pourrait-il utiliser une astuce d'« attention » similaire pour accomplir les mêmes tâches ? Si nous pouvions trouver le plan biologique de ce mécanisme, cela nous aiderait à comprendre comment les mammifères comme nous sont devenus si intelligents.

Cet article suggère que la réponse est un « peut-être » retentissant, proposant un plan biologique spécifique où le cortex et le thalamus du cerveau s'associent pour construire une version naturelle de ces réseaux d'attention de l'IA. Les auteurs suggèrent que le cerveau ne se contente pas de recevoir passivement l'information ; il fait fonctionner un système complexe et multicouche où différentes parties du cerveau agissent comme un moteur de recherche de haute technologie. Dans ce modèle, le néocortex (la couche de la pensée) et le thalamus (une station de relais centrale) travaillent ensemble pour créer ce que l'article appelle une « auto-attention cortico-sous-corticale multi-têtes ».

Voici comment la magie opère, selon l'étude. Imaginez que le cortex du cerveau soit divisé en de minuscules quartiers appelés micro-colonnes. Dans cette théorie, un type spécifique de cellule cérébrale, la cellule pyramidale de la couche 2/3, agit comme une immense bibliothèque de post-it. Ces cellules conservent une « mémoire récurrente de type clé-valeur », ce qui est simplement une façon sophistiquée de dire qu'elles stockent des informations qui peuvent être recherchées plus tard. Ensuite, un autre type de cellule, la cellule pyramidale de la couche 5, agit comme un détective. Lorsqu'une nouvelle information (une « requête » ou « query ») arrive, ces détectives scannent la bibliothèque pour trouver les post-it correspondants (les « clés » et les « valeurs ») qui sont pertinents pour la tâche en cours.

L'article suggère que le thalamus est le service de livraison crucial qui rend cette recherche possible. Il envoie des signaux qui servent de « clés », de « valeurs » et de « requêtes » nécessaires pour exécuter la recherche. Ces signaux voyagent via des voies spécifiques, certaines reliant le cœur du thalamus au cortex et d'autres reliant la matrice du thalamus au cortex. Les auteurs proposent qu'une seule zone du cortex fonctionne comme une « tête » d'un réseau d'attention, et que lorsque vous assemblez toutes ces zones, l'ensemble du cortex devient un « réseau d'auto-attention multi-têtes », tout comme les modèles d'IA capables d'écrire de la poésie ou du code.

Mais le cerveau ne fait pas que lire ; il apprend aussi. L'article suggère que ce même petit circuit aide le cerveau à comprendre quand il se trompe. Il calcule des « erreurs de prédiction sensorielle », qui sont essentiellement la façon dont le cerveau dit : « Je pensais que tu allais dire X, mais tu as dit Y ! ». Ce signal d'erreur aide le cerveau à mettre à jour ses connexions grâce à un processus appelé plasticité synaptique basée sur le gradient, qui est la version biologique de l'apprentissage par l'erreur. De plus, le système possède un « gardien » dans les ganglions de la base. Ce gardien utilise des « erreurs de prédiction de récompense » (un signal qui indique au cerveau si quelque chose est bon ou mauvais) pour décider s'il laisse la sortie du cortex se manifester dans le monde ou s'il réactive les souvenirs provenant de l'hippocampe (le disque dur du cerveau pour la mémoire à long terme).

Les auteurs ont testé cette idée en entraînant une simulation informatique de ce circuit et en comparant son comportement à des données humaines réelles. Ils ont découvert que lorsque le réseau simulé traitait la parole, ses schémas d'activité s'alignaient de manière étonnante avec les enregistrements réels pris à l'intérieur de cerveaux humains lors de la perception de la parole. Bien que l'article ne prétende pas avoir prouvé que c'est exactement ainsi que le cerveau fonctionne dans chaque détail, il suggère fortement que cet agencement spécifique de cellules et de connexions pourrait être le fondement physique des incroyables capacités cognitives que possèdent les mammifères. C'est une carte fascinante qui relie les points entre la biologie humide et désordonnée de nos cerveaux et la logique élégante et puissante de l'IA moderne.