Embodied reinforcement learning in the primate cortico-basal ganglia system
En enregistrant l'activité neuronale à travers le système cortico-striatal du macaque, cette étude démontre que les représentations de la valeur sont spécifiques au système moteur plutôt qu'invariantes, remettant ainsi en question les explications biologiques existantes de l'apprentissage par renforcement et soutenant des cadres incarnés où le comportement est ancré dans la structure physique d'un agent.
Article original placé dans le domaine public sous CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Le système à deux voies du cerveau : pourquoi vos mains et vos yeux apprennent différemment
Imaginez votre cerveau comme une console de jeux vidéo super intelligente essayant de comprendre quels boutons vous procurent le plus de points. Pendant des décennies, les scientifiques ont cru que ce « système de points » fonctionnait comme une monnaie unique et universelle. Ils pensaient que peu importe la façon dont vous jouiez au jeu — que vous utilisiez un joystick, un clavier ou une commande vocale — le cerveau calculait la valeur d'une récompense en un lieu centralisé, puis envoyait simplement ce même signal de « bon travail ! » au groupe musculaire spécifique nécessaire pour agir. Cette idée, connue sous le nom d'apprentissage par renforcement, suggérait que le calculateur de récompense du cerveau était complètement séparé des parties du corps qui effectuent le mouvement. C'était une théorie élégante et ordonnée : un cerveau, une valeur, de nombreuses façons de bouger.
Mais et si le cerveau ne fonctionnait pas comme un bureau de change à monnaie unique ? Et si, au contraire, la façon dont vous apprenez était profondément liée à la façon dont vous bougez ? C'est le cœur de la « cognition incarnée », un concept suggérant que nos pensées et notre apprentissage sont ancrés dans nos corps physiques, et non flottent au-dessus d'eux dans un nuage abstrait. Si cela est vrai, alors apprendre à saisir un biscuit avec la main pourrait sembler et paraître totalement différent dans votre cerveau de l'apprentissage de regarder un biscuit avec vos yeux, même si le biscuit est le même. Comprendre cela est crucial car cela change notre vision de tout, de la façon dont les animaux survivent dans la nature à la manière dont nous pourrions construire des robots plus intelligents ou aider les personnes à se remettre de lésions cérébrales. Si le cerveau traite différentes parties du corps comme des canaux d'apprentissage distincts, cela signifie que nos esprits sont bien plus physiques et moins « abstraits » que nous ne le pensions autrefois.
La grande expérience du singe : Yeux contre Mains
Dans cette étude, les chercheurs Franco Giarrocco et Bruno Averbeck ont décidé de tester cette idée en transformant deux macaques en super-apprenants. Ils ont mis en place un jeu où les singes devaient choisir entre deux images pour gagner une récompense de jus de fruit. Parfois, les singes devaient faire leur choix en regardant la bonne image (un saccade, ou mouvement oculaire), et d'autres fois, ils devaient tendre la main pour toucher la bonne image (un reach, ou mouvement de bras). Le piège ? Les singes devaient apprendre quelle image était la « bonne » (80 % de chances d'avoir du jus) et laquelle était la « mauvaise » (20 % de chances) simplement par essais et erreurs.
Pendant que les singes jouaient à ce jeu, les scientifiques ont enregistré l'activité de 4 843 neurones à travers huit régions cérébrales différentes. Ils ont examiné tout, de l'amygdale (souvent liée aux émotions) au cortex préfrontal (le PDG du cerveau) en passant par les ganglions de la base (le centre d'action du cerveau). Ils voulaient voir si le cerveau utilisait le même « langage neural » pour parler de la valeur d'une récompense, que le singe utilise ses yeux ou ses mains.
La grande découverte : Deux langages différents
Les résultats ont été un choc pour l'ancienne théorie. Les scientifiques ont découvert que le cerveau n'utilisait pas un langage universel unique. Au lieu de cela, il parlait deux dialectes complètement différents selon la partie du corps qui effectuait le travail.
Imaginez les neurones du cerveau comme un orchestre massif. Si la théorie de la « valeur universelle » était vraie, l'orchestre jouerait la même mélodie que le singe utilise ses yeux ou ses mains, peut-être juste un peu plus fort ou plus doucement. Mais ce que les chercheurs ont trouvé, c'est plutôt un orchestre jouant deux chansons entièrement différentes en même temps. Quand le singe utilisait ses yeux, les neurones s'activaient selon un schéma spécifique pour dire : « Cette image vaut beaucoup ! ». Quand le singe utilisait sa main, un autre ensemble de neurones s'activait selon un autre schéma pour dire exactement la même chose.
En utilisant un outil mathématique appelé « géométrie de population », les chercheurs ont mesuré l'« angle » entre ces deux schémas neuraux. Ils ont découvert que les schémas étaient presque à angle droit l'un de l'autre — comme un « T ». En termes mathématiques, cela signifie qu'ils sont orthogonaux, ou géométriquement indépendants. L'information sur la valeur lors de l'utilisation des yeux était si différente de l'information lors de l'utilisation des mains que si vous essayiez de lire le signal « œil » avec le décodeur « main », vous seriez très confus. L'information sur la valeur était essentiellement perdue dans la traduction.
Cette séparation se produisait partout dans le cerveau, même dans les parties profondes et émotionnelles comme le striatum ventral et l'amygdale, que les scientifiques considéraient auparavant comme les « centres de valeur universelle ». Le seul endroit où le cerveau conservait un peu de langage partagé était dans le cortex préfrontal ventrolatéral (vlPFC), une région connue pour gérer les règles abstraites. Mais même là, la séparation était forte.
Pourquoi c'est important : Le corps façonne l'esprit
L'étude suggère que le cerveau est « incarné ». Il ne se contente pas de calculer une récompense puis de dire au corps quoi faire ; la façon dont le corps bouge façonne réellement la manière dont la récompense est apprise et stockée. Les chercheurs ont découvert que les singes apprenaient en fait mieux lorsqu'ils utilisaient leurs mains (reaches) que lorsqu'ils utilisaient leurs yeux (saccades), apprenant plus vite et faisant de meilleurs choix. Cela suggère que nos différentes parties du corps pourraient avoir évolué pour gérer différents types de tâches d'apprentissage.
De plus, les chercheurs ont écarté l'idée que ces différences étaient simplement dues au fait que les singes étaient meilleurs dans une tâche que dans l'autre. Même lorsqu'ils ne regardaient que les sessions où les singes performaient de manière égale avec les yeux et les mains, le cerveau utilisait toujours deux langages distincts. Cela prouve que la séparation n'est pas une erreur ou un effet secondaire d'une mauvaise exécution d'une tâche ; c'est une caractéristique fondamentale de la façon dont le cerveau est câblé.
Ainsi, la prochaine fois que vous apprendrez quelque chose de nouveau, rappelez-vous : votre cerveau pourrait traiter vos mains et vos yeux comme deux étudiants différents dans la même classe, chacun ayant son propre cahier et sa propre façon de comprendre la leçon. Le cerveau n'est pas un simple calculateur abstrait ; c'est une machine physique où la façon dont vous bougez fait partie de la façon dont vous pensez.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.