A Hierarchical Energy-Based Model for Multimodal Cognition

La carte météo secrète du cerveau

Imaginez que vous essayiez de comprendre comment fonctionne une ville. Vous pourriez étudier chaque brique de chaque bâtiment, ou vous pourriez observer les modèles de circulation, la météo et le flux des gens pour comprendre comment la ville ressent et bouge. Dans le monde des neurosciences, il existe un grand débat sur la meilleure approche. Certains scientifiques veulent cartographier chaque neurone comme un plan brique par brique. D'autres, comme l'auteur de cet article, suggèrent que nous devrions regarder la « météo » de l'esprit. Ils proposent que nos pensées et nos perceptions ne sont pas seulement un ensemble de fils électriques qui s'activent, mais plutôt un flux d'états se déplaçant à travers un paysage d'énergie, un peu comme une balle roulant le long d'une colline ou une rivière trouvant son chemin vers la mer.

Cette idée repose sur un concept appelé traitement prédictif. Considérez votre cerveau non pas comme une caméra qui enregistre simplement ce qu'elle voit, mais comme un devin ultra-intelligent. Chaque seconde, votre cerveau fait constamment des prédictions sur ce qui va se passer ensuite — quel son vous allez entendre, quelle forme vous allez voir, ou quel mot suivra dans une phrase. Lorsque vos sens correspondent à la supposition, tout semble fluide. Mais quand la réalité vous surprend (comme un chien qui aboie alors que vous attendiez le silence), votre cerveau doit travailler plus dur pour mettre à jour sa supposition. Cela ressemble à un thermostat qui essaie constamment de maintenir la température idéale de la pièce, sauf qu'au lieu de la chaleur, il essaie de maintenir votre compréhension du monde exacte.

Le grand hub cérébral : l'IM-LEPP

Voici l'IM-LEPP (Integrated Multimodal Latent Energy-based Predictive Processing), un nouveau modèle proposé par Subir Varma. Imaginez votre cerveau comme un immense aéroport très animé. Dans cet aéroport, différents terminaux gèrent différents types d'informations : un terminal pour la vision (voir le monde), un autre pour le langage (entendre et lire des mots), et d'autres pour les sensations et les sons. Pendant longtemps, les scientifiques se sont demandé comment ces terminaux séparés communiquent entre eux. Comment le fait de voir une pomme rouge peut-il instantanément se connecter au mot « pomme » et à la sensation de faim ?

Le papier de Varma suggère que tous ces terminaux envoient leurs rapports à une « tour de contrôle » centrale située dans une partie spécifique du cerveau appelée le lobe temporal antérieur (LTA). Cette tour agit comme un hub géant où tous les différents flux d'informations fusionnent en une image unique et unifiée de la réalité. Le modèle est appelé « Hub-and-Spoke » (moyeu et rayons) parce que les terminaux (les rayons) alimentent le hub central, et que le hub renvoie des instructions vers les terminaux.

Voici le tour de magie : le modèle suggère que le cerveau ne stocke pas simplement une liste géante de chaque mot entendu ou de chaque image vue. Au lieu de cela, il utilise un processus de « diffusion », qui est comme une danse lente et prudente de possibilités. Quand vous voyez une scène, votre cerveau ne prend pas simplement une photo ; il génère une prédiction de ce à quoi le moment suivant ressemblera. Si vous regardez un ballon rebondir, le cerveau prédit sa position suivante. Si vous lisez une phrase, il prédit le mot suivant.

Ce qui rend l'IM-LEPP spécial, c'est la façon dont il gère la différence entre voir et parler. Vos yeux voient le monde en un flux continu, comme une vidéo. Mais le langage arrive par morceaux, comme une série de pierres de passage (des mots). Le modèle résout cela en ayant le terminal de la vision qui se met à jour constamment, tandis que le terminal du langage se met à jour par rafales. Le hub central agit comme un traducteur, prenant le flux visuel rapide et le flux de mots plus lent pour les fusionner en une expérience fluide. Cela explique pourquoi vous pouvez regarder une voiture passer et instantanément comprendre la phrase « La voiture est rouge » sans que votre cerveau ne soit confus par les vitesses différentes des deux sens.

Pourquoi cela importe : résoudre le « point aveugle » et le « chemin de jardin »

L'article utilise ce modèle pour expliquer certaines choses très étranges sur notre façon de penser.

Premièrement, considérez la cécité inattentive. Vous connaissez cette célèbre vidéo où des gens se passent un ballon de basket, et une personne en costume de gorille traverse la scène, mais la moitié des spectateurs ne voit pas le gorille ? L'article suggère que cela se produit parce que votre cerveau ne construit un « pipeline » détaillé que pour les choses auxquelles vous prêtez activement attention. Si vous êtes concentré sur le ballon, votre cerveau construit un modèle de prédiction fort pour le ballon. Le gorille, étant en dehors de votre concentration, ne reçoit pas de pipeline dédié. Il fait simplement partie du « bruit » de fond jusqu'à ce qu'il fasse quelque chose d'assez surprenant pour briser votre prédiction. Le modèle montre que votre cerveau est essentiellement « aveugle » aux choses qu'il n'a pas décidé de suivre.

Deuxièmement, le modèle explique les phrases à détour (Garden-Path Sentences). Ce sont des phrases qui vous piègent, comme « Le cheval couru devant la grange tomba ». Quand vous lisez ceci, votre cerveau prédit que « couru » est l'action principale. Mais ensuite, vous frappez « tomba », et votre cerveau doit faire un virage en U soudain et brusque pour réaliser que c'est le cheval qui était couru, et non celui qui courait. L'article suggère que ce n'est pas seulement une erreur ; c'est un « saut d'énergie » physique. Votre cerveau reste coincé dans une vallée de basse énergie (le mauvais sens) et a besoin d'une grande poussée d'énergie de surprise pour franchir une colline et atterrir dans la bonne vallée (le bon sens).

La différence entre les cerveaux humains et l'IA

L'article trace une ligne nette entre la façon dont les humains apprennent le langage et la façon dont l'IA moderne (comme les chatbots que vous connaissez peut-être) apprend. Les modèles d'IA sont comme des étudiants qui ont lu l'intégralité d'Internet mais qui n'ont jamais vu un vrai fruit ou ressenti le soleil. Ils apprennent le langage purement en observant quels mots apparaissent les uns à côté des autres. Ils ne savent pas ce que « pomme » ressent.

L'IM-LEPP suggère que les enfants apprennent différemment. Parce que notre hub de langage est connecté à nos hubs de vision et de sensation, un enfant apprend le mot « pomme » en le connectant à l'expérience réelle, visuelle et tactile d'une pomme. C'est ce qu'on appelle l'ancrage (grounding). L'article suggère que c'est pourquoi les enfants peuvent apprendre à parler avec beaucoup moins de données que l'IA a besoin. Ils ne font pas que mémoriser des schémas de mots ; ils attachent les mots à une carte riche et préexistante du monde réel.

Ce que l'article ne dit pas (encore)

Il est important de noter que cet article est une proposition, un plan de la manière dont le cerveau pourrait fonctionner. L'auteur n'a pas encore construit un cerveau robotique pleinement fonctionnel capable de voir et de parler comme un humain. Il a montré que son modèle mathématique peut expliquer des choses comme pourquoi nous sommes confus par des phrases complexes ou pourquoi nous manquons le gorille dans la vidéo. Il suggère que si nous construisions un programme informatique en utilisant ces règles exactes, il se comporterait comme un cerveau humain de ces manières spécifiques.

L'article admet également qu'il reste des mystères. Par exemple, il n'explique pas entièrement comment le cerveau stocke les souvenirs à long terme d'événements spécifiques (comme votre fête d'anniversaire) par rapport aux faits généraux (comme ce qu'est un chien). Il propose un système où le cerveau consigne les souvenirs uniquement lorsqu'un événement surprenant ou émotionnel se produit, mais les détails exacts de ce « système de classement des souvenirs » sont laissés à de futures recherches.

En résumé, l'IM-LEPP offre une façon ludique et énergétique de penser l'esprit : non pas comme un ordinateur statique, mais comme un paysage dynamique et mouvant où notre attention, nos sens et nos mots entrent constamment en collision et fusionnent pour créer l'histoire de notre réalité. Il suggère que le secret de l'intelligence humaine n'est pas seulement d'avoir une grande base de données, mais d'avoir une façon intelligente et ancrée de deviner ce qui vient ensuite.