From Large Language Models to Multimodal Intelligence: Bridging AI and Cognitive Science

La Grande Mise à Niveau du Cerveau : Du Texte Seul au Corps Entier de l'IA

Imaginez que vous essayiez d'apprendre à un robot comment comprendre le monde. Pendant longtemps, les scientifiques ont tenté de le faire en nourrissant le robot avec une bibliothèque massive de livres, d'articles et de sites web. Cette approche a créé des « Modèles de Langage de Grande Taille » (LLM), qui sont comme des perroquets super intelligents ayant lu presque tout ce qui a jamais été écrit. Ils sont incroyables pour prédire le mot suivant dans une phrase, résoudre des problèmes mathématiques et même écrire de la poésie. Mais il y a un piège : ils ne connaissent le monde qu'à travers les mots. Ils n'ont jamais ressenti la chaleur du soleil, la rugosité du papier de verre ou le poids d'une boîte lourde.

Cela nous amène à une grande question dans le monde de l'Intelligence Artificielle (IA) et des Sciences Cognitives (l'étude du fonctionnement des esprits) : lire est-il suffisant pour être vraiment intelligent ? Ou une machine a-t-elle besoin d'un corps pour véritablement comprendre ? L'article que vous allez lire explore l'idée que, bien que le langage soit un outil puissant, il pourrait manquer certains ingrédients cruciaux pour une intelligence véritable. Il suggère que pour construire une IA capable d'apprendre, de s'adapter et d'interagir avec nous comme un humain, nous devons aller au-delà du simple texte et donner à ces machines des sens « multimodaux » — comme la vue, l'ouïe et le toucher — afin qu'elles puissent expérimenter le monde directement, et non pas seulement en le lisant.

---

Passer de la lecture du menu à la dégustation du plat

Considérez un Modèle de Langage de Grande Taille (LLM) comme un chef qui aurait mémorisé tous les livres de cuisine de l'univers mais qui n'aurait jamais mis les pieds dans une cuisine. Ce chef peut décrire une fraise avec une précision parfaite, en énumérant sa couleur, son goût et sa texture d'après des millions de descriptions qu'il a lues. Il peut même écrire un poème sur la joie d'en manger une. Mais si vous lui tendiez une vraie fraise, il ne saurait pas comment la tenir, avec quelle force la presser, ou ce qu'elle fait réellement quand elle touche sa peau. Il connaît les mots de l'expérience, mais il n'a pas vécu l' expérience elle-même.

Cet article, écrit par les chercheurs Yanru Jiang et Rick Dale, pose une question simple mais profonde : Une machine peut-elle être véritablement intelligente si elle ne connaît le monde qu'à travers le langage ?

Les auteurs soutiennent que, bien que ces « chefs » uniquement textuels soient incroyables dans ce qu'ils font, ils se heurtent à un mur. Ils sont excellents pour représenter l'information et résoudre des problèmes qui peuvent être écrits, mais ils ont du mal avec les choses qui nécessitent d'« apprendre à apprendre » ou de s'adapter à de nouvelles situations étranges sans manuel. L'article suggère que pour franchir ce mur, l'IA doit évoluer d'un système « uniquement textuel » vers un système « multimodal » — un système qui combine le langage avec la vue, l'ouïe et le mouvement, tout comme le fait un humain.

Les deux façons de penser : La Bibliothèque vs Le Terrain de Jeu

Pour comprendre pourquoi cela importe, l'article distingue deux manières différentes de concevoir le fonctionnement des esprits :

1. La Cognition Symbolique (La Bibliothèque) : Cette vision affirme que le langage suffit. Elle soutient que les mots sont des symboles qui se rapportent parfaitement au monde réel. Si vous connaissez le mot « rose » et tous les autres mots auxquels il est connecté (comme « rouge », « épineux », « romance »), vous savez essentiellement ce qu'est une rose. L'article reconnaît que l'IA moderne est devenue très douée en la matière. Elle peut trouver des motifs dans le langage qui ressemblent beaucoup au fonctionnement de nos cerveaux. Par exemple, l'IA peut comprendre que « New York » est un lieu et « lundi » est un moment simplement en observant comment les mots sont utilisés ensemble, sans jamais avoir vu de carte ou de calendrier.
2. La Cognition Incarnée (Le Terrain de Jeu) : Cette vision affirme que le langage ne suffit pas. Elle soutient que pour vraiment comprendre un mot, il faut l'avoir vécu. Vous ne savez pas seulement ce que signifie « lourd » parce que vous en avez lu la définition ; vous le savez parce que vous avez soulevé une boîte lourde et senti vos muscles se tendre. L'article suggère que de nombreux concepts — comme savoir faire du vélo ou équilibrer un plateau de boissons — ne peuvent pas être pleinement capturés par les mots. Il faut les faire.

Les auteurs ne disent pas que l'approche de la « Bibliothèque » est inutile. En fait, ils admettent qu'elle est incroyablement puissante. Mais ils soutiennent qu'elle est incomplète. Tout comme on ne peut pas apprendre à faire du vélo en lisant un livre sur la physique, une IA ne peut pas apprendre à naviguer dans le monde réel simplement en lisant un livre à son sujet.

Pourquoi les mots seuls sont insuffisants

L'article souligne deux raisons principales pour lesquelles une IA uniquement textuelle sera toujours un peu limitée :

1. Le problème de l'« indicible »
Certaines choses sont difficiles à mettre en mots. Pensez à la sensation d'un type spécifique de musique, ou à la façon exacte dont la lumière frappe un verre d'eau. Les humains apprennent souvent ces choses par nos sens et notre corps, pas par les manuels. Si une IA n'a accès qu'au texte, elle passe à côté de ces concepts « non verbalisables ». C'est comme essayer de décrire le goût du chocolat à quelqu'un qui n'a jamais rien mangé de sucré ; peu importe le nombre de mots que vous utilisez, il ne comprendra pas tant qu'il n'aura pas goûté. L'article suggère que pour qu'une IA apprenne de nouvelles choses de manière rapide et flexible, elle doit expérimenter le monde directement, et non pas seulement lire à son sujet.

2. Le fossé « interpersonnel »
Imaginez que vous parliez à un ami qui regarde un beau coucher de soleil. Vous dites : « Regarde ça ! ». Votre ami sait exactement ce que vous voulez dire parce qu'il voit le même ciel que vous. Maintenant, imaginez parler à un robot qui ne peut lire que votre texte. Si vous dites : « Regarde ça », le robot n'a aucune idée de ce qu'est « ça ». Il n'a pas d'yeux pour voir le coucher de soleil, et il n'a pas de corps pour se retourner et regarder.

L'article soutient que la communication humaine est pleine de ces indices « non verbaux » — comme l'endroit où nous regardons, la vitesse à laquelle nous parlons ou notre langage corporel. Ces indices nous aident à nous comprendre instantanément. Une IA uniquement textuelle manque de tout cela. Elle pourrait vous donner une réponse très longue et détaillée alors que vous vouliez juste un « oui » ou un « non » rapide, car elle ne peut pas percevoir votre impatience ou votre humeur. Pour être un bon partenaire de conversation, une IA doit être « incarnée » — elle doit être capable de voir, d'entendre et de réagir à la situation en temps réel, tout comme nous le faisons.

La feuille de route vers une IA plus intelligente

Alors, comment construire cette IA « multimodale » ? L'article trace trois voies passionnantes pour l'avenir, comme une recette pour mettre à niveau nos cerveaux numériques :

1. Mélanger les ingrédients (Apprentissage de représentation multimodal)
Actuellement, de nombreux systèmes d'IA sont construits en prenant un modèle de langage et un modèle de vision (qui voit) et en les collant ensemble à la fin. Les auteurs suggèrent que nous devons faire mieux. Au lieu de simplement les coller, nous devrions les entraîner à apprendre ensemble dès le début. Imaginez enseigner à un enfant à parler et à voir en même temps, plutôt que de lui apprendre d'abord à lire un livre, puis de lui montrer des images plus tard. Cette « intégration précoce » pourrait aider l'IA à comprendre les connexions profondes entre ce qu'elle voit et ce qu'elle entend, menant à un système beaucoup plus intelligent et intuitif.

2. Le patron du cerveau (Modulation hiérarchique)
Nos cerveaux sont organisés en couches. Les couches inférieures gèrent des choses simples comme « c'est un point rouge », tandis que les couches supérieures gèrent des choses complexes comme « je dois attraper cette balle avant qu'elle ne touche le sol ». L'article suggère que l'IA a besoin d'un système de « patron » similaire. Ce « patron » (comme la fonction exécutive dans nos cerveaux) devrait être capable d'examiner les différents sens — vue, ouïe, toucher — et de décider lequel privilégier à un moment donné. C'est comme un chef d'orchestre, s'assurant que le violon et les tambours jouent parfaitement ensemble. Actuellement, la plupart des IA ont du mal avec cela ; elles se confondent souvent lorsqu'un trop grand nombre d'informations arrivent en même temps.

3. L'élan intérieur (Renforcement autonome)
Enfin, l'article pose la question : Qu'est-ce qui pousse une IA à vouloir apprendre ? Actuellement, nous devons généralement dire précisément à une IA quoi faire et lui donner une « récompense » (comme un point) lorsqu'elle réussit. Mais les humains n'ont pas besoin qu'un professeur leur dise d'explorer ; nous sommes naturellement curieux. Nous voulons savoir ce qui se passe si nous appuyons sur ce bouton ou si nous grimpons à cet arbre. Les auteurs suggèrent que les futures IA devraient posséder une « motivation intrinsèque » — une pulsion intégrée pour explorer et apprendre, similaire à la façon dont nos cerveaux utilisent l'énergie pour prédire ce qui va se passer ensuite. Cela permettrait à l'IA d'apprendre par elle-même, en découvrant de nouvelles choses sans avoir besoin qu'un humain lui donne une tâche spécifique à chaque fois.

La vue d'ensemble

L'article conclut que si les Modèles de Langage de Grande Taille sont une étape majeure, ils ne sont que le début. Ils sont comme un étudiant brillant qui a lu tous les livres de la bibliothèque mais qui n'est jamais sorti du bâtiment. Pour créer des machines véritablement intelligentes capables d'apprendre, de s'adapter et d'interagir avec nous de manière naturelle et humaine, nous devons leur donner des corps et des sens.

Nous devons passer d'une IA qui connaît simplement les mots à une IA qui expérimente le monde. En combinant le langage avec la vue, l'ouïe et le mouvement, et en donnant à ces machines la capacité d'explorer et d'apprendre par elles-mêmes, nous pouvons construire un avenir où l'IA n'est pas seulement un outil avec lequel nous parlons, mais un partenaire qui nous comprend véritablement. Il ne s'agit pas de remplacer la bibliothèque, mais d'ouvrir les portes et de laisser l'IA sortir.