Comparing Semantic Navigation in Humans and Large Language Models using Natural Language Processing
Cette étude révèle que la récupération de la mémoire sémantique humaine présente un mode de recherche plus variable et exploratoire que les modèles de langage actuels, comme en témoignent une entropie plus élevée, des pas sémantiques plus grands et une dispersion plus large dans les tâches de fluidité verbale qu'aucune configuration de réglage de la température ne pourrait pleinement répliquer.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez votre cerveau comme une immense bibliothèque animée où chaque livre est un mot ou un concept. Lorsque vous jouez à un jeu comme « Citez autant d'animaux que possible en une minute », vous ne vous contentez pas de retirer des livres d'une étagère au hasard ; vous êtes en train de naviguer dans la bibliothèque. Vous pourriez commencer dans l'allée des « Animaux de compagnie », saisir quelques livres (chat, chien, hamster), puis soudainement décider de faire un bond géant vers l'allée de l'« Océan » pour attraper un requin. C'est ainsi que votre cerveau explore.
Une équipe de chercheurs a décidé de voir si les chatbots d'IA ultra-intelligents que nous utilisons aujourd'hui (comme GPT-4o, Gemini et Claude) naviguent dans cette même bibliothèque de la même manière que les humains. Ils ont soumis 82 personnes réelles et trois modèles d'IA différents à l'épreuve, en leur demandant de lister des animaux. Pour que l'IA agisse davantage comme une personne, ils ont même demandé aux bots de prétendre être différents types de personnes (comme un chef cuisinier ou un pilote) avant de lister les animaux. Ils ont également ajusté un « bouton de l'aléatoire » (appelé température), le faisant passer de 0,0 (super robotique et prévisible) à 1,0 (super chaotique et sauvage).
Voici ce qu'ils ont découvert, et c'est un véritable coup de théâtre.
Le « Jungle Gym » humain contre la « Corde raide » de l'IA
Les chercheurs ont mesuré trois choses pour voir à quoi ressemblait la « marche » à travers la bibliothèque :
- Taille du pas : Quel saut avez-vous fait entre les mots ? (par exemple, sauter de « chat » à « requin » est un grand saut ; « chat » à « chien » est un petit saut).
- Facteur de surprise (Entropie) : À quel point vos pas étaient-ils imprévisibles ? Avez-vous changé d'allée de manière aléatoire, ou votre chemin était-il très régulier ?
- L'envie d'errance (Distance au centroïde) : À quelle distance vous êtes-vous éloigné du centre de la bibliothèque ? Êtes-vous resté sur le chemin principal, ou avez-vous exploré les coins poussiéreux et oubliés ?
La grande découverte :
Les humains étaient les explorateurs ultimes. Nos chemins étaient désordonnés, imprévisibles et pleins de bonds géants. Nous avons fait des pas plus grands entre les mots, notre chemin était plus imprévisible et nous nous sommes éloignés davantage du centre de la catégorie. Nous étions comme des enfants sur un terrain de jeux (jungle gym), se balançant d'une barre à l'autre, atterrissant parfois loin de là où nous avions commencé.
Les modèles d'IA, en revanche, étaient comme des funambules. Ils sont restés beaucoup plus près du centre de l'allée. Leurs pas étaient plus petits, leur chemin plus prévisible et ils ont rarement exploré les « bois profonds » de la bibliothèque. Même lorsque les chercheurs ont tourné le « bouton de l'aléatoire » au maximum (1,0) pour rendre l'IA plus sauvage, les bots n'ont toujours pas réussi à égaler le style humain. Ils étaient encore trop prudents et trop regroupés.
Le piège de la « Température »
Vous pourriez penser : « Si je pousse simplement le réglage de l'aléatoire de l'IA assez haut, elle agira exactement comme un humain ! » L'article suggère que ce n'est pas le cas.
Les chercheurs ont testé l'IA à huit réglages de température différents (0,0 ; 0,15 ; 0,3 ; 0,45 ; 0,6 ; 0,75 ; 0,9 et 1,0).
- À certains réglages spécifiques, l'IA a réellement ressemblé à un humain sur un seul test. Par exemple, à une température de 0,75, le modèle Claude a fait des pas qui étaient à peu près de la même taille que ceux des humains.
- Mais voici le hic : aucun réglage unique ne permettait à l'IA de paraître humaine de toutes les manières à la fois. Vous pouviez obtenir la bonne taille de pas, mais alors l'IA devenait trop prévisible. Ou vous pouviez la faire errer loin, mais alors elle cessait de faire de grands bonds.
C'est comme essayer de régler une radio sur une station spécifique. Vous pouvez régler le volume correctement, ou la clarté, mais vous ne pouvez pas faire sortir la voix humaine parfaite de l'enceinte, peu importe la façon dont vous tournez le cadran. Le « cerveau » de l'IA est construit différemment, il ne peut donc pas reproduire la danse complexe, désordonnée et surprenante de la mémoire humaine.
Ce que cela signifie pour les « Robots-Humains »
Pendant un certain temps, les scientifiques espéraient que nous pourrions simplement utiliser l'IA comme « participants de silicium » — essentiellement, des humains robots — pour tester des théories de psychologie. Nous pourrions poser une question à l'IA, voir ce qu'elle dit, et supposer qu'elle réfléchit comme une personne.
Cet article conteste cette idée. Il suggère que, bien que l'IA soit excellente pour paraître fluide et intelligente, elle ne cherche pas l'information de la même manière que nous. L'IA est entraînée pour prédire le mot suivant basé sur des statistiques, comme un devineur super rapide qui choisit toujours l'option la plus probable. Les humains, cependant, utilisent un mélange de stratégie et de surprise. Nous avons une « mémoire de travail » qui nous aide à nous souvenir de ce que nous avons déjà dit et à décider quand sauter vers une idée totalement nouvelle. L'IA, même lorsqu'on lui demande de prétendre être une personne, semble manquer de ce type spécifique de « gymnastique mentale ».
L'essentiel
L'étude n'a pas prouvé que l'IA est « cassée » ou qu'elle ne pourra jamais être utile. Au contraire, elle suggère que les modèles d'IA actuels ont un biais systématique à rester en sécurité et près de chez eux. Ils sont excellents pour l'exploration locale (rester dans l'allée des « Animaux de compagnie ») mais peinent pour l'exploration globale (sauter vers l'allée de l'« Océan ») que font naturellement les humains.
Ainsi, bien que nous puissions ajuster l'IA pour qu'elle agisse un peu comme un humain dans des moments spécifiques, nous n'avons pas trouvé de moyen de faire imiter pleinement la façon complexe, errante et surprenante dont nos cerveaux naviguent dans le monde des mots. L'IA est un outil puissant, mais elle n'est pas encore une copie parfaite de l'esprit humain.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.