Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models
Cet article adopte une perspective développementale pour démontrer que, bien que les grands modèles de langage acquièrent finalement des performances dans les tâches de croyance fausse et des capacités de modélisation de situation grâce au passage à l'échelle et au post-entraînement, ces capacités de mentalisation demeurent fragiles et sensibles aux indices linguistiques tels que les verbes non factifs, soulignant ainsi la nécessité de tests de résistance et d'analyses développementales pour une évaluation robuste.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous regardez un tour de magie où un magicien déplace une balle d'une boîte vers un chapeau. Un enfant qui regarde le tour sait que la balle est dans le chapeau. Mais si une autre personne, qui n'a pas vu le mouvement, est interrogée sur l'endroit où se trouve la balle, elle pensera toujours qu'elle est dans la boîte.
C'est le cœur de ce que les psychologues appellent la « mentalisation » : comprendre que les autres personnes ont leurs propres pensées et croyances, qui peuvent être différentes de la réalité ou différentes des vôtres.
Cet article pose une question simple : Les modèles de langage IA (comme ceux avec lesquels vous discutez) comprennent-ils réellement ce tour, ou ne font-ils que deviner ?
Pour le découvrir, les chercheurs ne se sont pas contentés de regarder la réponse finale de l'IA. Au lieu de cela, ils ont observé l'IA « grandir », comme un enfant, de ses tout premiers jours d'entraînement jusqu'à sa version finale et perfectionnée. Ils ont utilisé une approche développementale, en suivant l'évolution des compétences de l'IA au fil du temps.
Voici l'histoire de ce qu'ils ont découvert, expliquée à travers des analogies de la vie quotidienne :
1. La recette de la réussite à « deux ingrédients »
Les chercheurs ont testé deux familles différentes de modèles d'IA : Olmo2 (qui avait lu une immense bibliothèque de livres) et Pythia (qui avait lu une bibliothèque beaucoup plus petite).
Ils ont découvert que pour devenir bon à ce « tour de magie » (la tâche de fausse croyance), une IA avait besoin de deux choses à la fois :
- Un gros cerveau : Il lui fallait un modèle de grande taille.
- Beaucoup de lecture : Elle devait avoir lu une quantité énorme de textes.
L'analogie : Pensez à la préparation d'un gâteau. Si vous avez un four géant (un grand modèle) mais pas de farine (pas assez de données d'entraînement), vous ne pouvez pas cuire de gâteau. Si vous avez beaucoup de farine mais un minuscule four à grille-pain (un petit modèle), vous ne pouvez pas non plus cuire de gâteau. Vous avez besoin à la fois du grand four et de la farine pour obtenir un résultat qui ressemble à une véritable compréhension.
2. Le « retardataire »
L'IA n'a pas appris cette compétence tôt. Même après avoir lu des millions de pages, l'IA ne faisait que deviner au hasard. Ce n'est que lors des toutes dernières étapes de l'entraînement — après avoir déjà appris la grammaire et les faits — qu'elle a commencé à réussir le « tour de magie ».
L'analogie : Imaginez un étudiant qui passe des années à mémoriser le dictionnaire et à apprendre à écrire des phrases parfaites. Ce n'est qu'après avoir maîtrisé tout cela qu'il commence enfin à comprendre pourquoi un personnage dans une histoire ment. La compétence de « comprendre les esprits » est arrivée très tard dans l'éducation de l'IA.
3. Une compréhension « fragile »
C'est ici que les choses se compliquent. La capacité de l'IA à comprendre les croyances était très fragile. C'était comme un château de cartes qui s'effondreait si on soufflait trop fort dessus.
Les chercheurs ont découvert que si l'on changeait un seul mot dans la question — en utilisant un mot comme « pense » (ex : « Dave pense que la balle est dans la boîte ») — l'IA se perdait, même si l'histoire était simple.
L'analogie : Imaginez un étudiant qui peut résoudre un problème de mathématiques parfaitement. Mais si vous écrivez le problème sur une feuille de papier avec une police de caractères légèrement différente, il oublie soudainement comment faire des maths. L'IA ne « réfléchissait » pas vraiment à l'esprit du personnage ; elle réagissait à des mots spécifiques comme « pense » comme s'il s'agissait de déclencheurs magiques.
4. Le « bâtisseur de scène » vs le « lecteur de pensée »
Les chercheurs ont également testé si l'IA pouvait construire un « Modèle de Situation ». C'est une façon sophistiquée de demander : L'IA peut-elle se souvenir des faits de base de l'histoire ? (ex : « Qui a déplacé la balle ? » ou « Où la balle a-t-elle fini ? »)
La découverte :
- L'IA est devenue très bonne pour se souvenir des faits (la scène) avant de devenir bonne pour comprendre les esprits (les croyances).
- Cependant, la mémoire des faits de l'IA était aussi désordonnée. Lorsqu'on l'interrogeait sur la personne qui a réellement déplacé la balle (l'« antagoniste »), l'IA se confondait souvent. Elle mélangeait qui avait fait quoi, même si elle venait de réussir à deviner où se trouvait la balle lors du test de « lecture de pensée ».
L'analogie : Imaginez un détective qui peut vous dire exactement où une voiture volée était garée (les faits) et peut deviner ce que le voleur pensait de la voiture (l'esprit). Mais si vous demandez à ce détective : « Qui a réellement volé la voiture ? », il s'embrouille et désigne la mauvaise personne. La carte interne de l'histoire de l'IA était partiellement brisée ; elle pouvait voir les pièces, mais elle ne pouvait pas toujours les assembler en un tout cohérent.
Le mot de la fin
L'article conclut que, bien que les modèles d'IA de grande taille et bien entraînés puissent éventuellement réussir des tests qui donnent l'impression qu'ils comprennent les croyances humaines, cette capacité est :
- Tardive : Il faut beaucoup d'entraînement pour la développer.
- Fragile : Elle se brise facilement avec de légers changements de formulation.
- Incohérente : La compréhension par l'IA des faits de l'histoire et des esprits des personnages ne correspond pas toujours parfaitement.
Ce qu'il faut retenir : L'IA ne « pense » pas nécessairement aux esprits des autres comme le font les humains. Elle semble plutôt utiliser une collection de modèles et de raccourcis appris. C'est comme un perroquet qui a appris à dire les bons mots au bon moment, mais qui ne saisit peut-être pas pleinement la profondeur du sens derrière eux. Les chercheurs suggèrent que pour savoir si une IA est réellement « intelligente », nous devons observer comment elle apprend au fil du temps et tester ses limites par des mises en situation de stress, plutôt que de simplement regarder son score final.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.