Reasoning Models of Artificial Intelligence Think Like Humans Do
Cet article soutient que tant le comportement humain que les capacités de raisonnement des modèles de langage de grande taille modernes s'expliquent mieux par une théorie de la médiation, dans laquelle des processus de médiation par étapes et renforcés (tels que la chaîne de pensée) sous-tendent ce qui semble être une intelligence dérivée ou émergente.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Pendant des décennies, les scientifiques ont débattu de la manière dont l'esprit résout des problèmes qui n'ont jamais été explicitement enseignés. Lorsqu'un enfant apprend à identifier une voiture à partir d'une image, ou lorsqu'un étudiant comprend un nouveau problème mathématique sans qu'on lui ait montré les étapes exactes, on a souvent l'impression qu'une connexion « dérivée » et cachée est soudainement apparue dans le cerveau. Certaines théories suggèrent que ces connexions émergent spontanément, contournant l'instruction directe. Cependant, une perspective différente soutient que rien ne s'émerge véritablement sans un historique de renforcement. Cette vision, connue sous le nom de théorie médiationnelle, propose que ce qui ressemble à une intuition soudaine est en réalité le résultat d'une série de petites étapes intermédiaires. Ces étapes — souvent des mots silencieux ou des images mentales — sont pratiquées et renforcées par leurs propres conséquences, même si l'enseignant ou le chercheur n'avait pas l'intention de les entraîner spécifiquement. La question est de savoir si l'esprit construit des ponts entre les idées par des habitudes invisibles et renforcées ou par un mystérieux saut de logique.
Cette question a récemment dépassé l'étude du comportement humain pour atteindre le cœur de l'intelligence artificielle. Une nouvelle perspective issue de chercheurs de la Claremont Graduate University, du Florida Institute of Technology et de la California State University Los Angeles suggère que les programmes informatiques les plus avancés prouvent désormais le même point que ce que les spécialistes du comportement ont longtemps soutenu. En examinant comment les modèles de langage de grande taille résolvent des tâches complexes, les auteurs montrent que ces machines ne sautent pas directement vers une réponse. Au lieu de cela, elles s'engagent dans un processus étape par étape qui reflète le comportement humain décrit par la théorie médiationnelle. Les chercheurs soutiennent que le « raisonnement » observé dans ces systèmes n'est pas de la magie ou une émergence soudaine d'intelligence, mais plutôt le résultat d'un entraînement qui renforce chaque étape intermédiaire d'une solution, tout comme un apprenant humain renforce ses propres pensées internes.
Le papier commence par revisiter l'idée de relations dérivées, qui sont des connexions entre des choses qui n'ont pas été directement liées à une personne. Dans les expériences traditionnelles, un enfant peut apprendre qu'une image de voiture correspond au mot « voiture », et plus tard, sans entraînement supplémentaire, il peut pointer correctement la voiture lorsqu'on lui demande de trouver la « voiture » parmi d'autres objets. Cela est souvent appelé équivalence de stimulus. Les auteurs contestent l'idée que ce lien soit non entraîné ou non renforcé. Ils proposent que lorsque l'enfant entend le mot « voiture », il répète silencieusement ou à voix haute le mot pour lui-même. Cet acte de répéter le mot est un comportement de médiation. Parce que l'enfant est en présence de la voiture, dire le mot « voiture » est renforcé par la correspondance entre ce qu'il entend et ce qu'il dit. Ce renforcement se produit directement, même si le chercheur n'a pas explicitement prévu de récompenser l'enfant pour avoir prononcé le mot. La connexion n'est pas un mystère ; elle est le résultat direct du propre comportement de l'enfant étant renforcé par l'environnement.
Les auteurs étendent cette logique à la manière dont les ordinateurs sont désormais enseignés à penser. Les premières versions de l'intelligence artificielle étaient comme de simples machines de prédiction. Elles regardaient une phrase et devinaient le mot suivant en se basant sur des motifs statistiques, tout comme une personne devine le mot suivant dans une phrase familière. Ces systèmes pouvaient répondre à des questions, mais ils le faisaient en un seul jet rapide, sans décomposer le problème. Ils manquaient de la capacité de raisonner à travers une question complexe. Le passage vers les « modèles de raisonnement » s'est produit lorsque les ingénieurs ont réalisé que forcer l'ordinateur à montrer son travail améliorait ses performances. Au lieu de simplement donner une réponse, l'ordinateur est incité à générer une chaîne de pensée, une séquence d'étapes menant à la solution. Ce changement dans la façon dont l'ordinateur est entraîné s'aligne parfaitement avec la théorie médiationnelle du comportement humain.
L'entraînement de ces modèles de raisonnement se fait par étapes, chacune affinant la manière dont la machine apprend. D'abord, le modèle est exposé à de vastes quantités de texte, apprenant les schémas de base du langage. Ensuite, il est ajusté avec des exemples de réponses utiles et sûres fournies par des experts humains. Enfin, et c'est le plus important pour cet argument, le modèle subit un apprentissage par renforcement. Dans cette étape, l'ordinateur n'est pas seulement informé si sa réponse finale est correcte ou erronée ; il est évalué sur les étapes qu'il a suivies pour y parvenir. Lorsqu'un modèle résout un problème correctement, le système renforce toute la chaîne d'étapes qui a conduit à cette réponse. Cependant, dans les modèles standards qui ne récompensent que la réponse finale, le système renforce toute la chaîne en tant que groupe, ce qui signifie qu'une étape défectueuse pourrait être renforcée si la réponse finale s'avère correcte. Pour remédier à cela, des modèles spécifiques de « récompense de processus » ont été développés pour vérifier l'exactitude de chaque étape individuellement. Dans ces systèmes avancés, si une étape est incorrecte, sa probabilité est diminuée même si la réponse finale est correcte, garantissant que la machine apprend à prendre des étapes intermédiaires correctes plutôt que d'arriver à une conclusion correcte par chance.
Les chercheurs soulignent que c'est exactement ainsi que fonctionne la résolution de problèmes par l'humain. Lorsqu'une personne fait face à une tâche difficile, elle ne produit généralement pas la réponse finale en un seul élan ininterrompu. Au lieu de cela, elle décompose le problème, se parlant à elle-même ou écrivant les étapes. Chaque étape sert de signal pour la suivante et est renforcée par les progrès qu'elle réalise vers la solution. Les auteurs notent que lorsque les ingénieurs informatiques ont observé leurs modèles commencer soudainement à vérifier leur propre travail ou à corriger leurs propres erreurs, ils ont appelé cela un comportement « émergent ». Les chercheurs soutiennent que c'est un abus de langage. Rien n'a émergé qui n'ait été renforcé. Les modèles ont appris à vérifier leur travail parce que le faire menait plus souvent à des réponses correctes, et le système récompensait ces chaînes de comportement. L'« émergence » était simplement un écart dans la connaissance de l'observateur concernant l'historique de l'entraînement, et non un écart dans le mécanisme d'action.
Cette convergence de l'informatique et des sciences du comportement offre une perspective puissante. Les ingénieurs qui ont construit ces systèmes sont arrivés à la même conclusion que les spécialistes du comportement : la manière la plus efficace de résoudre un problème complexe est d'utiliser une séquence d'étapes de médiation qui sont renforcées en cours de route. Le papier suggère que ce n'est pas une coïncidence, mais une vérité fondamentale sur la manière dont les problèmes sont résolus, que ce soit par un cerveau humain ou une puce de silicium. Le « raisonnement » que nous voyons dans ces modèles avancés est simplement le résultat d'un historique d'entraînement qui renforce les comportements intermédiaires nécessaires pour atteindre un objectif. En comprenant cela, nous pouvons voir que la pensée complexe, étape par étape, que nous admirons tant chez les humains et les machines, est bâtie sur les mêmes principes fondamentaux de l'apprentissage et du renforcement. Le mystère de notre façon de penser ne se trouve pas dans un saut de logique caché, mais dans les étapes calmes et renforcées que nous suivons pour y parvenir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.