Where Cognition Lives: Dissecting Emergent from Computed Function in a Minimal Complete Cognitive Architecture
Cet article démontre que si la compétence cognitive de base peut émerger de la descente de gradient dans une architecture minimale, les fonctions méta-cognitives critiques telles que l'arrêt adaptatif et l'allocation de ressources basée sur la valeur n'émergent pas spontanément et doivent être explicitement calculées pour obtenir des gains de performance significatifs, les résultats expérimentaux montrant qu'une allocation de valeur explicite apporte jusqu'à sept fois le bénéfice des estimations lisses dans des scénarios à enjeux élevés.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans la quête de la construction de machines capables de penser, les scientifiques débattent depuis longtemps pour savoir d'où provient réellement l'étincelle de l'intelligence. Une école de pensée soutient que si l'on construit un système suffisamment vaste et qu'on le laisse apprendre à partir de quantités massives de données, des capacités complexes comme le raisonnement et la prise de décision apparaîtront d'elles-mêmes, tout comme un enfant apprend à marcher sans qu'on lui enseigne la mécanique de l'équilibre. L'opinion opposée suggère que la pensée est un processus soigneusement élaboré, nécessitant des parties distinctes et dédiées pour la perception, la mémoire et le jugement, à l'instar d'une usine dotée de lignes d'assemblage spécialisées. Pendant des années, cela a été un bras de fer philosophique, mais une nouvelle étude fait passer la conversation de la théorie au plancher du laboratoire. Les chercheurs se sont donné pour mission de construire une petite machine pensante complète, puis de tester rigoureusement chaque partie pour voir si elle a appris son métier par l'expérience ou si elle a dû être explicitement programmée pour le faire. Leur objectif n'était pas seulement de voir si la machine pouvait résoudre des problèmes, mais de comprendre exactement comment elle décidait quand arrêter de penser, comment elle jugeait l'importance d'une tâche et si elle pouvait apprendre à gérer sa propre énergie mentale.
L'équipe a construit un système cognitif minimal mais complet, un cerveau numérique composé de quelques composants clés travaillant ensemble. En son cœur se trouvait un raisonneur, un module capable de traiter un problème étape par étape. Autour de lui se trouvaient des outils pour l'aider à décider combien de temps penser, un système de contrôle pour gérer son énergie, et un module de valeur pour juger de l'importance d'une tâche. Ils ont entraîné ce système sur une série de puzzles logiques, spécifiquement des tâches impliquant le réarrangement de symboles, qui sont difficiles à résoudre pour les modèles informatiques standards sans rester bloqués. Les chercheurs ont ensuite soumis chaque partie de cette machine à une batterie de tests, posant une question simple pour chacune : cette capacité est-elle apparue naturellement grâce au processus d'apprentissage, ou a-t-elle dû être calculée par un mécanisme spécifique et préconçu ? Les réponses qu'ils ont trouvées étaient tranchées et souvent surprenantes, révélant que si la capacité de résoudre des problèmes peut émerger, la capacité de décider quand s'arrêter et comment allouer l'effort ne le peut pas.
La découverte la plus significative concernait la manière dont la machine décidait quand arrêter de penser. Dans de nombreux systèmes d'intelligence artificielle modernes, le modèle est autorisé à fonctionner aussi longtemps qu'il le faut, ne s'arrêtant que lorsqu'il se sent confiant. Les chercheurs ont découvert que leur système apprenait effectivement à s'arrêter, mais que cette capacité était une illusion de mesure plutôt qu'une véritable compétence. Lorsqu'ils ont forcé la machine à s'arrêter exactement au même point que la version « intelligente » avait choisi, la performance était identique. L'avantage apparent de la machine capable de s'auto-arrêter provenait entièrement d'une subtilité dans la façon dont sa réponse finale était lue, et non d'une compréhension plus profonde de la tâche. Une fois que les chercheurs ont corrigé cette méthode de lecture, la valeur de la machine observant sa propre pensée est tombée à presque rien. Savoir exactement quel puzzle spécifique nécessitait plus de temps qu'un autre ne s'est avéré valoir qu'une fraction infime de pourcent en termes de performance. Le moniteur interne de la machine ne prenait pas de meilleures décisions ; il était simplement un sous-produit de la manière dont le système était construit.
Cela a conduit à une image plus claire de l'endroit où réside la véritable prise de décision. Les chercheurs ont testé si la machine pouvait apprendre à prioriser les tâches importantes sur les moins importantes en l'entraînant simplement à se soucier du résultat. Ils ont découvert que le processus d'apprentissage rendait en fait la machine moins performante sur ce point. Lorsque le système apprenait à peser les conséquences de ses réponses, il devenait confus et moins précis. La capacité de décider de l'effort à consacrer à une tâche n'a pas du tout émergé du processus d'apprentissage. Au lieu de cela, elle devait être calculée par un calculateur explicite et séparé qui examinait le problème et décidait du niveau d'effort avant même que la machine ne commence à travailler. Cette « décision calculée » était bien plus efficace que toute tentative de laisser la machine apprendre la valeur d'une tâche par elle-même. L'état interne de la machine, façonné par l'apprentissage, perdait naturellement l'information nécessaire pour prendre ces décisions basées sur la valeur, laissant le calculateur explicite comme seul moyen de mener à bien la tâche.
L'étude a également examiné comment ces conclusions se maintiennent lorsqu'elles sont appliquées aux modèles de langage massifs qui sont populaires aujourd'hui. Les chercheurs ont testé un grand modèle de langage gelé — qui ne peut pas être réentraîné — en utilisant des méthodes similaires pour voir s'il pouvait gouverner son propre temps de réflexion. Ils ont découvert que la stratégie courante consistant à générer de nombreuses réponses différentes et à voter sur la meilleure offrait très peu de marge d'amélioration. Le modèle avait tendance à être d'accord avec lui-même même lorsqu'il se trompait, ce qui signifie que lui demander de réfléchir plus longtemps ou de voter plus souvent n'aidait que rarement. Tout comme avec la plus petite machine, la capacité de s'observer en train de penser et de décider quand s'arrêter était presque inutile. Les chercheurs ont conclu qu'avant de tenter de gouverner la façon dont ces grands modèles pensent, nous devons d'abord mesurer si les outils que nous avons pour les contrôler fonctionnent réellement. Dans de nombreux cas, le levier que nous essayons de tirer ne fait pas bouger la machine de manière significative.
Le dernier chapitre de la recherche a exploré un type spécifique de problème difficile où le coût de la réflexion est caché jusqu'à la toute fin, comme marcher sur un chemin où l'on ne connaît la distance qu'à l'arrivée. Dans ces scénarios de « falaise », les chercheurs ont prédit que la valeur de la décision anticipée grimperait en flèche. Leur prédiction s'est avérée exacte : dans ces situations, connaître la valeur d'une tâche avant de commencer est devenu incroyablement important, offrant un boost massif de performance par rapport au simple fait de connaître la difficulté. Cependant, ce gain ne venait pas du fait que la machine comprenait soudainement mieux le problème ; il venait du fait que la récompense potentielle pour réussir était tellement plus grande. L'étude a montré que la taille du problème et la structure de l'information sont deux choses distinctes. La machine n'avait pas besoin d'apprendre une nouvelle façon de penser ; elle avait simplement besoin d'un plan pré-calculé clair pour gérer les enjeux élevés.
En fin de compte, la carte de cette recherche montre où la cognition ne réside pas. Elle ne réside pas dans la capacité de la machine à s'observer en train de penser, ni dans le processus d'apprentissage lui enseignant la valeur d'une tâche. Au contraire, la capacité de gérer l'effort et de prendre des décisions de second ordre sur ce qui importe doit être intégrée en tant que calcul explicite et séparé. La machine apprend à résoudre le puzzle, mais elle doit être informée, par un mécanisme distinct, de l'intensité de l'effort à fournir. Les chercheurs ont découvert que la partie la plus réutilisable de leur travail n'était pas un nouveau type d'intelligence, mais une méthode rigoureuse pour mesurer ce qui est réel et ce qui est une illusion. En prouvant que de nombreuses capacités supposées sont en réalité des artefacts de la manière dont nous les mesurons, ils ont fourni une base plus claire et plus honnête pour construire des machines qui pensent véritablement.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.