Putting Transformer Theories to the Test
Cet article évalue sept théories formelles des capacités des transformeurs en confrontant leurs prédictions à une suite de tâches et de résultats expérimentaux, constatant qu'aucune théorie unique n'explique pleinement les comportements observés et soulignant la nécessité d'un nouveau cadre intégrant l'attention douce, la récupération dynamique dépendante du contenu et la capacité d'apprentissage.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde en évolution rapide de l'intelligence artificielle, un type spécifique de programme informatique appelé « transformer » est devenu le moteur des systèmes linguistiques les plus avancés, comme les agents conversationnels ChatGPT. Ces programmes ne pensent pas comme les humains, mais ils sont remarquablement doués pour repérer des motifs dans le texte, prédire le mot suivant dans une phrase et résoudre des énigmes complexes. Parce qu'ils fonctionnent si bien en pratique, les scientifiques passent des années à essayer de construire des cartes mathématiques de ce que ces programmes peuvent et ne peuvent pas faire. Ces cartes, ou théories, sont comme différents ensembles de plans. Certains plans suggèrent que les programmes sont limités à des tâches simples, tandis que d'autres affirment qu'ils peuvent gérer presque tout. Le problème est que ces plans se contredisent souvent. L'un peut dire qu'une tâche spécifique est trop difficile pour la machine, tandis qu'un autre insiste sur le fait qu'elle est facile. Sans un moyen de tester ces cartes concurrentes par rapport à la réalité, il est difficile de savoir laquelle est réellement correcte ou comment construire de meilleures machines à l'avenir.
Une équipe de chercheurs s'est donné pour mission de trancher ce débat en traitant ces théories comme des hypothèses scientifiques qui doivent être testées dans le monde réel. Ils ont rassemblé les sept théories les plus éminentes actuellement utilisées pour décrire les capacités des transformers et les ont soumises à l'épreuve d'une grande variété de tâches spécifiques. Ces tâches allaient de problèmes de comptage simples et d'énigmes logiques au suivi de la structure des phrases et à la navigation à travers des réseaux de connexions. Les chercheurs ne se sont pas contentés de regarder les mathématiques sur papier ; ils ont construit de petites versions de ces programmes, fabriquées sur mesure, et les ont entraînées à partir de zéro pour voir s'ils pouvaient réellement résoudre les problèmes. Ils ont également testé de massifs modèles de langage pré-entraînés déjà utilisés aujourd'hui pour voir si les règles changeaient lorsque les programmes devenaient beaucoup plus grands et complexes.
Les résultats ont révélé une vérité surprenante : aucune théorie unique ne pouvait expliquer l'ensemble du tableau. Lorsque les chercheurs ont comparé les prédictions des sept théories à la performance réelle des programmes, ils ont constaté que les théories divergeaient souvent de la réalité et les unes des autres. Par exemple, plusieurs théories prédisaient qu'un programme aurait du mal à compter combien de fois un symbole spécifique apparaissait dans une longue liste de texte. Dans le laboratoire, cependant, les programmes ont appris cette tâche facilement et pouvaient même appliquer ce qu'ils avaient appris à des listes bien plus longues que celles sur lesquelles ils avaient été entraînés. Inversement, d'autres théories prédisaient qu'un programme serait capable de résoudre un problème d'arithmétique complexe, mais les programmes échouaient systématiquement à l'apprendre, même avec beaucoup de données d'entraînement. Ce décalage a montré que les théories omettaient des détails clés sur le fonctionnement réel des programmes.
L'étude a identifié deux raisons principales pour lesquelles les théories ne correspondaient pas à la réalité. Premièrement, de nombreuses théories supposaient que les programmes prenaient des décisions en se concentrant sur un seul morceau d'information à la fois, comme un projecteur ciblant un seul mot. En réalité, les programmes utilisent une méthode plus souple et flexible qui leur permet de mélanger les informations provenant de nombreuses parties différentes du texte à la fois. Cette flexibilité leur permet de résoudre des tâches que les théories rigides disaient impossibles. Deuxièmement, certaines théories supposaient que les programmes pouvaient effectuer des calculs illimités à chaque étape, ce qui les faisait paraître plus puissants qu'ils ne le sont réellement. Ces théories prédisaient que les programmes pourraient résoudre des problèmes de graphes difficiles, mais les expériences ont montré que les programmes restaient bloqués, incapables d'apprendre les étapes nécessaires. Les chercheurs ont découvert que la capacité d'un programme à apprendre une tâche dépendait moins de sa puissance brute que de la manière dont il était enseigné et de la façon dont sa mémoire interne était organisée.
L'une des découvertes les plus frappantes était que la taille et l'historique d'entraînement du programme importaient énormément. Les petits programmes construits spécifiquement pour les expériences se comportaient très différemment des modèles géants pré-entraînés utilisés dans les applications quotidiennes. Parfois, les petits modèles apprenaient une tâche que les grands modèles ne parvenaient pas à résoudre, et d'autres fois, les grands modèles réussissaient là où les petits échouaient. Cela suggère que les capacités de ces systèmes ne sont pas seulement le résultat de leur conception, mais aussi des vastes quantités de données qu'ils reçoivent et des méthodes spécifiques utilisées pour les entraîner. Les théories qui se concentraient uniquement sur l'architecture du programme, ignorant les données et le processus d'apprentissage, ne pouvaient pas prédire ces résultats.
Enfin, l'article conclut que pour véritablement comprendre ces outils puissants, les scientifiques ont besoin d'un nouveau type de théorie. Ce nouveau cadre doit rendre compte de la manière flexible dont les programmes mélangent l'information, des limites de leurs calculs locaux, et du rôle crucial de la façon dont ils apprennent. Il doit également expliquer pourquoi certains programmes généralisent bien à de nouvelles situations tandis que d'autres non, une différence souvent dictée par la manière spécifique dont on leur apprend à mémoriser l'ordre des mots. En montrant qu'aucune carte existante ne couvre l'ensemble du territoire, les chercheurs ont tracé une voie claire pour l'avenir. Ils ont créé un nouvel ensemble de critères d'évaluation et une compréhension plus claire de ce qui se passe réellement à l'intérieur de ces machines, offrant une base solide pour construire la prochaine génération d'intelligence artificielle qui soit à la fois puissante et prévisible.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.