LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
Cet article présente LITTLELEARNER, un modèle de langage de 5 milliards de paramètres entraîné sur le corpus organisé de 88 milliards de jetons LITTLECURRICULUM composé de matériel de niveau élémentaire américain, afin de créer un bac à sable à restriction développementale qui permet l'étude contrôlée de la manière dont les modèles acquièrent et utilisent les connaissances au sein de limites curriculaires clairement définies.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot super intelligent comment réfléchir. Habituellement, on nourrit ces robots avec un buffet massif et chaotique de tout ce qui s'est écrit sur Internet — articles de presse, romans de science-fiction, manuels de mathématiques et élucubrations aléatoires de forums, le tout mélangé. C'est comme essayer d'apprendre à cuisiner un gâteau pendant que quelqu'un hurle simultanément les paroles d'une chanson de heavy metal et récite le tableau périodique. Parce que le robot a goûté à tout, il est incroyablement difficile de savoir exactement ce qu'il a appris de quelle partie du repas. A-t-il appris à résoudre un problème de mathématiques parce qu'il comprend réellement les mathématiques, ou simplement parce qu'il a mémorisé la réponse sur un site web qu'il a ingéré ?
Pour résoudre ce mystère, les scientifiques ont besoin d'un moyen de contrôler le régime alimentaire du robot. Ils veulent savoir : si nous ne laissons un robot manger que de la nourriture d'« école primaire », restera-t-il un enfant pour toujours ? Ou peut-on le piéger pour qu'il devienne un génie plus tard grâce à des techniques d'entraînement spéciales ? Ce document traite de la construction de ce régime contrôlé et de ce qui se passe lorsque nous essayons d'étendre le cerveau du robot au-delà de son menu d'origine.
Le projet Little Learner : Un robot au régime strict
Les chercheurs ont créé un projet spécial appelé LittleLearner. Considérez cela comme un « bac à sable » ou une aire de jeux pour l'intelligence artificielle, mais avec des règles très strictes. Au lieu de laisser l'IA manger tout Internet, ils ont construit un menu personnalisé appelé LittleCurriculum. Ce menu contient exactement 83 milliards de mots, mais avec un piège : il est strictement limité au matériel enseigné dans les écoles américaines de la maternelle au CM2 (K–5).
Pour créer ce menu, ils n'ont pas fait de simples suppositions. Ils ont utilisé un processus de filtrage en plusieurs étapes, tel un bibliothécaire extrêmement strict. D'abord, ils ont vérifié l'« âge » des mots pour s'assurer qu'ils n'étaient pas trop avancés. Ensuite, ils ont utilisé des programmes informatiques intelligents pour lire le texte et décider s'il était trop difficile pour un enfant de 10 ans. Enfin, ils ont utilisé un « filtre symbolique » pour traquer et supprimer tout symbole mathématique ou formule qui ressemblerait à l'algèbre du secondaire ou au calcul différentiel. Le résultat est un ensemble de données propre et pur, composé uniquement de connaissances de niveau primaire.
Sur ce régime strict, ils ont entraîné un nouveau modèle d'IA appelé LittleLearner. C'est un modèle de 5 milliards de paramètres (un cerveau de taille moyenne pour un robot) qui n'a vu que du contenu K–5. Il sait ce qu'est la gravité (cela attire les objets vers le bas), que les chats sont des mammifères, et comment faire 8 + 6. Mais il n'a jamais vu une équation de physique du secondaire ou une expérience de pensée sur la mécanique quantique.
Le Grand Test : Pouvez-vous piéger le robot ?
La véritable magie de ce projet est que, puisque les chercheurs savent exactement ce que le robot a mangé, ils peuvent mener des expériences équitables pour voir s'ils peuvent lui apprendre de nouvelles choses plus tard. Ils ont posé trois grandes questions :
Est-ce que rendre le robot plus grand l'aide ?
Ils ont entraîné des versions de LittleLearner avec des cerveaux plus petits et plus grands (0,6 milliard, 1,3 milliard et 5 milliards de paramètres).- Le Résultat : Rendre le robot plus grand l'a aidé à devenir meilleur dans les matières de l'école primaire. Un cerveau plus gros est simplement plus efficace dans ce qu'il connaît déjà. Cependant, lorsqu'ils l'ont testé sur les mathématiques de 4ème (ce qui est totalement hors de son régime), les robots plus gros n'ont pas été plus intelligents. Ils ont heurté un mur. Un cerveau plus gros ne lui a pas donné par magie des connaissances qu'il n'avait jamais consommées.
Peut-on le « post-entraîner » pour qu'il apprenne des choses avancées ?
Le post-entraînement est comme donner un cours intensif à un robot après qu'il a terminé sa scolarité principale. Ils ont essayé d'enseigner à LittleLearner de nouveaux problèmes mathématiques avancés en utilisant une technique d'apprentissage par renforcement (où le robot reçoit des récompenses pour les bonnes réponses).- Le Résultat : Même en nourrissant le robot de problèmes avancés, il n'a pas pu les apprendre. Il est devenu légèrement meilleur dans ce qu'il connaissait déjà, mais il a totalement échoué face au nouveau matériel hors de son domaine. C'est comme essayer d'apprendre l'algèbre à un enfant qui ne connaît que l'addition en lui donnant simplement une feuille d'exercices plus difficile ; il finit par être confus.
L'apprentissage en contexte (« In-Context Learning ») peut-il aider ?
Il s'agit de donner au robot quelques exemples dans le chat avant de poser une question (comme dire : « Voici comment tu résous un problème... maintenant à toi »).- Le Résultat : Donner des exemples au robot l'a aidé à mieux réussir les problèmes de niveau primaire, mais cela n'a absolument rien fait pour l'aider à résoudre les problèmes de niveau secondaire. Le robot ne pouvait pas « débloquer » de nouvelles capacités de raisonnement simplement en regardant des exemples de choses qu'il n'avait jamais vues auparavant.
La conclusion : Le menu est le plus important
La principale conclusion de ce document est un certain rappel à la réalité pour le monde de l'IA. Elle suggère que le régime de pré-entraînement est la chose la plus importante. Si un robot n'est nourri que de connaissances de l'école primaire, il restera dans ces limites. Vous ne pouvez pas facilement piéger l'IA pour qu'elle devienne une experte en physique avancée ou en mathématiques supérieures simplement en la rendant plus grande, en lui donnant un cours intensif ou en lui montrant quelques exemples.
Le document montre que le « plafond de capacité » du robot est fixé par ce sur quoi il a été initialement entraîné. Lorsque les chercheurs ont interrogé LittleLearner sur le chat de Schrödinger (une célèbre expérience de physique quantique), le robot n'a pas dit « je ne sais pas ». Au lieu de cela, il a inventé une histoire sur un chat à deux visages. Il a tenté d'utiliser la logique simple qu'il possédait pour expliquer quelque chose qu'il n'avait jamais vu, produisant une réponse confiante mais erronée.
Cela ne signifie pas que l'IA est cassée ; cela signifie que nous avons enfin un moyen clair d'étudier comment l'IA apprend. En utilisant LittleLearner et LittleCurriculum, les scientifiques disposent désormais d'un terrain de jeu contrôlé. Ils peuvent cesser de deviner ce que le robot sait et commencer à tester exactement comment il acquiert de nouvelles compétences lorsque les règles sont claires. Il s'avère que si vous voulez qu'un robot soit un génie, vous devez probablement le nourrir de nourriture de niveau génie dès le début.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.