Joint Optimization of Tool Creation and Use for Large Language Model Agents

Le progrès humain a toujours dépendu des outils que nous construisons. Plutôt que de résoudre chaque nouveau problème à partir de zéro, nous nous appuyons sur des instruments perfectionnés au fil des générations, du levier simple au logiciel complexe qui fait fonctionner notre monde moderne. Les grands modèles de langage, ces programmes informatiques avancés capables de comprendre et de générer le langage humain, font face à une limitation similaire. Bien qu'ils possèdent de vastes quantités d'informations stockées dans leur mémoire interne, ils éprouvent des difficultés avec les tâches nécessitant un calcul exact, l'accès à des faits actualisés ou un raisonnement logique fiable. Pour surmonter cela, les chercheurs ont appris à ces modèles à utiliser des outils externes, tels que des calculatrices ou des moteurs de recherche, tout comme un humain pourrait utiliser une calculatrice pour résoudre un problème de mathématiques difficile. Cependant, les systèmes actuels sont limités car ils ne peuvent utiliser que des outils que les humains ont déjà écrits et fournis. Si un humain n'a pas construit un outil spécifique pour une nouvelle tâche, le modèle est bloqué.

Cette limitation a suscité un passage vers une approche plus dynamique : apprendre aux modèles à créer leurs propres outils à la demande. L'idée est qu'un modèle examine un problème, écrit un petit morceau de code pour le résoudre, puis utilise ce code pour trouver la réponse. Pourtant, les méthodes existantes pour y parvenir présentent une faille fondamentale. Elles utilisent généralement un modèle puissant et coûteux pour écrire l'outil et un modèle plus faible pour l'utiliser. Comme le modèle qui écrit l'outil n'a jamais besoin de l'utiliser lui-même, il n'a aucun intérêt à écrire des outils qui soient réellement clairs, fiables ou faciles à invoquer. C'est comme un charpentier qui construit un marteau mais n'a jamais besoin de le manier ; il pourrait fabriquer un manche trop glissant ou une tête trop lourde, simplement parce qu'il ne subit pas les conséquences d'une mauvaise conception.

Une équipe de chercheurs a introduit un nouveau cadre appelé SMITH pour résoudre ce décalage. L'innovation centrale est une méthode d'apprentissage qui force un seul modèle à agir à la fois comme fabricant et utilisateur d'outils. Dans ce système, le modèle reçoit un ensemble de problèmes d'exemple et doit écrire un outil, qui consiste en un morceau de code et une description claire de la manière de l'utiliser. Immédiatement après, ce même modèle doit tenter d'utiliser ce même outil pour résoudre un problème différent et inédit. Si la description est confuse ou si le code est défectueux, le modèle échoue à résoudre le problème et reçoit un signal clair indiquant qu'il doit s'améliorer. Cela crée une boucle de rétroaction directe où le modèle apprend qu'un outil n'est aussi bon que sa capacité à être utilisé par lui-même.

Les chercheurs ont testé cette approche en utilisant un modèle de quatre milliards de paramètres, une taille relativement petite comparée aux modèles massifs souvent utilisés dans ce domaine. Ils l'ont entraîné sur treize types différents de tâches de raisonnement, allant des énigmes arithmétiques aux jeux logiques. Les résultats ont été frappants. Le modèle entraîné a atteint un haut niveau de précision sur des problèmes qu'il n'avait jamais vus auparavant, surpassant les méthodes qui reposent sur des instructions complexes conçues par des humains ou même des modèles plus grands qui sont simplement sollicités pour écrire des outils au moment de l'utilisation. En fait, le petit modèle entraîné avec cette méthode a mieux performé qu'un modèle non entraîné de trente milliards de paramètres lorsqu'il s'agissait de créer des outils pour de nouvelles tâches. Cela suggère que la capacité à apprendre comment construire et utiliser des outils est plus importante que le simple fait de posséder une plus grande quantité de mémoire brute.

La découverte la plus surprenante fut peut-être la manière dont ces outils auto-fabriqués se sont transférés à d'autres modèles. Les outils écrits par le petit modèle entraîné ont permis à un modèle beaucoup plus petit, de seulement 350 millions de paramètres, de performer aussi bien qu'un modèle beaucoup plus grand et non entraîné. Inversement, lorsque les outils écrits par le petit modèle ont été donnés à un très grand modèle pour utilisation, ce dernier a mieux performé qu'en essayant d'écrire ses propres outils. Cela indique que les outils créés par le cadre SMITH sont véritablement de haute qualité et réutilisables, et non de simples astuces qui fonctionnent pour un modèle spécifique. Les outils étaient si efficaces qu'ils ont amélioré les performances sur des types de problèmes entièrement nouveaux, tels que l'interprétation de tableaux complexes ou la réponse à des questions sur des images, même si le modèle n'avait jamais été entraîné sur des données impliquant des tableaux ou des images.

L'étude a également révélé l'importance de la structure du processus d'apprentissage. Les chercheurs ont constaté que demander simplement à un modèle d'écrire du code ne suffit pas ; le modèle doit également être jugé sur la correspondance entre la description de l'outil et le code, ainsi que sur le fait que l'outil fonctionne réellement lors de l'invocation. En séparant ces différents aspects de la qualité et en récompensant le modèle pour chaque aspect réussi, le système évite les pièges courants où un modèle pourrait écrire un code qui semble bon mais qui est inutilisable, ou écrire une description claire qui ne correspond pas au code. Ce jeu d'équilibre minutieux a permis au modèle d'apprendre une compétence robuste : la capacité de créer un outil qui soit à la fois correct et utilisable.

En fin de compte, ce travail démontre que le chemin vers une intelligence artificielle plus capable ne réside peut-être pas dans la construction de modèles toujours plus grands, mais dans l'apprentissage aux modèles comment mieux construire et utiliser leurs propres capacités. En fermant la boucle entre la création et l'utilisation, les chercheurs ont montré qu'un modèle peut apprendre à concevoir des outils assez fiables pour être utilisés par lui-même et par d'autres. Cette approche offre un moyen évolutif d'étendre les capacités de l'intelligence artificielle, permettant de s'adapter à de nouveaux défis en créant les instruments spécifiques dont elle a besoin, plutôt qu'en attendant que les humains les fournissent. Les conclusions suggèrent que l'avenir de l'intelligence augmentée par les outils ne réside pas dans des bibliothèques statiques d'outils pré-fabriqués, mais dans la capacité dynamique et auto-améliorante des modèles à façonner leurs propres solutions.