Better, Faster, Stronger: Programmatic Skill Learning Best Reduces Agent Cost

Imaginez que vous enseigniez à un robot comment naviguer dans une immense aire de jeux en désordre. Au début, le robot est comme un bambin curieux : il essaie d'avancer, se cogne contre un mur, est confus, réessaie, et apprend peut-être un petit peu. C'est ainsi que fonctionnent souvent les « agents » d'IA modernes. Ce sont des modèles de langage puissants capables de comprendre des instructions et de parler aux ordinateurs, mais lorsqu'ils sont confrontés à une nouvelle tâche complexe, ils doivent souvent « réfléchir » à chaque étape depuis le début. Ils peuvent essayer d'ouvrir une porte, échouer, essayer une autre méthode, échouer à nouveau, et boucler ainsi jusqu'à ce qu'ils réussissent. Bien que cela fonctionne, c'est lent et coûteux. Chaque fois que le robot « réfléchit », cela coûte de l'argent et du temps, tout comme payer pour chaque minute passée par un humain à résoudre un puzzle.

La grande question que se posent les chercheurs est la suivante : Comment pouvons-nous apprendre à ces robots à devenir meilleurs sans qu'ils aient à réapprendre la même chose encore et encore ? La réponse implique généralement des « compétences ». Considérez une compétence comme un raccourci ou une recette pré-établie. Au lieu de chercher à comprendre comment faire un gâteau à partir de zéro à chaque fois, vous suivez simplement une recette que vous avez déjà écrite. Pendant un certain temps, les scientifiques ont essayé d'écrire ces recettes en langage clair. Mais les auteurs de cet article se sont demandé : et si nous écrivions les recettes en code ? Le code est comme un manuel d'instructions super précis qu'un ordinateur peut suivre instantanément sans être confus ou perdre de temps. L'idée majeure est que si nous pouvons transformer les expériences d'essais et d'erreurs désordonnées du robot en un code propre et réutilisable, le robot pourrait devenir plus rapide, moins cher et bien plus intelligent.

C'est exactement ce que l'équipe derrière le projet « SpeedRunner » a cherché à tester. Ils voulaient voir si un agent d'IA pouvait apprendre à écrire ses propres compétences basées sur le code tout en travaillant, plutôt que de simplement recevoir des ordres. Ils ont construit un système où l'IA joue à un jeu, commet des erreurs, puis un second agent spécial, un « agent de codage », examine l'historique du robot. Cet agent de codage agit comme un détective et un programmeur réunis. Il analyse les tentatives passées du robot, identifie les schémas où le robot a échoué de manière répétée ou a répété la même longue séquence d'actions, puis écrit un nouveau morceau de code pour corriger cela. C'est comme regarder une vidéo de quelqu'un essayant de lacer ses chaussures, réaliser qu'il bloque systématiquement les lacets, puis écrire un petit manuel d'instructions parfait sur la façon de lacer ses chaussures correctement pour ne plus jamais se coincer.

Les chercheurs ont testé cette idée dans trois mondes virtuels très différents : un laboratoire scientifique où l'on doit mélanger des produits chimiques, un monde en grille où il faut suivre des instructions pour ramasser des objets, et un jeu de survie où il faut récolter des ressources et combattre des zombies. Dans tous ces contextes, l'agent « SpeedRunner » a appris à écrire ses propres compétences de code à la volée. Les résultats ont été frappants. Alors que d'autres méthodes restaient bloquées dans des boucles ou devenaient de plus en plus coûteuses à mesure qu'elles apprenaient, SpeedRunner est devenu plus rentable et plus rapide à mesure qu'il apprenait. Il a transformé de longues séquences d'actions compliquées en fonctions de code courtes et réutilisables. Par exemple, au lieu de dépenser beaucoup d'argent à réfléchir à la manière de trouver un arbre, le robot a appris une commande de code simple appelée « find_tree » qu'il peut simplement activer instantanément.

L'article suggère que cette approche change la donne en termes de coût. Dans l'un des tests, l'agent SpeedRunner a utilisé environ un huitième de l'argent (en termes de puissance de calcul informatique) que la méthode standard a utilisé pour résoudre le même problème. Il n'a pas seulement économisé de l'argent, il est aussi devenu meilleur dans ses tâches. La clé était que l'agent de codage ne s'est pas contenté de mémoriser ce qui s'était passé ; il a analysé pourquoi les choses échouaient. Si le robot échouait constamment à trouver une ressource parce qu'il ne pouvait pas la voir, l'agent de codage écrivait une nouvelle fonction pour « balayer la zone » avant d'abandonner. Cela a rendu l'agent robuste, ce qui signifie qu'il pouvait gérer des changements aléatoires dans l'environnement, comme l'apparition soudaine de zombies, sans paniquer.

Cependant, les auteurs précisent avec prudence que ce n'est pas un remède miracle pour toutes les situations. Ils ont découvert que si le robot est déjà très bon dans une tâche, le forcer à utiliser du code pourrait le rendre un peu trop rigide, comme un robot qui suit une recette si strictement qu'il ne peut plus s'adapter si le four tombe en panne. Mais pour la plupart des tâches complexes et à long terme, transformer des expériences désordonnées en un code propre semble être la meilleure façon de rendre les agents d'IA à la fois plus intelligents et plus abordables. L'étude montre qu'en laissant les agents écrire leurs propres « raccourcis automatisés » pendant qu'ils jouent, nous pouvons construire des systèmes qui apprennent efficacement sans avoir besoin d'être réentraînés à partir de zéro chaque fois qu'ils font face à un nouveau défi.