SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents

Dans le paysage moderne de l'intelligence artificielle, les grands modèles de langage ont évolué de simples générateurs de texte passifs en agents actifs capables de naviguer dans des environnements numériques complexes. Ces systèmes ne se contentent pas de décrire le monde ; ils interagissent avec lui, utilisant des outils logiciels pour réparer du code, gérer des fichiers et résoudre des problèmes à travers une série d'étapes de raisonnement et d'actions. Pour gérer la vaste gamme de tâches auxquelles ils font face, les développeurs ont commencé à conditionner le savoir procédural en modules réutilisables appelés « compétences » (skills). Imaginez une bibliothèque numérique contenant des milliers de ces compétences, chacune dotée d'un nom et d'une brève description, attendant d'être ouverte par l'agent en cas de besoin. Le défi critique pour ces agents n'est pas seulement d'avoir accès à cette bibliothèque, mais de savoir quel fichier spécifique ouvrir au moment opportun. Cette décision doit être prise au milieu d'une tâche, souvent sur la base d'une seule ligne de description, avant que l'agent ne puisse voir le contenu complet du fichier. Si l'agent choisit la mauvaise compétence, tout l'effort peut échouer, pourtant, jusqu'à présent, il n'existait aucune méthode fiable pour enseigner à l'agent comment faire ce choix correctement.

Les chercheurs ont longtemps supposé que la méthode standard pour entraîner ces agents suffirait : présenter à l'agent une liste de compétences candidates, le laisser tenter de résoudre une tâche, et le récompenser uniquement si le résultat final est un succès. L'idée était que l'agent apprendrait naturellement à choisir la bonne compétence car ce choix mène à un bon résultat. Cependant, une nouvelle étude révèle que cette approche contient une faille fondamentale qui empêche les agents d'apprendre à sélectionner efficacement les compétences, en particulier dans les tâches longues et complexes. Les chercheurs ont découvert que lorsqu'un agent échoue à accomplir une tâche, le signal d'entraînement qui lui indique ce qui s'est mal passé est diffusé de manière égale sur chaque mot généré par l'agent. Dans une longue séquence d'actions, les quelques mots nommant la compétence choisie sont noyés par les milliers de mots utilisés pour le raisonnement et l'exécution. Par conséquent, l'agent reçoit presque aucun retour d'information sur son choix initial. Pire encore, si l'agent a choisi la bonne compétence mais a échoué plus tard à cause d'une autre erreur, le système d'entraînement punit le choix initial, apprenant à l'agent que la bonne décision était en fait mauvaise. Ce phénomène, que les auteurs appellent « l'inanition de crédit du sélecteur » (selector credit starvation), signifie que la décision la plus précieuse dans une longue séquence est souvent celle qui reçoit l'instruction la plus faible et la plus trompeuse.

Pour résoudre cela, l'équipe de recherche a développé une nouvelle méthode d'entraînement appelée SkillGate. Au lieu de traiter l'ensemble de la séquence d'actions comme un bloc unique, SkillGate divise le processus d'apprentissage en deux canaux distincts. Un canal évalue l'exécution de la tâche, récompensant ou punissant l'agent en fonction de la réussite ou non de l'objectif final. L'autre canal se concentre exclusivement sur le moment où l'agent nomme une compétence. Ce second canal examine uniquement les mots spécifiques utilisés pour identifier le fichier choisi et pose une question simple : était-ce le fichier unique et correct pour le travail ? Si l'agent a choisi la bonne compétence et l'a fait une seule fois, il reçoit un feedback positif pour ce choix spécifique, que le reste de la tâche ait réussi ou échoué. S'il a choisi le mauvais fichier ou en a choisi plusieurs, il reçoit un feedback négatif. En isolant la décision de nommer une compétence de l'issue de la tâche, le système garantit que l'agent apprend à distinguer un bon choix qui a mené à un mauvais résultat d'un mauvais choix qui a mené à un mauvais résultat.

Les résultats de cette approche ont été testés sur cinq benchmarks différents impliquant des tâches d'agents complexes. Les chercheurs ont entraîné un modèle de 9 milliards de paramètres avec cette nouvelle méthode et l'ont comparé à des modèles entraînés avec l'approche traditionnelle basée uniquement sur le résultat final. Le modèle entraîné avec SkillGate a atteint un taux de réussite de 53,2 %, surpassant de manière significative le taux de réussite de 47,0 % du modèle entraîné uniquement sur les résultats finaux. Cette amélioration n'était pas simplement une question de l'intelligence accrue du modèle ; le comportement a changé de manière spécifique et mesurable. Le modèle SkillGate était beaucoup moins susceptible de lire des compétences trompeuses ou non pertinentes, réduisant son exposition aux mauvaises options de deux tiers, et il lisait moins de compétences au total, indiquant un processus de sélection plus décisif et précis. L'étude a également montré que le simple fait d'agrandir le modèle ne résolvait pas le problème ; même des modèles beaucoup plus grands échouaient à apprendre la tâche de sélection de compétences aussi efficacement que le plus petit modèle entraîné avec SkillGate.

La portée de ce travail réside dans sa démonstration que la manière dont un agent apprend est tout aussi importante que les données qu'il voit. Les chercheurs ont vérifié leur diagnostic en auditant les données d'entraînement des modèles entraînés avec l'ancienne méthode. Ils ont constaté qu'à mesure que les tâches devenaient plus longues, la part du signal d'apprentissage atteignant les mots de nomination de la compétence diminuait de façon spectaculaire, devenant presque invisible. De plus, le signal qui parvenait réellement était souvent l'opposé de ce qu'il aurait dû être, punissant des choix corrects simplement parce que la tâche finissait par échouer. En construisant un système où le choix d'une compétence est jugé sur ses propres mérites, indépendamment de l'exécution de la tâche, les chercheurs ont éliminé cette barrière structurelle. La nouvelle méthode permet à l'agent d'apprendre que choisir le bon outil est une compétence distincte et précieuse en soi, qui mérite sa propre instruction claire et directe. Cette découverte suggère que pour que les agents deviennent véritablement fiables dans des environnements complexes, leur entraînement doit être assez précis pour distinguer la décision d'agir du résultat de l'action.