Résumé Technique : Skill-R1 : Évolution des Compétences d'Agent par Apprentissage par Renforcement

Énoncé du Problème

Les modèles de langage de grande taille (LLM) agents reposent de plus en plus sur des compétences — des procédures réutilisables en langage naturel qui guident la planification, l'utilisation d'outils et la vérification des actions. Cependant, les approches actuelles visant à améliorer ces compétences rencontrent des limitations significatives :

1. Coût et Inviabilité : L'optimisation des compétences nécessite souvent de l'ingénierie de prompt ou un fine-tuning du LLM de tâche lui-même. Ce dernier est coûteux en calcul, spécifique au modèle et fréquemment impossible pour les modèles à source fermée ou propriétaires.
2. Inefficacité des Méthodes Actuelles : De nombreux systèmes traitent l'optimisation des compétences comme un problème d'édition de prompt en un seul coup ou s'appuient sur une auto-réflexion en tour unique. Ces stratégies échouent souvent à s'aligner avec les récompenses en aval et ne tirent pas parti de la nature récursive de l'amélioration des compétences.
3. Complexité de l'Attribution de Crédit : L'optimisation efficace des compétences est un problème couplé à deux niveaux. Une compétence utile doit améliorer la qualité des trajectoires d'exécution (rollouts) sous la conditionnement actuel, tandis qu'une révision utile doit traduire avec succès les succès et échecs observés en une meilleure compétence pour le tour suivant.

Les méthodes existantes peinent à traiter cela comme un problème de décision récursif, manquant souvent d'un objectif principiel pour une évolution directionnelle sur plusieurs générations.

Méthodologie : Skill-R1

Les auteurs proposent Skill-R1, un cadre d'apprentissage par renforcement conçu pour l'optimisation récursive des compétences au niveau de l'instance à partir de récompenses vérifiables. L'innovation centrale réside dans le découplage de l'exécution de la tâche et de l'amélioration des compétences.

Architecture Principale

• LLM de Tâche Gelé : Le modèle principal de résolution de tâches ($\pi_{task}$) reste gelé. Il génère des trajectoires d'exécution conditionnées par la compétence actuelle. Cela garantit la compatibilité avec les modèles à source ouverte et fermée et élimine le besoin de gradients à travers le modèle de tâche.
• Générateur de Compétences Léger : Une politique séparée et entraînable ($\pi_\theta$) agit comme un éditeur de compétences. Elle prend le contexte de la tâche, les trajectoires précédentes et leurs résultats vérifiés comme entrée pour produire des compétences révisées.
• Boucle Multi-Générations : Le processus opère sur plusieurs générations ($g$). Dans chaque génération, la compétence actuelle induit un groupe de trajectoires d'exécution à partir du modèle de tâche gelé. Un vérificateur note ces trajectoires, et l'historique des essais, erreurs et récompenses est ajouté pour guider la révision de la compétence suivante.

Optimisation de Politique Relative de Groupe à Deux Niveaux (GRPO)

Pour entraîner le générateur de compétences, les auteurs introduisent un objectif GRPO à deux niveaux qui attribue le crédit à deux niveaux :

1. Avantage Intra-Génération ($A_{intra}$) : Compare les trajectoires d'exécution échantillonnées sous la même compétence au sein d'une seule génération. Cela isole la qualité de la trajectoire de la qualité de la compétence, similaire au GRPO standard.
2. Avantage Inter-Génération ($A_{inter}$) : Mesure l'amélioration de la performance vérifiée moyenne de la population de trajectoires par rapport à la génération précédente. Cela récompense les révisions qui déplacent la distribution vers des récompenses plus élevées.

Le signal d'avantage final est une combinaison pondérée :
$$A(y^{(i)}_g) = A_{intra}(y^{(i)}_g) + \lambda A_{inter}(g)$$
où $\lambda$ interpole entre l'optimisation pure au sein de la génération et l'amélioration inter-générations. Le générateur de compétences est optimisé pour maximiser cet avantage à deux niveaux, encourageant la production de compétences qui non seulement performent bien immédiatement, mais évoluent aussi de manière directionnelle dans le temps.

Contributions Clés

1. Formulation : L'article formule l'évolution récursive des compétences au niveau de l'instance comme un problème d'optimisation de politique relative de groupe à deux niveaux, couplant explicitement la qualité d'exécution au sein des générations avec l'amélioration des compétences entre les générations.
2. Cadre : Il propose Skill-R1, un cadre agnostique au modèle qui entraîne un générateur de compétences léger tout en maintenant le LLM de tâche gelé, le rendant applicable aux modèles propriétaires.
3. Algorithme : Il introduit un processus récursif de trajectoires d'exécution multi-générations couplé à un objectif GRPO à deux niveaux qui combine les avantages intra- et inter-générations pour guider l'évolution directionnelle.
4. Validation Empirique : Le cadre est évalué sur des tâches d'agent avec des récompenses vérifiables, démontrant une performance supérieure par rapport aux bases de référence sans compétences et au GRPO standard.

Résultats Expérimentaux

Les auteurs ont évalué Skill-R1 sur deux benchmarks nécessitant un raisonnement multi-étapes et l'utilisation d'outils : GAIA (sources hétérogènes) et WebWalker (navigation web multi-sauts).

• Benchmark GAIA :

  • Base de référence : GPT-4o-mini sans compétences n'a atteint que 6,1 % de précision.
  • GRPO Vanilla : L'entraînement d'un éditeur sans décomposition à deux niveaux a amélioré la précision à 29,7 %.
  • Skill-R1 (Inférence) : L'utilisation du cadre multi-générations sans entraînement basé sur les gradients sur l'éditeur a atteint 30,9 %, suggérant que la structure de trajectoire elle-même apporte des bénéfices.
  • Skill-R1 (GRPO) : Le système complet avec éditeurs entraînés a atteint 41,8 % de précision, soit un gain de +12,1 points par rapport au GRPO Vanilla. Les gains ont été les plus prononcés sur les tâches complexes de niveau 3 (38,5 % contre 0,0 % pour la base de référence sans compétences).

• Benchmark WebWalker :

  • Base de référence : 2,0 % de précision.
  • GRPO Vanilla : 22,0 % de précision.
  • Skill-R1 (GRPO) : A atteint 26,0 % de précision, avec des améliorations significatives sur les tâches de difficulté moyenne et multi-sources (29,4 % et 28,6 % respectivement).

• Analyse de l'Évolution :

  • Progression Générative : Les gains de performance ont été largement monotones, les sauts les plus significatifs se produisant entre les générations 1 et 3. Les générations ultérieures (4 et 5) ont principalement amélioré la cohérence et la fiabilité des trajectoires d'exécution plutôt que de découvrir des capacités entièrement nouvelles.
  • Entraînement vs Inférence : L'éditeur entraîné (GRPO) a constamment surpassé l'éditeur en inférence seule, en particulier sur WebWalker. L'analyse qualitative a montré que l'éditeur entraîné préservait les structures exécutables de base et ajoutait des garde-fous, tandis que l'éditeur en inférence seule avait tendance à surajuster à des détails fallacieux, conduisant à des artefacts fragiles.

Importance et Revendications

L'article revendique que Skill-R1 offre une alternative pratique et efficace à l'adaptation au niveau du modèle. En traitant l'optimisation des compétences comme un problème récursif à deux niveaux, le cadre permet :

• Compatibilité Boîte Noire : Il fonctionne avec des modèles à source fermée où le fine-tuning est impossible.
• Évolution Directionnelle : Il va au-delà de l'auto-réflexion heuristique vers un processus principiel et piloté par les récompenses qui améliore les compétences au fil du temps.
• Robustesse : La structure récursive permet au système d'affiner les compétences sur la base de preuves agrégées (succès et échecs) plutôt que d'essais isolés.

Les auteurs concluent que l'évolution des compétences est un mécanisme viable pour améliorer le comportement des agents, en particulier pour les tâches complexes et multi-étapes où les méthodes de raffinement en passage unique peinent. Les résultats suggèrent qu'un petit nombre de tours d'édition peut capturer la majorité des améliorations de capacités, les itérations suivantes renforçant la fiabilité.