🤖 AI

ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL

ReSkill est un nouveau cadre d'apprentissage par renforcement agentique qui réconcilie la création de compétences avec l'optimisation de politique en intégrant la révision de compétences pilotée par assertions, l'échantillonnage de déploiement intra-groupe et l'échantillonnage de Thompson au sein de l'algorithme GRPO, permettant ainsi la coévolution automatique de stratégies réutilisables et de politiques pour atteindre une généralisation supérieure sur des tâches inédites.

Auteurs originaux : Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

Publié 2026-06-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Générale : Enseigner à un Robot à Apprendre Pendant qu'il Apprend

Imaginez que vous enseignez à un robot à jouer à un jeu vidéo complexe.

L'Ancienne Méthode : Vous enseignez les règles au robot, vous le laissez jouer, et lorsqu'il échoue, vous notez manuellement une nouvelle règle (une « compétence » ou « skill ») pour qu'il la suive la prochaine fois. Mais voici le problème : le robot change constamment son propre style de jeu à mesure qu'il s'améliore. Si vous écrivez une nouvelle règle basée sur la façon dont il jouait hier, cette règle pourrait en réalité le confondre aujourd'hui car il a déjà évolué. C'est comme essayer d'apprendre à un enfant comment lacer ses chaussures en utilisant un manuel écrit pour un adulte ; l'enfant a déjà dépassé les anciennes instructions, mais les nouvelles n'ont pas encore été testées.
La Méthode RESKILL : Au lieu d'écrire des règles dans un carnet séparé, RESKILL transforme le processus de création de règles en faisant partie intégrante du jeu lui-même. Il crée une « usine à règles » qui fonctionne à l'intérieur de la boucle d'apprentissage. Le robot essaie de nouvelles règles pendant qu'il est encore en train d'apprendre, voit si elles l'aident, et garde les bonnes tout en jetant les mauvaises, le tout en temps réel.

Le Problème Central : Le « Décalage »

L'article soutient que les méthodes actuelles souffrent d'un Conflit Compétence-Politique (Skill-Policy Conflict).

La Politique (Policy) : C'est le cerveau du robot (sa stratégie de jeu). Elle change constamment au fur et à mesure qu'il apprend.
Les Compétences (Skills) : Ce sont des astuces ou des raccourcis réutilisables (comme « toujours vérifier le frigo en premier » ou « chercher avant de deviner »).
Le Conflit : Les méthodes existantes créent des compétences séparément de l'entraînement du cerveau. Elles peuvent créer une compétence qui fonctionnait pour l'« ancien » cerveau, mais qui entre en conflit avec le « nouveau » cerveau. C'est comme un entraîneur qui donnerait un nouveau carnet de stratégies à un joueur alors que celui-ci est en plein milieu d'un match, sans vérifier si le joueur comprend réellement les nouveaux mouvements.

Comment fonctionne RESKILL : La Cuisine du « Test de Goût »

RESKILL résout ce problème en intégrant la création de compétences directement dans le processus d'entraînement via trois mécanismes principaux, que les auteurs appellent la Réconciliation de la Création de Compétences avec l'Optimisation de la Politique.

1. Le « Test de Goût en Groupe » (Échantillonnage Intra-Groupe)

Imaginez un concours de cuisine où un chef (l'IA) doit préparer un plat.

Méthode Standard : Le chef prépare 10 plats en utilisant la même recette. Ensuite, un critique écrit une nouvelle recette. Le chef essaie la nouvelle recette plus tard.
Méthode RESKILL : Le chef reçoit un groupe de 10 commandes. Pour 5 commandes, il utilise l'Ancienne Recette. Pour les 5 autres, il utilise une Nouvelle Recette (créée sur le vif).
Pourquoi ça marche : Comme le chef est dans le même état d'esprit et le même état physique pour les 10 commandes, la seule différence est la recette. Le système peut voir instantanément : « Est-ce que la Nouvelle Recette a aidé le chef à obtenir un meilleur score en ce moment même ? » Cela permet une comparaison équitable et contrôlée sans nécessiter de temps ou de ressources supplémentaires.

2. Le Carnet de Règles « Auto-Réparateur » (Créateur piloté par l'Assertion)

Quand un chef rate un plat, un humain doit généralement intervenir pour dire : « Tu as oublié de saler la soupe ». RESKILL automatise cela.

Il conserve un Réservoir (un seau) de chaque fois que le chef a réussi et chaque fois qu'il a échoué.
Il utilise un « détective » (un LLM) pour examiner le seau et demander : « Qu'est-ce qui a mal tourné ? Avons-nous oublié de vérifier le four ? Avons-nous cherché le mauvais ingrédient ? »
Sur la base de ces schéments, le système écrit automatiquement une nouvelle « Compétence » (une règle telle que : Si vous voyez une casserole, vérifiez la température avant de remuer).
Crucialement : Il ne se contente pas de deviner. Il teste immédiatement cette nouvelle règle par rapport à l'ancienne en utilisant le « Test de Goût en Groupe » décrit ci-dessus.

3. Le « Joueur Intelligent » (Échantillonnage de Thompson)

Comment le système décide-t-il combien de fois essayer la Nouvelle Recette par rapport à l'Ancienne Recette ?

Si la Nouvelle Recette semble prometteuse, le système l'essaie plus souvent.
Si la Nouvelle Recette semble mauvaise, le système l'essaie moins souvent.
Le Twist : Le cerveau du robot évolue chaque seconde. Une règle qui fonctionnait il y a 10 minutes peut être obsolète maintenant. RESKILL utilise un truc mathématique appelé Échantillonnage de Thompson avec Réduction Adaptative (Adaptive Discounting).
- Pensez à un parieur qui sait que les numéros gagnants du loto d'hier sont inutiles aujourd'hui.
- Si le robot a essayé la Nouvelle Recette de nombreuses fois récemment, le système fait confiance aux données les plus récentes et oublie les anciennes données (réduction/discounting).
- S'il n'a pas beaucoup essayé la nouvelle recette, il conserve les anciennes données pour éviter de prendre une décision précipitée basée sur une seule tentative ratée.
- Cela garantit que le système parie toujours sur la compétence qui fonctionne le mieux pour le cerveau actuel du robot, et non pour son passé.

Les Résultats : Pourquoi c'est Important

L'article a testé RESKILL sur plusieurs « jeux » (tâches) :

Tâches Ménagères (ALFWorld) : Déplacer des objets dans une maison virtuelle.
Moteurs de Recherche : Répondre à des questions complexes en effectuant des recherches sur le web.
Science et Codage : Résoudre des problèmes de physique et écrire du code SQL.

Les Constats :

Meilleur sur les tâches difficiles : RESKILL n'a pas seulement été légèrement meilleur ; il a littéralement écrasé la concurrence sur les tâches inédites (tâches qu'il n'avait jamais vues auparavant). C'est parce que les compétences qu'il a apprises sont flexibles et générales, et non de simples réponses mémorisées.
Pas de coût supplémentaire : Il n'a pas nécessité que le robot joue deux fois plus longtemps. Il a effectué les tests de compétences pendant les étapes normales d'entraînement.
Auto-correction : Le système a automatiquement « élagué » (supprimé) les compétences qui ne fonctionnaient plus à mesure que le robot devenait plus intelligent. C'est une bibliothèque vivante de compétences qui grandit et rétrécit selon les besoins.

Résumé par Analogie

Imaginez une Équipe de Football :

Ancienne Méthode : L'entraîneur regarde le match, écrit une nouvelle stratégie sur un tableau blanc, et dit à l'équipe de l'essayer la semaine prochaine. Pendant ce temps, les joueurs ont changé de formation, donc la nouvelle stratégie ne convient plus.
RESKILL : L'entraîneur est sur le terrain pendant le match. Chaque fois que l'équipe attaque, la moitié des joueurs essaie l'ancienne stratégie, et l'autre moitié essaie une nouvelle stratégie inventée sur le champ en fonction de la dernière erreur. L'entraîneur voit instantanément laquelle marque un but en ce moment même et dit à l'équipe de s'y tenir. L'équipe fait évoluer sa stratégie et son carnet de jeu simultanément, en parfaite harmonie.

En bref, RESKILL arrête de traiter « apprendre à jouer » et « apprendre les règles » comme deux tâches séparées. Il les fusionne, permettant à l'IA de construire un meilleur cerveau et un meilleur carnet de règles en même temps.

Résumé Technique : RESKILL – Réconcilier la Création de Compétences avec l'Optimisation de la Politique dans l'Apprentissage par Renforcement Agentique

Problématique

L'apprentissage par renforcement (RL) agentique permet aux agents basés sur des modèles de langage étendu (LLM) de s'améliorer continuellement grâce aux récompenses de l'environnement. Cependant, une limitation critique subsiste : les politiques résultantes échouent souvent à accumuler systématiquement des stratégies réutilisables et transférables qui se généralisent à travers les tâches. Bien que les compétences modulaires (des extraits réutilisables encodant des stratégies spécifiques à une tâche) offrent une solution, les méthodes existantes de RL augmentées par des compétences découplent généralement la création de compétences de l'optimisation de la politique.

Ce découplage crée un « conflit compétence-politique ». Les méthodes qui font évoluer les compétences de manière externe (par exemple, via des tests par l'humain dans la boucle ou une distillation statique) risquent d'adopter des compétences qui ne s'alignent pas sur l'évolution de la politique de l'agent. Inversement, les méthodes qui apprennent des compétences sans tests rigoureux peuvent accumuler des connaissances inefficaces. Le défi central est de créer un cadre où l'évolution des compétences et l'apprentissage de la politique sont réconciliés, garantissant que les compétences sont créées, testées et affinées de manière dynamique en réponse directe à l'état d'apprentissage actuel de la politique.

Méthodologie : Le Cadre RESKILL

RESKILL (Reconciling Skill Creation with Policy Optimization) répond à cela en intéant le cycle de création de compétences directement dans la boucle d'entraînement du RL, en exploitant spécifiquement la structure par groupe de l'Optimisation de la Politique Relative au Groupe (GRPO). Le cadre opère via trois mécanismes intégrés :

1. Test de Compétences Intra-Groupe

Au lieu d'utiliser des phases de test dédiées et coûteuses, RESKILL exploite le fait que GRPO échantillonne un groupe de $G$ trajectoires pour la même tâche sous la même politique.

Mécanisme : Au sein d'une seule étape d'entraînement, différentes versions de compétences (par exemple, une banque existante $S_{old}$ versus une candidate $S_{new}$ ) sont assignées à différentes trajectoires d'un même groupe via l'échantillonnage de Thompson.
Avantage : Cela permet une comparaison contrôlée et sans coût supplémentaire des versions de compétences. Puisque la tâche et la politique sont identiques à travers le groupe, la seule variable est la version de la compétence, permettant une attribution directe des différences de performance aux compétences elles-mêmes.
Trajectoires à Triple Fonction : Chaque trajectoire sert simultanément à : (i) l'optimisation de la politique via les gradients GRPO, (ii) le diagnostic d'échec pour le créateur de compétences, et (iii) l'évaluation par bandit pour la sélection de la version de compétence.

2. Création de Compétences dans la Boucle de RL

RESKILL adapte le pipeline de « Créateur de Compétences » d'Anthropic mais remplace le feedback humain par des signaux automatisés pilotés par la récompense issus de la boucle de RL.

Réservoir d'Expérience : Un réservoir $R$ , continuellement rafraîchi, collecte des paires de trajectoires succès-échec annotées avec leur version de compétence et leur récompense.
Diagnostic par Assertions : Au lieu d'analyser des trajectoires isolées, le système applique un ensemble dynamique d'assertions (prédicats) basées sur des règles à l'ensemble du réservoir afin d'identifier les modes de défaillance prévalents.
Révision Conditionnelle : Un agent basé sur un LLM propose des versions de compétences candidates (opérations ADD, MODIFY, DELETE) basées sur ces profils d'échec. Crucialement, les déclencheurs proposés sont validés par rapport au réservoir pour s'assurer qu'ils possèdent une couverture d'activation suffisante avant d'entrer dans la phase de test.

3. Échantillonnage de Thompson Adaptatif pour l'Évolution des Compétences

Pour gérer le compromis entre l'exploration de nouvelles versions de compétences et l'exploitation de celles connues comme efficaces à mesure que la politique évolue, RESKILL utilise l'échantillonnage de Thompson avec un escompte adaptatif.

Allocation : À chaque étape, la probabilité d'assigner une trajectoire à une nouvelle version de compétence est déterminée par la probabilité postérieure que la nouvelle version soit supérieure ( $Pr(p_{new} > p_{old})$ ).
Escompte Adaptatif : Parce que la politique évolue durant la fenêtre d'évaluation, les observations anciennes deviennent obsolètes. RESKILL introduit un paramètre de mémoire $M$ pour escompter les preuves antérieures. Le facteur d'escompte $w_t$ est ajusté en fonction du nombre de nouveaux épisodes $n_t$ : si $n_t$ est petit, les preuves passées sont conservées ; si $n_t$ est grand, les preuves passées sont plus agressivement dépréciées pour refléter les capacités actuelles de la politique.
Acceptation/Rejet : À la fin d'un cycle d'évolution, une nouvelle version de compétence n'est acceptée que si sa performance attendue sous la distribution postérieure escomptée dépasse celle de l'ancienne version.

Contributions Clés

Co-évolution Réconciliée : RESKILL est le premier cadre qui intègre la création de compétences directement dans la boucle d'optimisation de la politique, éliminant le risque de désalignement compétence-politique présent dans les approches découplées.
Test à Zéro Surcoût : En utilisant la structure de groupe de GRPO, RESKILL permet une comparaison contrôlée des versions de compétences sans nécessiter de budgets de trajectoires supplémentaires ou de phases de test dédiées.
Cycle de Vie Adaptatif des Compétences : Le cadre automatise l'intégralité du cycle de vie des compétences — création, test, raffinement et élagage — en se basant sur la performance de la politique en temps réel et les signaux de récompense.
Robustesse au Dérive de la Politique : L'introduction de l'escompte adaptatif dans l'échantillonnage de Thompson permet au système de gérer la non-stationnarité de la politique évolutive, garantissant que les évaluations de compétences restent pertinentes.

Résultats Expérimentaux

RESKILL a été évalué sur cinq domaines : le raisonnement incarné (ALFWorld), la recherche agentique (NQ, HotpotQA, et cinq jeux de données inédits), la découverte scientifique (ScienceWorld), le codage (InterCode-SQL) et le shopping en ligne (WANDS).

Gains de Performance : RESKILL a systématiquement surpassé les bases de référence, incluant le GRPO classique, le RL basé sur la mémoire (MEMRL) et les méthodes existantes basées sur les compétences (SKILLRL, INSPO).
- Sur ALFWorld, RESKILL a atteint un taux de succès de 90,0 % (modèle 4B) et 92,7 % (modèle 8B), dépassant largement la base de référence la plus forte (SKILLRL).
- Sur la Recherche Agentique, RESKILL a amélioré les performances de 2,5 à 2,3 % par rapport à SKILLRL sur les partitions vues et a obtenu des gains encore plus importants sur les partitions inédites.
Généralisation aux Tâches Inédites : Les améliorations les plus substantielles ont été observées sur les tâches inédites et difficiles. Par exemple, sur les tâches inédites d'ALFWorld, RESKILL (8B) a atteint 95,3 %, soit un écart de 12,7 % par rapport à SKILLRL (82,6 %). Cela suggère que l'évolution réconciliée ne conserve que les versions de compétences qui généralisent mieux.
Adaptation Trans-Domaine : Dans une expérience d'adaptation au moment de l'inférence, une politique entraînée sur ALFWorld a été gelée et appliquée à ScienceWorld. RESKILL a rapidement adapté sa banque de compétences au nouveau domaine sans mise à jour de la politique, là où les modèles de base ont échoué à évoluer.
Efficacité : RESKILL a maintenu des vitesses d'entraînement et d'inférence compétitives par rapport à GRPO. Son mécanisme de déclencheur conditionnel a assuré que seules les compétences pertinentes étaient chargées, maintenant des longueurs de contexte compactes par rapport aux méthodes qui chargent toutes les compétences sans condition.

Signification et Revendications

L'article affirme que RESKILL démontre que la création de compétences et l'apprentissage de la politique ne doivent pas être traités comme des processus séparés. En réconciliant ces deux processus, le système développe une capacité générale à suivre et à bénéficier de nouvelles compétences, menant à une performance supérieure sur des tâches complexes, inédites et hors domaine.

Les auteurs soulignent que les gains proviennent principalement du mécanisme de co-évolution réconciliée plutôt que du LLM spécifique utilisé pour la création de compétences (les études d'ablation ont montré que les performances restaient élevées même lorsque le créateur de compétences était le modèle de base lui-même). Le cadre établit un nouveau paradigme pour le RL agentique où les compétences ne sont pas des instructions statiques, mais des composants dynamiques et évolutifs qui co-adaptent avec la politique de l'agent.