🤖 machine learning

SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution

SkillRise est un cadre d'apprentissage par renforcement unifié qui permet aux agents de modèles de langage de grande taille de faire évoluer et de réutiliser des compétences transférables à travers des tâches distinctes en les organisant en séquences progressives et en employant une politique unique pour résoudre simultanément les tâches et constituer un document de compétences évolutif, atteignant ainsi une performance et une efficacité supérieures par rapport aux approches existantes à plusieurs étapes ou par tâches indépendantes.

Auteurs originaux : Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, Yifu Guo, Yuquan Lu, Zhengzhou Cai, Kangning Zhang, Zhuowen Han, Zi-Han Wang, Ziang Ye, Qi Gu, Xunliang Cai, Weiwen Liu, Yongliang Shen

Publié 2026-07-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, Yifu Guo, Yuquan Lu, Zhengzhou Cai, Kangning Zhang, Zhuowen Han, Zi-Han Wang, Ziang Ye, Qi Gu, Xunliang Cai, Weiwen Liu, Yongliang Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à jouer à un jeu vidéo. Autrefois, si le robot échouait au niveau un, il oubliait tout, recommençait le niveau deux de zéro et espérait que tout se passe bien. C'était comme essayer d'apprendre à faire du vélo en tombant, en se relevant, puis en essayant immédiatement de faire du vélo sur un modèle différent sans se souvenir de la façon dont on était tombé. C'est ainsi que fonctionnaient de nombreux programmes informatiques appelés « agents d'IA » : ils traitaient chaque nouveau défi comme un événement nouveau et isolé, gaspillant toutes les leçons apprises lors des précédentes épreuves.

Mais et si le robot pouvait garder une « antisèche » ou un « journal » qui devenait plus intelligent à chaque partie ? C'est le cœur d'un domaine appelé l'Apprentissage par Renforcement (Reinforcement Learning), où l'IA apprend en essayant des choses, en recevant des récompenses pour ses succès et en apprenant de ses erreurs. Récemment, des scientifiques ont tenté d'apprendre à ces agents non pas seulement à résoudre un puzzle unique, mais à apprendre des « compétences » générales qui les aident à résoudre de nombreux puzzles différents. La grande question est la suivante : comment enseigner à une IA à noter ses propres leçons d'une manière qui soit réellement utile plus tard, sans qu'elle ne se laisse confondre par les détails spécifiques du premier puzzle ?

Entrez dans la scène avec SkillRise, une nouvelle méthode qui agit comme un tuteur super intelligent pour les agents d'IA. Au lieu de faire oublier le passé à l'agent, SkillRise organise les tâches en une séquence de « montée en niveau », passant du plus facile au plus difficile. Pendant que l'agent joue, il fait deux choses à la fois : il essaie de résoudre le niveau actuel, et il agit comme un « conservateur » pour mettre à jour son propre journal de compétences. Imaginez un personnage de jeu vidéo qui, après avoir vaincu un boss, ne passe pas simplement au niveau suivant, mais écrit immédiatement une nouvelle entrée dans son journal : « Hé, souviens-toi que ce boss n'attaquait que quand tu étais à gauche. La prochaine fois, reste à droite. »

La magie de SkillRise réside dans la façon dont elle récompense l'IA. Elle donne des points pour la résolution de la tâche actuelle, mais elle donne aussi des points pour la qualité de l'aide que l'« entrée de journal » apporte pour résoudre les tâches futures. Cela encourage l'IA à noter des règles générales (comme « rester à droite ») plutôt que des détails spécifiques (comme « le boss s'appelait Bob »). Les chercheurs ont testé cela sur trois « mondes » différents : une maison où l'agent doit nettoyer et organiser (ALFWorld), une boutique en ligne où il doit acheter des articles spécifiques (WebShop), et un laboratoire scientifique où il réalise des expériences (ScienceWorld).

Les résultats ont été impressionnants. SkillRise ne s'est pas contenté de devenir meilleur dans les tâches spécifiques sur lesquelles il a été entraîné ; il a appris une façon d'apprendre. Lorsque les chercheurs lui ont donné des séquences de tâches liées plus longues à pratiquer, l'agent est devenu encore meilleur, ce qui suggère qu'il réutilisait réellement ses compétences plutôt que de simplement mémoriser des réponses. En fait, il a surpassé d'autres méthodes de pointe de manière significative, améliorant les taux de réussite jusqu'à 8,5 points de pourcentage. De plus, chose assez surprenante, même s'il a été entraîné sur des tâches différentes, il était toujours meilleur pour retenter la même tâche encore et encore que les méthodes conçues spécifiquement pour cela. Il a également fait tout cela beaucoup plus rapidement et avec moins de puissance de calcul que les anciennes méthodes qui nécessitaient des pipelines complexes à plusieurs étapes pour gérer la mémoire.

En résumé, SkillRise suggère que si vous voulez qu'une IA devienne plus intelligente, ne vous contentez pas de la laisser pratiquer ; apprenez-lui à tenir un carnet de notes évolutif et continu de sa propre sagesse. En séparant l'acte de « faire » de l'acte de « noter ce que nous avons appris », et en récompensant l'agent pour l'utilité de cette écriture face aux défis futurs, nous pouvons construire des agents qui ne font pas que résoudre des problèmes, mais qui développent réellement leurs propres stratégies pour devenir de meilleurs résolveurs de problèmes au fil du temps.

Résumé technique : SkillRise

Problématique

Les agents basés sur les grands modèles de langage (LLM) sont fréquemment confrontés à des flux de tâches connexes mais distinctes qui partagent des régularités sous-jacentes et des modèles de solutions réutilisables. Cependant, l'apprentissage par renforcement (RL) agentique standard traite généralement chaque tâche comme un épisode indépendant, jetant l'expérience acquise et forçant l'agent à explorer à nouveau depuis le début. Les approches existantes d'apprentissage de compétences souffrent de limitations spécifiques :

Spécificité à l'instance : Les méthodes qui tentent de manière répétée la même tâche produisent souvent des connaissances spécifiques à cette instance, échouant à se généraliser à travers différentes instances de tâches.
Enchevêtrement du pipeline : Les approches utilisant des banques de compétences externes ou des pipelines multi-étapes (impliquant des modules distincts d'extraction, de récupération et d'exécution) luttent avec l'attribution de crédit. Comme la performance en aval dépend de l'interaction de toutes ces étapes, il est difficile d'attribuer le succès ou l'échec spécifiquement à la qualité des compétences extraites.
Absence d'optimisation de bout en bout : Il existe un besoin pour un cadre unifié capable d'apprendre conjointement à résoudre des tâches et à organiser des compétences transférables sans pipelines de gestion externes complexes.

Méthodologie : SkillRise

Les auteurs introduisent SkillRise, un cadre d'apprentissage par renforcement unifié et de bout en bout conçu pour l'évolution des compétences inter-tâches. Le cadre opère sur une séquence de tâches distinctes mais liées, organisées de la plus simple à la plus complexe.

1. Construction de séquences inter-tâches

Les tâches sont regroupées par métadonnées de famille fournies par l'environnement (ex: catégories de produits dans WebShop, types d'objets dans ALFWorld) et ordonnées par difficulté. Cela crée une séquence $x = (x_1, \dots, x_K)$ où l'expérience des tâches antérieures est destinée à soutenir les tâches ultérieures.

2. Rollout à politique unique avec évolution des compétences

Une politique unique $\pi_\theta$ alterne entre deux rôles au sein de la séquence :

Résolution de tâche : L'agent résout la tâche actuelle $x_i$ en utilisant un document de compétence textuel évolutif $S_{i-1}$ (qui résume les compétences des tâches précédentes) comme contexte.
Organisation des compétences : À l'achèvement de la tâche, la même politique réécrit le document de compétence $S_{i-1}$ $S_{i - 1}$ en une nouvelle version $S_i$ $S_{i}$ . Ce processus implique de :
- Préserver les compétences utiles du document précédent.
- Consolider les procédures réussies ou les modes d'échec révélés dans la trajectoire actuelle.
- Supprimer les détails spécifiques à l'instance (abstraction) pour assurer la réutilisabilité.
- Le document révisé $S_i$ devient le seul canal d'information pour la tâche suivante $x_{i+1}$ .

3. Attribution de crédit découplée

Pour optimiser efficacement les deux rôles, SkillRise emploie un mécanisme d'attribution de crédit découplé et temporellement aligné :

Résolution de tâche : Supervisée uniquement par la récompense immédiate $r_i$ de la tâche actuelle.
Organisation des compétences : Supervisée par la somme actualisée des récompenses des tâches subséquentes ( $\sum_{j=i+1}^K \gamma^{j-i} r_j$ ). Cela garantit que la politique d'organisation est optimisée pour sa capacité à transférer de la valeur aux tâches futures, et non seulement pour la tâche actuelle.
Optimisation : Le cadre utilise une approche d'avantage relatif au groupe, comparant les retours entre des essais indépendants partageant la même position de tâche et la même phase (résolution vs organisation) pour calculer les avantages, qui sont ensuite utilisés dans une fonction d'objectif tronquée (similaire à PPO) pour mettre à jour la politique.

Contributions clés

Formulation : L'article formule l'apprentissage de compétences inter-tâches sur des séquences ordonnées d'instances de tâches distinctes, où les résultats des tâches ultérieures évaluent directement la transférabilité des compétences organisées à partir des interactions antérieures.
Cadre : Développement de SkillRise, un cadre de RL de bout en bout qui utilise une politique unique pour la résolution et l'organisation, couplé à une attribution de crédit inter-tâches découplée et une optimisation de groupe sensible au rôle.
Efficacité : La conception élimine le besoin de pipelines de gestion de compétences externes (ex: modules de récupération ou modèles enseignants séparés), offrant un paradigme d'entraînement compact.

Résultats expérimentaux

Les auteurs ont évalué SkillRise sur trois benchmarks interactifs textuels : ALFWorld, WebShop et ScienceWorld, en utilisant les modèles Qwen3-1.7B et Qwen3-4B.

Performance globale : SkillRise a obtenu la meilleure performance Pass@1 sur tous les benchmarks, surpassant la base la plus forte (GiGPO) de 2,3 à 8,5 points de pourcentage.
- ALFWorld : 85,9 % (contre 83,6 % pour GiGPO).
- WebShop : 84,4 % (contre 77,3 % pour GiGPO).
- ScienceWorld : 54,6 % (contre 46,1 % pour GiGPO).
Généralisation intra-tâche : Malgré un entraînement sur des séquences de tâches distinctes, SkillRise a surpassé les méthodes entraînées explicitement sur des tentatives répétées de la même tâche (ex: LaMer) lors de l'évaluation sur les Pass@2 et Pass@3 pour des tâches non vues. Cela suggère que la politique d'organisation apprise capture une stratégie générale pour convertir les résultats d'interaction en compétences exploitables.
Mise à l'échelle inter-tâches au moment du test (Test-Time Scaling) : La performance s'est améliorée de manière monotone à mesure que la longueur de la séquence de tâches liées ( $K$ ) augmentait au moment du test (ex: de 83,6 % à $K=2$ à 87,5 % à $K=6$ sur ALFWorld). Les méthodes concurrentes n'ont montré aucune croissance de ce type, indiquant que SkillRise réutilise et affine efficacement les compétences transférables à travers les tâches.
Efficacité : Comparé aux pipelines multi-étapes comme RetroAgent et SkillRL, SkillRise a atteint des taux de réussite comparables ou supérieurs tout en nécessitant seulement 1/6ème du temps d'exécution, car il supprime la surcharge de la maintenance et de la récupération de la mémoire externe.

Signification et affirmations

L'article affirme que SkillRise fournit un paradigme d'entraînement simple et efficace pour que les agents LLM extraient, affinent et réutilisent des compétences transférables à travers les tâches. Sa principale signification réside dans la démonstration que :

L'apprentissage de compétences inter-tâches peut être réalisé via une politique unifiée de bout en bout sans pipelines externes complexes.
Le découplage des signaux de supervision pour la résolution (résultat actuel) et l'organisation (résultats en aval) est critique pour apprendre les régularités transférables.
Les agents peuvent présenter une "mise à l'échelle au moment du test" où la performance s'améliore avec des séquences de tâches liées plus longues, même lorsque chaque tâche n'est tentée qu'une seule fois, suggérant un mécanisme robuste d'auto-amélioration par l'accumulation d'expérience.

Les auteurs notent des limitations, notamment la dépendance actuelle vis-à-vis des métadonnées de famille de tâches pour la construction des séquences et la restriction des expériences aux modèles allant jusqu'à 4B de paramètres et aux benchmarks textuels.