🤖 machine learning

Learning While Acting: A Skill-Enhanced Test-Time Co-Evolution Framework for Online Lifelong Learning Agents

Ce document propose LifeSkill, un cadre d'apprentissage par renforcement en deux étapes qui permet à des agents d'apprentissage continu (lifelong learning) d'internaliser continûment le feedback lors du test dans leurs paramètres grâce à l'extraction de compétences guidée par un vérificateur et à l'internalisation de compétences en ligne, surmontant ainsi les limites des approches statiques basées sur la recherche et améliorant considérablement les performances sur les tâches à long horizon.

Auteurs originaux : Bo Mao, Jie Zhou, Yutao Yang, Xin Li, Xian Wei, Qin Chen, Xingjiao Wu, Liang He

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bo Mao, Jie Zhou, Yutao Yang, Xin Li, Xian Wei, Qin Chen, Xingjiao Wu, Liang He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à jouer à un jeu vidéo complexe. Dans l'ancienne méthode, si le robot échouait un niveau, il se contentait d'écrire une note dans un carnet : « Ne saute pas ici », puis essayait de se souvenir de cette note la fois suivante. Le cerveau du robot (son code interne) ne changeait jamais ; il se contentait de feuilleter son carnet pour éviter les erreurs.

Le document LifeSkill propose une nouvelle façon d'entraîner ces agents IA afin qu'ils ne se contentent pas de se souvenir des erreurs, mais qu'ils apprennent réellement de celles-ci en modifiant le fonctionnement de leur cerveau.

Voici comment le système fonctionne, décomposé en étapes simples :

1. Le Problème : La limitation du « Carnet de notes »

Les agents IA actuels sont comme des étudiants qui ont l'interdiction d'étudier la matière ; ils peuvent seulement consulter une antisèche (une banque de mémoire) pendant l'examen.

Le problème : Si l'IA échoue à une tâche, elle peut écrire une réflexion du type « J'aurais dû être plus prudent ». Mais cette réflexion reste sous forme de texte dans un carnet. Le « cerveau » réel de l'IA (ses paramètres) ne change pas. Elle doit continuer à relire le carnet à chaque fois, ce qui devient désordonné et lent à mesure que le carnet s'accumule.

2. La Solution : « Apprendre en agissant »

Les auteurs ont créé un processus en deux étapes appelé LifeSkill. Considérez cela comme un entraîneur et un étudiant travaillant ensemble en temps réel.

Étape A : L'entraîneur trouve la bonne leçon (Apprentissage de compétences guidé par un vérificateur)

Lorsque l'IA (l'étudiant) échoue à une tâche, elle doit comprendre pourquoi.

L'ancienne méthode : L'IA pourrait simplement deviner une raison qui semble intelligente, comme « Je dois être plus poli », même si cela n'aide pas à résoudre le problème mathématique.
La méthode LifeSkill : L'IA génère plusieurs « leçons » (compétences) possibles. Ensuite, un Vérificateur strict (comme un arbitre) teste chaque leçon.
- Analogie : Imaginez que l'IA essaie de réparer une voiture en panne. Elle suggère trois outils : un marteau, une clé et un tournevis. L'arbitre essaie d'utiliser chaque outil sur la voiture. Si la clé répare réellement le moteur, l'IA reçoit une récompense pour avoir suggéré la clé. Si le marteau ne fait que du bruit, elle ne reçoit aucune récompense.
- Résultat : L'IA apprend à extraire des compétences utiles (comme « utiliser une clé ») plutôt que du texte simplement plausible.

Étape B : L'étudiant intériorise la leçon (Intériorisation de compétences en ligne)

Une fois que l'IA a trouvé une compétence qui fonctionne (ex: « Utiliser la clé »), elle ne devrait pas simplement l'écrire dans le carnet pour la prochaine fois. Elle doit la mémoriser.

La Magie : Le système prend la tentative réussie où l'IA a utilisé la compétence « utiliser la clé », supprime l'instruction « utiliser la clé », et entraîne le cerveau de l'IA à résoudre le problème sans l'instruction.
Analogie : Imaginez un chef apprenant à cuisiner un gâteau. Au début, ils ont besoin d'une fiche de recette qui dit : « Ajouter du sucre ». Une fois qu'ils maîtrisent l'étape, vous retirez la fiche. S'ils sont toujours capables de cuisiner le gâteau parfaitement sans la fiche, c'est qu'ils ont véritablement appris la compétence.
Résultat : Le cerveau de l'IA se met à jour. Elle n'a plus besoin de consulter une leçon dans un carnet ; le savoir fait désormais partie de son ADN.

3. Les Résultats : Un apprenant plus intelligent et plus rapide

Les chercheurs ont testé cela sur un benchmark appelé LifelongAgentBench, qui implique des tâches telles que la gestion de bases de données, de systèmes d'exploitation et de graphes de connaissances.

Le Score : LifeSkill a battu toutes les autres méthodes avec une marge significative (améliorant la performance moyenne de 7 points).
Pourquoi il a gagné :
- Les méthodes sans entraînement (utilisant simplement un carnet de notes) sont restées bloquées car elles ne pouvaient pas changer leur cerveau.
- Les autres méthodes d'entraînement tentaient d'apprendre, mais n'avaient pas de bonne façon de déterminer quoi apprendre à partir des échecs.
- LifeSkill a réussi car il a combiné la recherche de la bonne leçon (via le Vérificateur) avec la mémorisation de cette leçon (via l'Intériorisation).

Résumé

En bref, LifeSkill transforme un agent IA, passant d'un étudiant qui dépend d'une pile croissante de fiches de révision à un maître qui apprend et s'adapte réellement en faisant le travail. Cela empêche l'IA de simplement « récupérer » des expériences passées et commence à les « intérioriser », rendant l'agent plus intelligent et plus efficace au fil du temps sans avoir besoin de transporter une immense bibliothèque de textes.

Résumé Technique : LifeSkill – Co-évolution par l'amélioration des compétences au moment de l'exécution pour les agents d'apprentissage continu en ligne

1. Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) opérant dans des environnements dynamiques et interactifs nécessitent des capacités d'apprentissage continu (lifelong learning) pour s'adapter à l'évolution des distributions de tâches et accumuler des connaissances à partir de l'expérience. Cependant, les approches existantes souffrent de trois limitations critiques :

Paramètres statiques : La plupart des agents conservent des paramètres de modèle fixes pendant le déploiement, s'appuyant uniquement sur la récupération de mémoire externe (ex. : Synapse, AWM) pour améliorer leurs performances. Cela empêche un véritable apprentissage durant la phase d'interaction.
Supervision insuffisante des compétences : Bien que les agents puissent résumer des trajectoires ou réfléchir à leurs échecs, l'extraction de compétences réutilisables à partir des retours d'interaction manque d'une supervision fiable ancrée dans l'exécution. Les méthodes actuelles reposent souvent sur des juges LLM subjectifs ou des résumés heuristiques plutôt que sur le succès de la tâche.
Représentation de la connaissance externe : La connaissance acquise est typiquement stockée sous forme de texte externe discret. Cela empêche le modèle d'internaliser, de composer et de généraliser ces compétences comme faisant partie de sa connaissance paramétrique, entraînant un gonflement du contexte et une incapacité à transformer l'expérience en une capacité durable.

Le défi central est de permettre aux agents de s'améliorer continuellement pendant qu'ils agissent dans l'environnement, en convertissant le feedback au moment de l'exécution en une croissance paramétrique persistante sans dépendre uniquement de l'inférence statique ou de la récupération de mémoire externe.

2. Méthodologie : Cadre LifeSkill

Les auteurs proposent LifeSkill, un cadre d'apprentissage par renforcement à deux étapes conçu pour les agents d'apprentissage continu en ligne. Le cadre opère sur un flux de tâches ( $D_{stream}$ ) et maintient deux modèles possédant le même squelette (backbone) mais des paramètres distincts :

Modèle de politique ( $\pi_\theta$ ) : Exécute les tâches.
Modèle d'extraction de compétences ( $\pi_\phi$ ) : Distille des compétences réutilisables à partir des interactions infructueuses.

Ces modèles participent à une boucle de co-évolution au moment de l'exécution composée de deux mécanismes clés :

A. Apprentissage de compétences guidé par vérificateur (VGSL - Verifier-Guided Skill Learning)

Cette étape traite le manque de supervision directe pour l'extraction de compétences.

Processus : Lorsque le Modèle de politique échoue à une tâche ( $r=0$ ), le Modèle d'extraction de compétences génère des compétences candidates ( $s$ ) basées sur la trajectoire d'échec.
Évaluation : Au lieu d'utiliser un juge LLM subjectif, chaque compétence candidate est évaluée par le succès moyen du vérificateur de plusieurs déroulements de politique conditionnés par la compétence ( $K_\tau$ trajectoires par compétence).
Optimisation : Le Modèle d'extraction de compétences est entraîné à l'aide de l'objectif DAPO (Direct Preference Optimization). L'utilité d'une compétence est définie par son taux de succès empirique ( $R_i$ ). Les compétences qui mènent à des taux de succès de vérification plus élevés sont récompensées, entraînant l'extracteur à générer des compétences qui sont ancrées dans l'exécution plutôt que simplement plausibles textuellement.

B. Internalisation des compétences en ligne (OSI - Online Skill Internalization)

Cette étape traite le décalage entre l'exploration guidée par les compétences et la nécessité d'une adaptation paramétrique.

Processza : Pour les trajectoires réussies où une compétence a guidé l'agent vers une solution ( $r=1$ ), le texte explicite de la compétence est supprimé du contexte d'entrée.
Optimisation : Le Modèle de politique est mis à jour en utilisant la récompense du vérificateur associée à la trajectoire, conditionnée uniquement sur l'entrée de la tâche originale ( $q$ ), et non sur la compétence ( $s$ ).
Objectif : Cela force le modèle à internaliser les capacités de raisonnement et les comportements découverts lors de l'exploration guidée par la compétence directement dans ses paramètres. Cela transforme les comportements « échafaudés » (scaffolded) en connaissances paramétriques « non échafaudées », éliminant le besoin de régénérer ou de récupérer le texte de la compétence lors des interactions futures.

3. Contributions clés

Cadre LifeSkill : Un nouveau cadre d'apprentissage par renforcement à deux étapes qui permet aux agents LLM d'apprentissage continu de s'améliorer pendant le déploiement, allant au-delà de l'inférence à paramètres statiques avec mémoire externe.
Apprentissage de compétences guidé par vérificateur : Une méthode pour entraîner un extracteur de compétences en utilisant des retours ancrés dans l'exécution (taux de succès du vérificateur) plutôt que des scores subjectifs, garantissant que les compétences extraites sont pratiquement utiles pour la résolution de tâches.
Internalisation des compétences en ligne : Un mécanisme pour convertir les trajectoires réussies guidées par les compétences en améliorations de politique non échafaudées, permettant à l'agent d'absorber les capacités de raisonnement dans ses paramètres et de réduire la dépendance au texte récupéré.
Validation empirique : Des expériences approfondies démontrant que le couplage de l'extraction de compétences ancrée dans l'exécution avec l'adaptation paramétrique en ligne produit des performances supérieures par rapport aux bases de référence existantes.

4. Résultats expérimentaux

Le cadre a été évalué sur LifelongAgentBench, un benchmark pour l'adaptation continue dans des tâches interactives à long terme à travers trois environnements : Base de données (DB), Système d'exploitation (OS) et Graphe de connaissances (KG).

Performance : LifeSkill a atteint une précision moyenne de 0,59, surpassant la base de référence sans entraînement la plus forte (Group Self-Consistency) de 10 points absolus et la base de référence avec entraînement la plus forte (RFT) de 7 points absolus.
Spécificités de l'environnement :
- DB : LifeSkill a atteint 0,82 (contre 0,63 pour la meilleure base de référence).
- OS : LifeSkill a atteint 0,64 (contre 0,56 pour la meilleure base de référence).
- KG : LifeSkill a obtenu 0,32, légèrement en dessous de la meilleure base de référence sans entraînement (0,36). Les auteurs attribuent cela à la parcimonie des signaux de récompense binaire dans les tâches de KG à long terme, ce qui affaiblit le signal d'apprentissage tant pour l'extraction de compétences que pour l'internalisation.
Études d'ablation :
- Remplacer le VGSL par une supervision par juge LLM a réduit la performance, confirmant la nécessité des récompenses ancrées dans l'exécution.
- Supprimer le Modèle d'extraction de compétences a causé la chute de performance la plus importante, soulignant la valeur de la co-évolution des deux modèles.
- Désactiver l'OSI a réduit la performance, prouvant que l'extraction de compétences seule est insuffisante sans internalisation dans les paramètres.
Hyperparamètres : La performance s'est améliorée avec l'augmentation du calcul au moment de l'exécution (plus de déroulements) jusqu'à un point de saturation (4 déroulements), et les tailles de fenêtre optimales variaient selon l'environnement (DB favorisait des fenêtres plus petites pour des mises à jour plus rapides ; OS favorisait des fenêtres plus larges pour la stabilité).

5. Signification et affirmations

L'article affirme que LifeSkill représente une étape significative vers une véritable adaptation continue pour les agents LLM. En traitant les compétences comme une interface d'apprentissage intermédiaire qui guide l'exploration et est ensuite internalisée, le cadre comble le fossé entre la récupération d'expérience et l'apprentissage paramétrique.

Les auteurs soulignent que leur approche permet aux agents de :

Apprendre quelles compétences extraire des échecs en utilisant des vérificateurs fiables et spécifiques aux tâches.
Effectuer des mises à jour de paramètres en ligne pendant le déploiement, plutôt que de compter uniquement sur la mémoire externe.
Internaliser les comportements réussis sous l'entrée de la tâche originale, réduisant la dépendance à long terme au texte récupéré et atténuant le gonflement du contexte.

Le travail suggère que si les agents actuels peuvent récupérer l'expérience, LifeSkill démontre une voie pour transformer efficacement cette expérience en une capacité interne et durable. Les travaux futurs sont identifiés comme l'amélioration des performances dans les contextes à récompense parcimonieuse et à long terme, ainsi que la réduction des coûts de calcul associés à l'exploration guidée par les compétences.