AutoSkill: Experience-Driven Lifelong Learning via Skill Self-Evolution

Le document présente AutoSkill, un cadre d'apprentissage continu et évolutif qui permet aux agents LLM de transformer automatiquement les interactions passées en compétences réutilisables et personnalisables sans nécessiter de réentraînement du modèle sous-jacent.

L'essentiel

Imaginez que vous avez un assistant personnel très intelligent, mais un peu amnésique. À chaque fois que vous lui demandez quelque chose, il doit tout réapprendre depuis zéro. Si vous lui dites : « Écris-moi un email comme un avocat, mais sans le jargon technique », il le fait bien une fois. Mais la prochaine fois, il oublie et vous renvoie un texte trop compliqué. Vous devez alors lui répéter la même chose, encore et encore.

C'est là qu'intervient AutoSkill, présenté dans ce papier de recherche.

🧠 L'Analogie du "Carnet de Recettes Magique"

Pour comprendre AutoSkill, imaginez que votre assistant ne se contente pas de mémoriser des conversations (comme un journal intime), mais qu'il écrit des recettes de cuisine à partir de vos habitudes.

1. Le Problème : Habituellement, si vous cuisinez un plat avec un certain style (peu de sel, beaucoup d'herbes), vous devez le dire à chaque fois. L'assistant ne "devient" pas meilleur avec le temps, il reste le même.
2. La Solution AutoSkill : À chaque fois que vous donnez une instruction précise ou que vous corrigez l'assistant, AutoSkill ne stocke pas juste le texte. Il écrit une nouvelle recette (qu'il appelle un "Skill" ou "Compétence").
   • Exemple : Au lieu de retenir "L'utilisateur veut un ton formel", il crée une fiche technique intitulée "Style Formel" avec des règles précises : "Pas de slang, phrases courtes, vocabulaire professionnel".

🔄 Comment ça marche ? (Le Cycle de Vie)

AutoSkill fonctionne comme un chef qui perfectionne ses recettes au fil du temps :

• L'Observation (Extraction) : L'assistant écoute vos demandes. S'il remarque que vous demandez souvent la même chose (par exemple : "Ne fais pas d'erreurs de grammaire" ou "Utilise toujours des émojis"), il détecte un motif.
• La Création de la Recette (Skill) : Il transforme ce motif en une fiche structurée, claire et lisible (un fichier spécial). C'est comme passer d'une pensée vague à une règle écrite noir sur blanc.
• La Mise à Jour (Évolution) : C'est la partie géniale. Si vous changez d'avis ou si vous ajoutez une précision (par exemple : "Maintenant, ajoute aussi des émojis pour les titres"), AutoSkill ne jette pas l'ancienne fiche. Il met à jour la recette (comme une version 2.0 d'un logiciel). Il fusionne l'ancienne et la nouvelle information.
• L'Utilisation (Réutilisation) : La prochaine fois que vous demandez quelque chose, l'assistant consulte son carnet de recettes. Il cherche la fiche "Style Formel" ou "Émojis", la lit, et l'applique automatiquement à sa réponse.

🛠️ Pourquoi c'est révolutionnaire ?

Dans le monde de l'intelligence artificielle, il existe deux façons habituelles d'apprendre :

1. Réentraîner le cerveau : C'est comme envoyer l'assistant à l'école pendant des mois pour qu'il apprenne vos préférences. C'est cher, lent et compliqué.
2. Se souvenir du passé : C'est comme lui donner un gros livre de conversations passées. Il peut chercher dedans, mais c'est souvent lent et il ne comprend pas toujours pourquoi il doit agir d'une certaine manière.

AutoSkill, lui, fait quelque chose de différent : Il ne change pas le cerveau de l'assistant. Il ne le réentraîne pas. À la place, il lui donne un kit d'outils extérieurement modifiable.

• C'est comme si vous donniez à un cuisinier un livre de recettes que vous pouvez modifier vous-même. Vous n'avez pas besoin de changer le cuisinier, vous changez juste ses instructions.

🌟 Les Avantages Concrets

• Transparence : Vous pouvez ouvrir le fichier "Recette" et lire exactement ce que l'assistant a appris. Vous pouvez le corriger si vous vous trompez.
• Partage : Vous pouvez prendre une "Recette" que vous avez créée (par exemple, "Comment rédiger un CV parfait") et la donner à un ami. Son assistant aura alors la même compétence, sans avoir besoin de réapprendre.
• Économie : Pas besoin de réentraîner de gros modèles coûteux. C'est léger, rapide et ça fonctionne avec n'importe quel assistant existant.

En résumé

AutoSkill, c'est la capacité d'un assistant à transformer vos petites habitudes répétitives en compétences durables et réutilisables. Au lieu de simplement "se souvenir" de ce que vous avez dit, il apprend à agir selon vos règles, comme un apprenti qui perfectionne son métier jour après jour, sans jamais oublier ses leçons.

C'est le passage d'un assistant qui "écoute" à un assistant qui "comprend et s'adapte" de manière permanente.

Résumé technique

Résumé Technique : AutoSkill

1. Problématique

Dans les applications pratiques des grands modèles de langage (LLM), les utilisateurs expriment régulièrement des préférences stables et des exigences opérationnelles (par exemple : éviter les hallucinations, suivre un style d'écriture institutionnel, éviter le jargon technique, ou adhérer à un flux de travail spécifique). Cependant, l'expérience d'interaction accumulée est rarement consolidée en connaissances réutilisables.

Les approches actuelles présentent des limites majeures :

• Mise à jour des paramètres : Les méthodes d'auto-évolution ou de rétroaction sont coûteuses et difficiles à contrôler pour une personnalisation fréquente et fine.
• Mémoire basée sur la récupération (RAG) : Elles stockent souvent l'interaction comme du texte brut à récupérer, plutôt que comme un comportement opérationnel.
• Compétences implicites : Les stratégies d'agents restent souvent cachées dans les prompts ou les trajectoires, sans mécanisme unifié pour leur inspection, leur édition ou leur maintenance à long terme.

Le défi central est de transformer l'expérience d'interaction éphémère en compétences explicites, réutilisables et maintenables, permettant aux agents de langage de devenir de véritables « substituts numériques personnels » sans réentraînement du modèle de base.

2. Méthodologie : AutoSkill

AutoSkill est un cadre d'apprentissage continu sans entraînement (training-free) qui externalise les capacités réutilisables sous forme de compétences explicites (artefacts). Le système ne modifie pas les paramètres du modèle LLM ; il agit comme une couche de plug-in agnostique.

Architecture et Flux de Travail

Le système repose sur deux boucles couplées :

1. Génération de réponse améliorée par les compétences (Boucle de service) :

   • Réécriture de requête : Un module transforme la requête utilisateur actuelle en une requête de recherche autonome pour identifier les compétences pertinentes.
   • Récupération hybride : Combinaison de scores de similarité sémantique dense (embeddings) et de correspondance lexicale (BM25) pour récupérer les compétences les plus pertinentes depuis la banque de compétences (SkillBank).
   • Génération conditionnelle : Les compétences récupérées sont injectées dans le contexte du prompt du LLM pour guider la réponse sans modifier le modèle.

2. Évolution des compétences (Boucle d'apprentissage en arrière-plan) :

   • Extraction : À partir des requêtes utilisateur (et non des réponses du modèle), un module extrait des candidats de compétences réutilisables (contraintes, workflows, préférences).
   • Gestion et Décision : Un juge compare le candidat extrait avec les compétences existantes les plus similaires. Il décide de trois actions :
     • Ajouter : Créer une nouvelle compétence.
     • Fusionner (Merge) : Intégrer les nouvelles contraintes dans une compétence existante.
     • Rejeter : Ignorer les demandes éphémères ou bruyantes.
   • Versionnage : Lors d'une fusion, la compétence est mise à jour avec un numéro de version incrémenté (ex: v0.1.0 -> v0.1.1), permettant un raffinement itératif.

Représentation des Compétences

Les compétences sont stockées sous forme d'artefacts structurés (fichiers SKILL.md) contenant :

• Nom et Description : Identité et contexte d'usage.
• Prompt d'instruction : Instructions exécutables (rôle, contraintes, style, workflow).
• Déclencheurs (Triggers) et Tags : Pour la récupération.
• Exemples et Historique de versions : Pour la traçabilité.

3. Contributions Clés

1. Formalisation du problème : Transformation de l'expérience d'interaction en compétences explicites et réutilisables pour les agents LLM personnalisés.
2. Cycle de vie des compétences : Proposition d'un cycle complet (extraction, représentation structurée, raffinement itératif, récupération, réutilisation) permettant une évolution continue sans modification des paramètres du modèle de base.
3. Artéfacts éditables et versionnés : Contrairement aux approches basées sur la mémoire implicite, AutoSkill rend les compétences transparentes, modifiables par l'humain et maintenables à long terme.
4. Système déployable et open-source : Implémentation d'un système fonctionnel compatible avec les pipelines d'agents existants, offrant une voie pratique vers des agents personnalisés à vie.

4. Résultats et Analyse Expérimentale

Les auteurs ont évalué AutoSkill sur le corpus WildChat-1M (1 million d'interactions réelles avec ChatGPT), en filtrant les conversations de plus de 8 tours.

• Statistiques de la banque de compétences (SkillBank) :

  • Sur quatre sous-ensembles (Chinois/Anglais, GPT-3.5/GPT-4), le système a extrait des centaines de compétences (ex: 631 compétences pour le sous-ensemble Anglais GPT-3.5).
  • Domaines dominants : Le développement logiciel (Python, JavaScript, C++), la création de contenu, et les tâches de données/AI.
  • Tags fréquents : python, javascript, excel, creative writing, formatting.

• Évolution et Raffinement :

  • L'analyse des versions montre que les compétences fréquemment utilisées subissent un raffinement itératif. Par exemple, une compétence de réécriture de texte professionnelle a atteint la version 0.1.34, indiquant 34 itérations d'optimisation basées sur les retours utilisateurs.
  • À l'inverse, des compétences spécialisées (ex: « Conseiller psychologique de haut niveau ») restent à des versions initiales (0.1.0) si elles sont moins sollicitées, démontrant que le système ne duplique pas les compétences mais les affine dynamiquement.

• Études de cas :

  • Le système a réussi à extraire des compétences variées, allant de comportements interpersonnels (style de counseling empathique) à des procédures opérationnelles strictes (génération de scripts Selenium, rédaction de posts « Xiaohongshu » avec emojis spécifiques).
  • La structure SKILL.md permet une inspection humaine directe, confirmant la transparence du système.

5. Signification et Impact

AutoSkill représente une avancée significative vers des agents personnels à apprentissage continu.

• Paradigme Shift : Il déplace l'unité d'accumulation de la connaissance de la « mémoire brute » (texte) vers la « connaissance comportementale » (compétences opérationnelles).
• Contrôlabilité et Transparence : En externalisant les compétences sous forme de fichiers lisibles et éditables, le système résout le problème de la « boîte noire » des ajustements de politique implicite. Les développeurs et utilisateurs peuvent inspecter, corriger et fusionner les règles.
• Évolutivité : L'approche sans entraînement (training-free) rend le système économiquement viable et facile à déployer sur n'importe quel LLM existant, évitant les coûts prohibitifs du fine-tuning continu.
• Interopérabilité : La représentation standardisée des compétences permet leur partage et leur transfert entre différents agents, utilisateurs et tâches, favorisant un écosystème de compétences réutilisables.

En conclusion, AutoSkill offre une voie pratique et scalable pour transformer les interactions éphémères en capacités durables, rapprochant les agents de langage de l'idéal de substituts numériques personnels qui apprennent et s'adaptent continuellement à leurs utilisateurs.