🤖 AI

EvoSkill: Automated Skill Discovery for Multi-Agent Systems

Le papier présente EvoSkill, un cadre d'évolution automatique qui découvre et affine des compétences d'agents réutilisables par une analyse itérative des échecs, démontrant des gains de performance significatifs sur des benchmarks de raisonnement et de recherche tout en favorisant le transfert zéro-shot entre tâches.

Auteurs originaux : Salaheddin Alzubi, Noah Provenzano, Jaydon Bingham, Weiyuan Chen, Tu Vu

Publié 2026-03-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Salaheddin Alzubi, Noah Provenzano, Jaydon Bingham, Weiyuan Chen, Tu Vu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant très intelligent, capable de coder et de résoudre des problèmes complexes. C'est comme un génie du code qui peut tout faire. Mais voici le problème : ce génie est un peu comme un étudiant brillant qui a lu tous les livres du monde, mais qui n'a jamais travaillé dans un bureau, ni cherché des informations sur le web de manière stratégique. Il manque d'expérience pratique dans des domaines spécifiques.

C'est là qu'intervient EvoSkill.

Le Concept : L'Atelier de l'Apprentissage Automatique

Imaginez que ce génie (l'agent) travaille dans un grand atelier. Au début, il n'a que ses outils de base. Il essaie de répondre à des questions, mais il fait des erreurs.

EvoSkill est un système d'apprentissage automatique qui agit comme un maître artisan invisible. Voici comment il fonctionne, étape par étape, avec une analogie simple :

1. L'Observation des Erreurs (Le Diagnostic)

Quand le génie se trompe (par exemple, il lit mal un chiffre dans un tableau financier ou il abandonne trop vite une recherche sur Google), EvoSkill ne se contente pas de dire "C'est faux". Il regarde pourquoi il s'est trompé.

Analogie : C'est comme un coach de sport qui regarde une vidéo d'un match. Il ne dit pas juste "Tu as perdu", il dit : "Tu as couru trop vite au début et tu t'es essoufflé à la fin."

2. La Création de "Fiches Mémo" (Les Compétences)

Au lieu de réécrire tout le cerveau du génie (ce qui serait trop long et risqué), EvoSkill crée de petites fiches mémo (qu'ils appellent des "skills" ou compétences).

Ces fiches sont comme des recettes de cuisine ou des modes d'emploi.
Exemple 1 : Une fiche pour "Vérifier les chiffres". Elle dit : "Quand tu lis un tableau, ne te fie pas à ton premier regard. Vérifie deux fois les cellules voisines."
Exemple 2 : Une fiche pour "La Persistance de la Recherche". Elle dit : "Si tu ne trouves pas la réponse après 2 recherches, ne lâche pas ! Change tes mots-clés, cherche sur 3 sites différents."

3. Le Cycle d'Évolution (L'Entraînement)

Le système fait cela en boucle :

Le génie essaie une tâche.
Il échoue.
EvoSkill écrit une nouvelle fiche mémo pour corriger cette erreur spécifique.
Le génie essaie à nouveau avec cette nouvelle fiche.
Si ça marche mieux, la fiche reste dans son atelier. Si ça empire, on la jette.

C'est comme si vous appreniez à conduire : vous faites une erreur (vous brûlez un feu rouge), votre instructeur vous donne une règle (regardez toujours le feu avant de tourner), et vous l'appliquez la prochaine fois. Au fil du temps, vous accumulez un carnet de règles parfait pour devenir un chauffeur expert.

Les Résultats Magiques

Les chercheurs ont testé EvoSkill sur deux terrains de jeu très différents :

Le Bureau Financier (OfficeQA) : Des questions complexes sur des documents du Trésor américain.
- Résultat : Le génie est passé de 60% de réussite à 68%. Il a appris à lire les tableaux financiers comme un expert-comptable.
La Recherche Web (SealQA) : Trouver des faits précis sur internet, même quand les résultats sont bruyants ou trompeurs.
- Résultat : La réussite est passée de 26% à 38%. Le génie a appris à ne pas abandonner et à vérifier ses sources.

Le Super-Pouvoir : La Transfert de Compétences

C'est la partie la plus fascinante. Imaginez que vous apprenez à nager dans une piscine (la tâche SealQA). Normalement, cela ne vous aide pas à skier. Mais avec EvoSkill, c'est différent.

Les chercheurs ont pris la "fiche mémo" sur la persistance dans la recherche (apprise sur SealQA) et l'ont donnée à l'agent pour un tout nouveau jeu : BrowseComp (trouver des faits très précis).

Résultat : Même sans aucune modification, l'agent a amélioré ses résultats de 5,3%.
Pourquoi ? Parce que la compétence n'était pas "comment chercher sur ce site précis", mais "comment chercher en général avec persistance". C'est comme si apprendre à nager vous avait appris à respirer correctement, ce qui vous aide aussi à courir.

En Résumé

EvoSkill, c'est comme un système de formation continue automatique pour les intelligences artificielles.

Au lieu de reprogrammer le cerveau de l'IA (ce qui est difficile), on lui donne des outils et des règles (des compétences) qu'elle peut réutiliser partout.
Ces règles s'améliorent toutes seules en analysant les échecs.
Le résultat ? Une IA qui devient progressivement un expert dans n'importe quel domaine, capable de transférer ses bonnes habitudes d'un problème à l'autre.

C'est la différence entre avoir un robot qui sait juste exécuter des commandes, et avoir un robot qui sait apprendre de ses erreurs et construire sa propre bibliothèque de savoir-faire.

1. Problématique

Les agents de codage (tels que Claude Code, OpenHands, Codex) sont devenus des solveurs de problèmes polyvalents grâce à leur capacité à utiliser le code comme représentation intermédiaire flexible. Cependant, leur flexibilité intrinsèque ne leur confère pas l'expertise de domaine nécessaire pour accomplir des tâches spécialisées avec une constance élevée.

Les approches actuelles tentent de combler ce fossé en introduisant des "compétences" (skills) : des workflows réutilisables et du code spécifique au domaine. Néanmoins, la majorité de ces compétences sont créées manuellement, ce qui est coûteux et ne se généralise pas bien. De plus, les méthodes d'évolution existantes (comme AlphaEvolve ou GEPA) optimisent des artefacts de bas niveau (prompts ou fragments de code) qui sont fortement couplés à un modèle et une tâche spécifiques, limitant ainsi leur réutilisabilité et leur transférabilité.

Le défi principal est donc de développer un cadre capable de découvrir et d'affiner automatiquement des compétences d'agents réutilisables et interprétables, sans modifier le modèle sous-jacent, et qui puissent se transférer à de nouvelles tâches.

2. Méthodologie : Le Framework EvoSkill

EvoSkill est un cadre d'auto-évolution qui opère à un niveau d'abstraction supérieur (le niveau de la compétence) plutôt qu'au niveau des artefacts bruts. Il repose sur une boucle itérative d'analyse des échecs guidée par un feedback textuel.

Architecture et Agents

Le système fait collaborer trois agents distincts :

Agent Exécuteur (A) : Exécute les tâches en utilisant le programme d'agent actuel (comprenant le prompt système et les compétences accumulées).
Agent Proposeur (P) : Analyse les traces d'exécution, les réponses prédites et les réponses de vérité terrain (ground truth) pour diagnostiquer les échecs. Il propose soit une nouvelle compétence, soit une modification d'une compétence existante. Il utilise un historique de feedback cumulatif ( $H$ ) pour éviter les propositions redondantes et affiner les stratégies.
Agent Constructeur de Compétences (S) : Transforme la proposition textuelle du Proposeur en un dossier de compétence structuré et réutilisable. Ce dossier contient des métadonnées de déclenchement, des instructions procédurales (SKILL.md) et des scripts d'aide (Python/TypeScript).

Boucle d'Évolution (Algorithme 1)

Le processus fonctionne selon une boucle d'optimisation de type "Frontière de Pareto" :

Sélection : Un programme parent est sélectionné parmi une frontière ( $G$ ) des $k$ meilleurs programmes (basée sur un score de validation).
Collecte d'échecs : Le parent est évalué sur un lot d'entraînement. Les exemples échouant en dessous d'un seuil forment l'ensemble d'échec ( $F$ ).
Proposition : L'Agent Proposeur analyse $F$ et l'historique $H$ pour générer une proposition de compétence ( $\pi$ ).
Construction : L'Agent Constructeur matérialise $\pi$ en un nouveau programme candidat ( $\tilde{p}$ ) en ajoutant/modifiant le dossier de compétences.
Évaluation et Mise à jour : Le candidat est évalué sur un ensemble de validation maintenu à l'écart. Si son score est supérieur à celui du membre le plus faible de la frontière, il l'remplace.
Itération : Le processus se répète. Le modèle sous-jacent reste figé ; seule la bibliothèque de compétences et les métadonnées évoluent.

Représentation des Compétences

Les compétences sont stockées sous forme de dossiers structurés (format standardisé SKILL.md + scripts), permettant une réutilisation directe et une interprétabilité humaine.

3. Contributions Clés

Cadre EvoSkill : Une méthode pour découvrir et affiner automatiquement des compétences d'agents réutilisables via l'analyse itérative des échecs, opérant au niveau de l'abstraction de la compétence plutôt que sur des prompts ou du code bas niveau.
Améliorations Significatives : Démonstration de gains substantiels sur deux benchmarks distincts en utilisant de petits sous-ensembles de données d'entraînement.
Transférabilité Zero-Shot : Preuve que les compétences évoluées par EvoSkill se transfèrent à des tâches non vues sans modification, prouvant que l'optimisation au niveau de la compétence produit des capacités généralisables.

4. Résultats Expérimentaux

Les auteurs ont évalué EvoSkill sur deux benchmarks et un test de transfert :

OfficeQA (Raisonnement ancré sur les données du Trésor US) :
- Contexte : Raisonnement sur des documents complexes (bulletins du Trésor) et extraction de données numériques.
- Résultat : Amélioration de la précision exacte de 60,6 % à 67,9 % (+7,3 %) avec un modèle Claude Code Opus 4.5, en utilisant seulement 5 à 15 % des données d'entraînement.
- Observation : La fusion de compétences découvertes lors de runs indépendants a permis d'atteindre le meilleur résultat, suggérant que les échecs découverts sont complémentaires.
SealQA (QA augmenté par la recherche avec du bruit) :
- Contexte : Réponses à des questions factuelles avec des résultats de recherche web bruyants ou contradictoires.
- Résultat : Amélioration de la précision de 26,6 % à 38,7 % (+12,1 %).
- Découverte : Le système a généré une compétence "protocole de persistance de recherche" (search-persistence-protocol) qui force l'agent à explorer exhaustivement avant de conclure.
Transfert Zero-Shot (SealQA $\to$ BrowseComp) :
- Expérience : La compétence "protocole de persistance de recherche" découverte sur SealQA a été appliquée sans aucune modification à la tâche BrowseComp (un benchmark de navigation web).
- Résultat : Amélioration de la précision de 5,3 % (de 43,5 % à 48,8 %).
- Signification : Cela démontre que les compétences découvertes ne sont pas sur-ajustées (overfitting) à la tâche d'entraînement mais capturent des capacités générales transférables.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'optimisation des agents IA :

De l'optimisation d'artefacts à l'optimisation de compétences : Au lieu d'optimiser des prompts ou des lignes de code spécifiques à une tâche, EvoSkill construit des modules de capacité réutilisables.
Interprétabilité et Modularité : Les compétences générées sont des dossiers lisibles par l'homme avec des instructions claires, contrairement aux "boîtes noires" des ajustements de poids ou des prompts complexes.
Efficacité des données : Le système apprend efficacement à partir de très petits ensembles de données (quelques exemples par tâche) en se concentrant sur l'analyse des échecs.
Généralisation : La capacité à transférer des compétences entre des domaines radicalement différents (extraction de tableaux financiers vs recherche web) suggère que l'optimisation au niveau de la compétence est une voie prometteuse pour créer des agents plus robustes et adaptatifs.

En conclusion, EvoSkill propose une voie viable pour doter les agents de codage d'une expertise de domaine dynamique et évolutive, réduisant la dépendance à la création manuelle de compétences et ouvrant la voie à des bibliothèques de compétences partagées et réutilisables.