🤖 AI

OpenSkill: Open-World Self-Evolution for LLM Agents

Ce document introduit OpenSkill, un cadre permettant aux agents LLM d'amorcer de manière autonome leur auto-évolution dans des déploiements en monde ouvert en synthétisant des compétences transférables et des signaux de vérification à partir de ressources externes sans dépendre de la supervision de la tâche cible.

Auteurs originaux : Zhiling Yan, Dingjie Song, Hanrong Zhang, Wei Liang, Yuxuan Zhang, Yutong Dai, Lifang He, Philip S. Yu, Ran Xu, Xiang Li, Lichao Sun

Publié 2026-06-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiling Yan, Dingjie Song, Hanrong Zhang, Wei Liang, Yuxuan Zhang, Yutong Dai, Lifang He, Philip S. Yu, Ran Xu, Xiang Li, Lichao Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un apprenti brillant mais inexpérimenté pour résoudre une énigme complexe. Habituellement, pour l'instruire, vous lui donneriez un manuel, une liste de « choses à faire et à ne pas faire », ou un enseignant à ses côtés pour lui dire : « Bon travail ! » ou « Réessaie ».

OpenSkill est une nouvelle façon d'entraîner ces « apprentis » IA (appelés agents LLM) lorsque vous n'avez rien de tout cela. Vous leur donnez seulement l'énigme et l'internet. Ils doivent s'auto-instruire, comprendre ce qu'ils doivent apprendre, et même construire leur propre « professeur » pour vérifier leur travail, le tout sans jeter un coup d'œil à la correction.

Voici comment l'article explique ce processus en utilisant des analogies simples :

Le Problème : La « Chambre Silencieuse »

La plupart des méthodes d'entraînement actuelles de l'IA supposent que l'IA dispose d'une boucle utile : elle essaie quelque chose, reçoit un score, et réessaie. Mais dans le monde réel (le « monde ouvert »), on vous donne souvent une tâche et un ensemble de ressources disparates (sites web, manuels, dépôts de code). Vous n'avez pas de corrigé, et vous n'avez pas d'humain pour noter leur travail.

Si l'IA essaie d'apprendre à partir de ses propres suppositions, elle risque de se convaincre qu'elle a raison alors qu'elle se trompe. C'est comme essayer d'apprendre une nouvelle langue en parlant seul dans une pièce sans dictionnaire.

La Solution : OpenSkill

Les chercheurs ont construit un cadre appelé OpenSkill qui agit comme un guide de survie autonome pour l'IA. Il fonctionne en trois étapes principales :

1. La phase du « Bibliothécaire » (Acquisition de connaissances)

Au lieu de s'appuyer sur ce que l'IA se rappelle déjà (ce qui peut être obsolète ou erroné), OpenSkill envoie l'IA dans le « monde ouvert » (Internet, documentation, dépôts de code).

L'analogie : Imaginez que l'IA soit un détective. Au lieu de deviner le coupable, elle se rend à la bibliothèque, lit chaque rapport de police, manuel technique et article de presse lié à l'affaire. Elle rassemble les faits bruts nécessaires pour construire un plan.

2. La phase du « Dojo Virtuel » (Évolution sans fuite de données)

C'est la partie la plus ingénieuse. L'IA doit s'exercer, mais elle ne peut pas utiliser la clé de correction réelle. Ainsi, OpenSkill construit un Vérificateur Virtuel.

L'analogie : Considérez cela comme un « Dojo » ou une salle de sport d'entraînement. L'IA écrit un ensemble de règles (compétences) pour résoudre l'énigme. Ensuite, une autre IA, indépendante, agit comme un arbitre strict.
Comment fonctionne l'arbitre : L'arbitre ne connaît pas la clé de correction. Au lieu de cela, il vérifie le travail de l'IA par rapport aux faits concrets que l'IA a trouvés dans la bibliothèque précédemment.
- Exemple : Si la tâche est d'analyser un ensemble de données, l'arbitre vérifie : « L'IA a-t-elle compté les lignes correctement ? Est-ce que la somme des nombres correspond au total connu ? »
- C'est comme un professeur de mathématiques qui vérifie si votre réponse est un nombre pair ou si elle se situe dans une plage réaliste, sans connaître le nombre spécifique que vous deviez trouver.
Si l'IA échoue, l'arbitre dit : « Tu as manqué une étape » ou « Tu dois rechercher cette règle spécifique à nouveau ». L'IA corrige alors ses règles et réessaie. Cette boucle se répète jusqu'à ce que l'IA réussisse tous les tests « virtuels ».

3. La phase de « l'Examen Final » (Évaluation Zero-Shot)

Une fois que l'IA a peaufiné ses compétences dans le Dojo Virtuel, elle est envoyée dans le monde réel pour accomplir la tâche réelle.

L'analogie : L'IA passe l'examen final. La véritable clé de correction n'est révélée qu'après l'examen. Les chercheurs ont constaté que l'IA, ayant pratiqué avec son propre « arbitre » auto-construit, a obtenu des résultats incroyables, surpassant souvent d'autres méthodes qui reposent sur des compétences pré-écrites ou des retours humains.

Pourquoi cela importe (Les Résultats)

L'article a testé cela sur trois types de défis différents (codage logiciel, raisonnement social et expériences scientifiques) en utilisant deux modèles d'IA différents.

Cela fonctionne sans tricher : L'IA n'a jamais vu les vraies réponses pendant son entraînement. Elle a construit sa propre « vérité » à partir de faits publics.
C'est portable : Les « compétences » que l'IA a apprises (les règles qu'elle a écrites) sont comme un livre physique. Vous pouvez prendre le livre écrit par une IA et le donner à une autre IA, plus faible, et il fonctionne toujours. L'IA n'a pas simplement « mémorisé » la réponse ; elle a appris une méthode.
Cela bat la concurrence : Dans presque tous les tests, OpenSkill a obtenu un score plus élevé que les autres méthodes qui tentaient d'apprendre sans cette configuration spécifique de « arbitre virtuel ».

L'essentiel

OpenSkill est un système qui apprend aux agents d'IA à être autonomes. Il démontre qu'une IA peut passer de l'ignorance totale d'une tâche spécifique à l'expertise, simplement en :

Lisant le manuel (Monde Ouvert).
Construisant son propre test basé sur des faits (Vérificateur Virtuel).
S'entraînant jusqu'à réussir ce test.
Puis en résolvant le problème réel.

Cela prouve que vous n'avez pas besoin d'un professeur humain ou d'une clé de correction cachée pour apprendre à une IA comment s'améliorer ; vous avez juste besoin de lui donner les bons outils pour vérifier son propre travail.

Résumé technique : OPENSKILL : Auto-évolution en monde ouvert pour les agents LLM

1. Définition du problème : L'auto-évolution en monde ouvert

Les agents LLM auto-évolutifs actuels reposent généralement sur une « boucle d'apprentissage utilisable » qui présuppose l'accès à des compétences curatées, des trajectoires d'exécution réussies ou des signaux de vérification explicites (par exemple, des récompenses ou des réponses de vérité terrain) durant la phase d'apprentissage. Cependant, les déploiements réels en monde ouvert fournissent souvent uniquement une instruction de tâche initiale ( $I_i$ ) et un accès à des ressources externes, sans disposer de compétences initiales ou de signaux de supervision.

Ce document définit l'Auto-évolution en monde ouvert comme un cadre où un agent doit :

Partir uniquement d'une instruction de tâche ( $I_i$ ) et d'un environnement d'exécution ( $E_i$ ).
Accéder à des ressources en monde ouvert (documentation, dépôts, pages web) mais exclure les réponses cibles cachées, les récompenses ou les sorties de vérificateurs.
Construire à la fois ses compétences (artefacts comportementaux réutilisables) et ses propres signaux de vérification à partir de zéro.
Améliorer ses performances sans supervision de la tâche cible pendant le processus d'évolution, en réservant l'évaluation par vérité terrain uniquement pour l'évaluation finale.

Le défi central est que les faits seuls sont insuffisants ; l'agent doit déduire ce qu'il doit apprendre et construire une boucle d'apprentissage couplée où les mêmes preuves du monde ouvert fournissent à la fois la connaissance à apprendre et la supervision pour affiner cette connaissance.

2. Méthodologie : Le cadre OpenSkill

OpenSkill est un pipeline en trois étapes conçu pour amorcer cette boucle d'auto-évolution sans fuite de la supervision de la tâche cible. Il opère sous une « barrière de fuite » stricte qui empêche la vérité terrain ( $T^{GT}_i$ ) d'entrer dans la phase de construction des compétences.

Étape 1 : Acquisition de connaissances en monde ouvert

L'agent interroge des ressources en monde ouvert pour acquérir deux types distincts de connaissances :

Connaissance de construction de compétences ( $k_i$ ) : Récupère les concepts de base, les meilleures pratiques, la documentation d'API et les citations pertinentes pour la tâche.
Connaissance de vérification ( $k^v_i$ ) : Récupère des ancres vérifiables indépendamment, telles que des valeurs de référence issues de documentations officielles, des invariants statistiques de jeux de données connus, des procédures de validation croisée et des standards du domaine.
Planification de compétence : Un plan structuré ( $p_i$ ) est synthétisé, définissant l'architecture de la compétence, les procédures clés et les règles du domaine.
Prévention de la fuite : Toutes les requêtes sont filtrées pour exclure les noms de benchmarks et les identifiants qui pourraient mener aux réponses cibles.

Étape 2 : Évolution de compétences sans fuite

L'agent génère et affine itérativement des compétences en utilisant un Vérificateur Virtuel :

Génération de tests virtuels : Au lieu d'utiliser des tests de vérité terrain, le système génère une suite de tests virtuels ( $\tilde{T}_i$ ) ancrée dans la connaissance de vérification ( $k^v_i$ ). Ces tests consistent en des assertions déterministes (par exemple, vérifier le nombre de lignes, les plages de métriques ou les formats de sortie) qui ne nécessitent pas de connaître la réponse cible.
Affinement itératif : L'agent exécute la tâche avec l'ensemble de compétences actuel. Si le taux de réussite virtuel ( $\tilde{r}$ $\tilde{r}$ ) est inférieur à 1, un Récupérateur de Diagnostic analyse les échecs pour distinguer entre :
- Bugs d'implémentation : Corrigés via l'auto-correction.
- Lacunes de connaissances : Déclenchant une récupération ciblée de nouvelles connaissances en monde ouvert.
Terminaison : La boucle continue jusqu'à ce que le taux de réussite virtuel atteigne 1,0 ou qu'un budget maximal d'itérations ( $J=3$ ) soit épuisé. L'ensemble de compétences final ( $\hat{S}^*_i$ ) est l'état de la compétence à la terminaison de la boucle.

Étape 3 : Évaluation cible Zero-Shot

L'artefact de compétence raffiné est déployé vers un agent cible (qui peut différer de l'agent de construction) dans un contexte zero-shot. La performance est mesurée par rapport à la suite de tests de vérité terrain cachée ( $T^{GT}_i$ ), qui n'a jamais été accédée durant le processus d'évolution.

3. Contributions clés

Définition de l'Auto-évolution en monde ouvert : Le papier formalise un cadre où les agents doivent construire des compétences et des signaux de vérification entièrement à partir de ressources en monde ouvert, sans supervision de la tâche cible.
Le cadre OpenSkill : Un pipeline novateur qui amorce l'auto-évolution en synthétisant des compétences transférables et un vérificateur virtuel auto-construit, ancré dans des faits du monde ouvert plutôt que dans des réponses cachées.
Validation empirique : Démonstration qu'OpenSkill atteint des taux de réussite automatisés supérieurs sur plusieurs benchmarks et familles de modèles tout en respectant la contrainte de non-supervision.

4. Résultats expérimentaux

Le cadre a été évalué sur trois benchmarks (SkillsBench, SocialMaze, ScienceWorld) en utilisant deux agents cibles (Opus 4.6 et GPT 5.2).

Performance : OpenSkill a obtenu le meilleur taux de réussite global automatisé sur tous les benchmarks. Sur SkillsBench, il a atteint 43,6 % (Opus 4.6) et 42,1 % (GPT 5.2), surpassant les bases de comparaison en monde fermé les plus fortes (Skill-Creator et CoT) de +8,9 et +8,8 points de pourcentage, respectivement. Il s'est systématiquement approché de la limite supérieure curatée par l'humain.
Transférabilité inter-modèles : Les compétences générées par OpenSkill utilisant Opus 4.6 ont été déployées directement sur des modèles plus faibles (Haiku 4.5, Qwen 3 Coder, DeepSeek V3, Mistral Large 3) sans réentraînement. Les compétences générées par OpenSkill ont systématiquement produit les récompenses les plus élevées sur tous les modèles cibles, s'améliorant de 5,5 % à 14,8 % par rapport à la base sans compétence.
Qualité du vérificateur : Le vérificateur virtuel auto-construit, bien qu'ayant n'accédé à aucune vérité terrain, a atteint un rappel de 80,5 % et un accord de 60,7 % avec les résultats de vérité terrain. Il a couvert 88,9 % des intentions de tests de vérité terrain à travers les tâches échantillonnées.
Études d'ablation :
- Nombre d'itérations : La performance a culminé à 3 itérations d'affinement ; des itérations excessives ont conduit à un surapprentissage des retours virtuels.
- Contribution des composants : Le module de requête en monde ouvert et le vérificateur virtuel ont tous deux fourni des gains significatifs et complémentaires par rapport à une base purement paramétrique.

5. Signification et affirmations

Le papier affirme qu'OpenSkill démontre une voie viable vers des agents capables de continuer à s'améliorer après leur déploiement dans des environnements où les compétences curatées et les retours fiables sont indisponibles. En découplant l'acquisition de compétences de la supervision de la tâche cible et en ancrant la vérification dans des faits indépendants du monde ouvert, OpenSkill permet :

Scalabilité : Les compétences sont des artefacts explicites, et non des poids de modèle, ce qui permet de les transférer entre différentes familles de modèles.
Ancrage (Groundedness) : Les compétences sont dérivées de documentations et de dépôts externes, atténuant la dépendance aux connaissances paramétriques qui peuvent être obsolètes ou insuffisantes pour des domaines de niche.
Apprentissage sans supervision : Le cadre prouve qu'une boucle d'auto-amélioration peut être construite en utilisant uniquement une instruction de tâche et des ressources en monde ouvert, sans avoir besoin d'une « réponse d'or » durant la phase d'entraînement.

Les auteurs reconnaissent des limites, notamment le bruit potentiel des sources en monde ouvert, le risque que les tâches virtuelles soient trop faciles (surestimant la qualité de la compétence) et le coût computationnel de la recherche en monde ouvert par rapport à la génération en monde fermé. Cependant, les résultats suggèrent que l'acquisition en monde ouvert combinée à une vérification sans fuite est un mécanisme robuste pour l'évolution autonome des agents.