💻 computer science

SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision

SkillRevise est un cadre ancré dans l'exécution qui affine de manière itérative les compétences initiales imparfaites des agents en diagnostiquant les défauts à partir des traces d'exécution, en récupérant des principes de réparation et en sélectionnant empiriquement les versions optimales, améliorant ainsi considérablement les taux de réussite des agents et la transférabilité entre modèles par rapport aux méthodes de génération en une seule étape.

Auteurs originaux : Yuxuan Liu, Zhaochen Su, Lingyun Xie, Yuhao Zhang, Qing Zong, Jiahe Guo, Zhongwei Xie, Yiyan Ji, Yauwai Yim, Hongyu Luo, Xiyu Ren, Ruan Chenyu, Haoran Li, Yangqiu Song

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuxuan Liu, Zhaochen Su, Lingyun Xie, Yuhao Zhang, Qing Zong, Jiahe Guo, Zhongwei Xie, Yiyan Ji, Yauwai Yim, Hongyu Luo, Xiyu Ren, Ruan Chenyu, Haoran Li, Yangqiu Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Apprendre à un robot à « apprendre de ses erreurs »

Imaginez que vous engagiez un stagiaire très intelligent mais inexpérimenté (l'Agent IA) pour accomplir une tâche complexe, comme organiser un entrepôt massif ou déboguer un programme informatique.

Habituellement, vous donnez au stagiaire un manuel (appelé une « Compétence » ou « Skill »).

Le problème : Si le manuel est écrit par un expert humain, il est coûteux et peut ne pas correspondre à la façon dont le stagiaire réfléchit réellement. Si vous demandez au stagiaire d'écrire son propre manuel en une seule fois, il pourrait écrire quelque chose qui semble parfait sur le papier, mais qui s'effondre dès qu'il essaie de réaliser le travail.
L'ancienne méthode : Les méthodes précédentes tentaient de corriger le manuel en laissant le stagiaire s'exercer beaucoup et en faisant « évoluer » lentement les instructions. Mais cela prend un temps infini et ne fonctionne pas bien si l'on part d'un mauvais manuel (le problème du « démarrage à froid » ou cold start).

SKILLREVISE est un nouveau système qui agit comme un coach strict mais utile. Au lieu d'attendre que le stagiaire apprenne pendant des mois, il prend un brouillon de manuel, laisse le stagiaire essayer, observe précisément là où il échoue, puis édite le manuel immédiatement en se basant sur cet échec spécifique.

Comment ça marche : La « Boucle du Coach »

L'article décrit un cycle en quatre étapes qui se répète (généralement trois fois) pour perfectionner le manuel :

1. L'essai (Exécution)

Le stagiaire tente d'accomplir la tâche en utilisant la version actuelle du manuel.

Analogie : Le stagiaire essaie de construire une étagère. Il suit les instructions, mais l'étagère vacille et tombe.

2. L'autopsie (Diagnostic)

Le système ne se contente pas de dire « Tu as échoué ». Il agit comme un détective. Il examine les preuves (l'étagère qui vacille) et se demande :

Qu'est-ce qui a mal tourné ? (Avons-nous utilisé les mauvaises vis ?)
Qu'est-ce qui a bien fonctionné ? (Le bois a été coupé parfaitement, donc ne changez pas cette partie.)
Analogie : Le coach dit : « Tu n'as pas mal mesuré le bois, mais tu as oublié l'étape de vérification de la planéité du sol. Aussi, garde la partie sur le ponçage du bois ; c'était bien. »

3. La bibliothèque de sagesse (Mémoire des principes)

Le système consulte une « bibliothèque » de règles de réparation générales. Il ne cherche pas la réponse à cette étagère spécifique ; il cherche une règle sur comment réparer les étagères bancales en général.

Analogie : Le coach tire une carte d'un jeu qui dit : « Règle n°4 : Toujours vérifier les fondations avant de construire la structure. »

4. La réécriture (Révision)

Le système combine le rapport du détective et la règle générale pour réécrire le manuel. Crucialement, il ajoute des « Ancres ».

Que sont les Ancres ? Ce sont des points de contrôle spécifiques. Au lieu de dire « Construisez-le avec soin », le nouveau manuel dit : « Faites une pause ici, vérifiez le niveau du sol, et si celui-ci est inégal, arrêtez-vous. »
Analogie : Le nouveau manuel comporte désormais un post-it rouge : « ARRÊTEZ-VOUS ET VÉRIFIEZ LE NIVEAU DU SOL AVANT DE CLOUER. »

5. La décision finale (Porte d'utilité / Utility Gate)

Le stagiaire essaie le nouveau manuel.

Si le nouveau manuel fonctionne mieux, le système le conserve.
Si le nouveau manuel empire les choses, le système le jette et revient à la version précédente.
Analogie : Le coach essaie les nouvelles instructions. Si l'étagère vacille toujours, il dit : « D'accord, cette nouvelle idée était mauvaise. Revenons aux anciennes instructions et essayons un autre correctif la prochaine fois. »

Pourquoi est-ce spécial ?

L'article souligne trois raisons principales pour lesquelles cette approche est meilleure que ce que nous avions auparavant :

Elle est adaptée au démarrage à froid (Cold-Start Friendly) : Vous n'avez pas besoin d'une bibliothèque de 1 000 manuels parfaits pour commencer. Vous avez juste besoin d'un manuel imparfait, et SKILLREVISE peut le corriger rapidement.
Ce n'est pas juste « plus de pratique » : Les anciennes méthodes laissaient l'IA s'exercer des milliers de fois pour apprendre. SKILLREVISE est comme une chirurgie ciblée. Elle trouve le défaut spécifique dans les instructions et le corrige, plutôt que d'espérer que l'IA comprenne par accident.
Elle apprend des règles générales, pas seulement des astuces : Le système veille à ne pas apprendre à l'IA à tricher pour ce test spécifique. Il apprend à l'IA comment gérer des types de problèmes.
- Mauvaise compétence : « Si le test demande un bouton rouge, appuyez sur le bouton rouge. » (Cela ne fonctionne que pour ce test précis).
- Bonne compétence (SKILLREVISE) : « Vérifiez toujours la couleur du bouton par rapport au diagramme avant d'appuyer. » (Cela fonctionne pour n'importe quel test).

Les résultats : Est-ce que ça marche ?

Les auteurs ont testé cela sur trois « salles d'examen » (benchmarks) avec différents modèles d'IA (comme GPT-5.5, Qwen et DeepSeek).

Le score : Sans aucune aide, l'IA réussissait environ 36 % des tâches. Avec un manuel "one-shot" (écrit une seule fois et jamais corrigé), elle réussissait environ 39 % des tâches.
Le score SKILLREVISE : Après seulement trois tours de cette « Boucle du Coach », l'IA a réussi 61 % des tâches.
La conclusion : Le système a transformé un manuel médiocre en un manuel hautement efficace très rapidement. Il a également démontré que ces manuels améliorés pouvaient être utilisés par différents modèles d'IA, et pas seulement par celui qui les a écrits, prouvant que les compétences acquises étaient de véritables connaissances générales et non de simples astuces spécifiques.

En résumé

SKILLREVISE est un cadre qui traite les « compétences » de l'IA non pas comme des instructions statiques, mais comme des documents vivants. Il utilise un cycle de Essai $\rightarrow$ Diagnostic $\rightarrow$ Récupération de règles générales $\rightarrow$ Réécriture $\rightarrow$ Test pour transformer un mauvais ensemble d'instructions en un excellent, garantissant que l'IA ne se contente pas de mémoriser des réponses, mais apprend réellement à effectuer le travail correctement.

Résumé Technique : SKILLREVISE

Énoncé du Problème

Les agents de Grands Modèles de Langage (LLM) opèrent de plus en plus dans des environnements pilotés par des vérificateurs, où le succès dépend de l'exécution de flux de travail multi-étapes, du respect de contraintes et de la récupération après échec. Bien que les « compétences d'agent » (artefacts procéduraux réutilisables) soient conçues pour combler le fossé entre les outils atomiques et les prompts de haut niveau, les méthodes existantes pour acquérir ces compétences font face à des limitations significatives, particulièrement dans les contextes de « démarrage à froid » (cold-start) où seule une compétence initiale imparfaite est disponible.

Les approches actuelles se divisent en trois catégories, chacune présentant des inconvénients distincts :

Méthodes basées sur la récupération (Retrieval-based) : Sélectionnent souvent des compétences qui ne correspondent pas pleinement à la tâche cible, entraînant une interruption de l'exécution.
Méthodes d'auto-évolution : Nécessitent l'accumulation de trajectoires et d'expérience, ce qui les rend inefficaces lorsqu'on part de zéro (démarrage à froid) ou les rend sujettes au surapprentissage (overfitting).
Rédaction directe (Expert ou LLM en un coup/One-shot) : La rédaction par un expert est coûteuse et peut être mal alignée avec les comportements réels de l'agent. La génération par LLM en un coup produit souvent des compétences syntaxiquement correctes mais comportementalement faibles, manquant de validation par rapport aux traces d'exécution.

Le défi central est que les compétences n'améliorent pas la performance de l'agent aussi de manière fiable que les outils atomiques ; des compétences de faible qualité ou mal adaptées peuvent dégrader la performance. Il existe un besoin pour une méthode capable de raffiner itérativement une compétence initiale imparfaite, rédigée par un LLM, en utilisant des preuves d'exécution sans nécessiter un vaste corpus de trajectoires réussies préexistantes.

Méthodologie : SKILLREVISE

Les auteurs proposent SKILLREVISE, un cadre ancré dans l'exécution conçu pour raffiner itérativement une compétence initiale ( $S_0$ ) via une boucle de révision bornée. Le cadre décompose le processus de révision en un diagnostic spécifique à la tâche et des connaissances de réparation générales, évitant ainsi le besoin d'une expérience préalable étendue.

Composants Clés

Diagnostic ( $D_i$ ) : Un composant spécifique à la tâche qui convertit les preuves d'exécution brutes en contraintes de réparation. Pour chaque tentative de révision $i$ , il se compose de :
- Spécification de Vérification ( $V_i$ ) : Exigences observables (chemins de sortie, schémas, formats, assertions de réussite/échec).
- Attribution d'Échec ( $A_i$ ) : Un résumé des contrôles échoués, des comportements observés, des causes probables et des étiquettes de défauts.
- Contraintes de Préservation ( $K_i$ ) : Registres des contrôles ayant réussi et des choix devant être préservés pour éviter toute régression.
Mémoire de Principes ( $M$ ) : Un référentiel de principes de réparation réutilisables plutôt que de solutions spécifiques à une tâche. Chaque principe abstrait un défaut de conception de compétence récurrent en un modèle de réparation opérationnel, spécifiant quand l'appliquer, quel défaut il traite et comment vérifier la réparation. Le système s'initialise avec un ensemble de sept principes (ex: « Exposer les sorties au vérificateur », « Préserver le comportement correct »).
Opérateur de Révision ( $R_\phi$ ) : Ce module mappe la compétence actuelle ( $S_i$ ), le diagnostic ( $D_i$ ) et les principes récupérés ( $P_i$ ) vers un candidat de compétence révisée ( $\hat{S}_{i+1}$ ) et une trace de révision ( $z_i$ ). Crucialement, il applique des ancres d'exécution (execution anchors) — des instructions spécifiques sur la manière dont une édition textuelle doit changer le comportement de l'exécuteur (ex: « recharger le fichier », « parser le JSON », « vérifier les clés ») — garantissant que les éditions sont ancrées dans des étapes exploitables.
Épisode de Révision Borné : Le cadre opère sous un budget fini (ex: $B=3$ tours).
- Exécution & Diagnostic : La compétence actuelle est exécutée ; si des échecs surviennent, un diagnostic est généré.
- Récupération & Liaison : Les principes pertinents sont récupérés de $M$ et liés au diagnostic actuel.
- Révision & Ré-exécution : Une compétence candidate est générée et ré-exécutée.
- Sélection par Porte de l'Utilité (Utility-Gated Selection) : Le système maintient un ensemble de candidats observés. Le résultat final n'est pas nécessairement la dernière révision générée, mais la meilleure compétence observée ( $S^*$ ) basée sur une fonction d'utilité $U(S, T)$ . Cette fonction équilibre le taux de réussite, l'efficacité d'exécution, la performance de transfert et les coûts d'interférence, garantissant que les gains d'efficacité ne sont récompensés que si la tâche est accomplie avec succès.

Contributions Clés

Le papier apporte trois contributions principales :

Formulation : Il recadre l'amélioration de compétence à démarrage à froid comme une révision bornée et ancrée dans l'exécution d'une compétence existante rédigée par un LLM, se distinguant de la récupération ou de l'auto-évolution ouverte.
Cadre (Framework) : Il introduit SKILLREVISE, qui intègre un Diagnostic spécifique à la tâche, une Mémoire de Principes réutilisables, et une révision ancrée dans l'exécution avec une sélection par porte de l'utilité pour conserver systématiquement la version optimale de la compétence.
Évaluation : Il fournit une validation empirique étendue à travers trois benchmarks (SkillsBench, SkillLearnBench-Random, SWE-Skills-Bench-Hard) et une étude ALFWorld, démontrant des gains constants par rapport aux approches sans compétence (no-skill) et aux bases en un coup (one-shot) sur plusieurs modèles d'exécuteurs.

Résultats Expérimentaux

Le cadre a été évalué à l'aide d'un harnais piloté par vérificateur partagé sur cinq LLM (GPT-5.5, Opus-4.7, Kimi-2.6, Qwen-3.6plus, DeepSeek-V4-Pro).

Gains de Performance : Sur le SkillsBench standard, SKILLREVISE a amélioré le taux de réussite de l'agent GPT-5.5 de 36,05 % (sans compétence) et 39,53 % (génération en un coup) à 61,63 % en seulement trois tours de révision. Des améliorations substantielles similaires ont été observées sur SkillLearnBench-Random et SWE-Skills-Bench-Hard.
Transférabilité Inter-Modèles : Les compétences révisées ont montré une forte transférabilité. Lorsque des compétences fixes révisées par GPT-5.5 ont été appliquées à d'autres exécuteurs (ex: Opus-4.7, DeepSeek-V4-Pro), elles ont souvent surpassé la base « sans compétence », suggérant que les compétences capturent des connaissances procédurales généralisées plutôt que des artefacts spécifiques au modèle. Cependant, la révision spécifique à l'exécuteur a généralement produit la performance la plus élevée.
Études d'Ablation : La suppression du composant Diagnostic a causé la plus grande chute de performance (de 53/86 à 28/86 sur SkillsBench), soulignant la nécessité de faire le pont explicitement entre les preuves du vérificateur et les défauts de niveau compétence. Le Registre de Préservation (Preserve Ledger) et les Ancres d'Exécution étaient également critiques pour prévenir les régressions et assurer que les éditions induisent des actions concrètes.
Étude ALFWorld : Dans une étude d'absorption de principes, une banque compacte de 10 principes appris à partir de 25 tâches de calibration a amélioré la performance sur un ensemble de test de 100 tâches, résolvant 71/100 tâches, démontrant la capacité d'abstraire les échecs locaux en modèles de réparation réutilisables.

Signification et Revendications

Le papier affirme que la révision ancrée dans l'exécution est un paradigme fiable pour l'auteur de compétences automatisé, particulièrement dans les scénarios de démarrage à froid. La portée de ce travail réside dans la démonstration que :

Les compétences sont plus efficaces lorsqu'elles ne sont pas des conseils statiques mais des mémoires procédurales testables raffinées par les échecs observés.
Une approche structurée combinant diagnostic, principes généraux et sélection par porte de l'utilité peut surmonter la fragilité de la génération en un coup et la gourmandise en données de l'auto-évolution.
Le cadre réussit à combler le fossé entre la rédaction par expert (coûteuse) et la génération en un coup (peu fiable) en raffinant itérativement un premier jet grâce au feedback du vérificateur.

Les auteurs notent modestement des limites, incluant la dépendance au feedback visible par le vérificateur (ce qui peut mener au surapprentissage si les tests sont rares) et le fait que la méthode ne revient pas à une exécution « sans compétence » si une compétence dégrade systématiquement la performance. Ils positionnent SKILLREVISE comme une étape vers une acquisition de compétences robuste et automatisée qui aligne le comportement de l'agent avec les contraintes de la tâche et les critères de vérification.