🤖 AI

VCE-Skill: Enhancing Skill Self-Evolution with Version-Change Experience

Le papier propose VCE-Skill, un nouveau cadre qui améliore l'auto-évolution des compétences de l'agent en fusionnant de manière adaptative des trajectoires d'exécution spécifiques aux tâches avec une expérience structurée et distillée issue des historiques de versions de compétences publiques, ce qui entraîne des améliorations de performance significatives et de plus fortes capacités de transfert inter-modèles.

Auteurs originaux : Jianming Chen, Xuanbin Ye, Yawen Wang, Junjie Wang, Qing Wang, Fanjiang XU

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jianming Chen, Xuanbin Ye, Yawen Wang, Junjie Wang, Qing Wang, Fanjiang XU

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde en évolution rapide de l'intelligence artificielle, les chercheurs apprennent aux programmes informatiques à agir davantage comme des assistants humains. Ces programmes, souvent appelés agents, ne se contentent pas de répondre à des questions ; ils accomplissent des tâches en utilisant des outils, en suivant des instructions et en gérant des fichiers. Pour rendre ces agents fiables, les développeurs leur donnent des « compétences ». Considérez une compétence comme une boîte à outils portable contenant un ensemble d'instructions, de scripts et de ressources que l'agent peut ramasser et utiliser chaque fois qu'il est confronté à un type de problème spécifique. Cependant, tout comme un humain apprend de ses erreurs, ces outils sont rarement parfaits lors de leur création initiale. À mesure que le monde change et que de nouveaux défis apparaissent, les instructions à l'intérieur de ces boîtes à outils doivent être mises à jour, corrigées et améliorées. La question centrale pour les scientifiques est de savoir comment automatiser ce processus d'amélioration afin que les agents puissent s'auto-enseigner pour devenir meilleurs au fil du temps.

Pendant un certain temps, l'approche standard de cette auto-amélioration a consisté à laisser l'agent tenter une tâche, observer là où il échoue, puis réécrire les instructions sur la base de cet échec spécifique. Cette méthode repose entièrement sur les preuves recueillies lors de la tentative actuelle. Bien que cela fonctionne, cela présente un angle mort : cela ne voit que les erreurs qui se produisent en ce moment même. Cela manque les leçons plus larges que d'autres développeurs ont apprises au cours d'années de maintenance d'outils similaires. Une équipe de chercheurs de l'Académie chinoise des sciences et de l'Université de poste et de télécommunications de Pékin a réalisé que ce focus étroit laissait inexploité une vaste bibliothèque de connaissances. Ils ont cherché à voir si l'historique des modifications apportées aux outils logiciels publics pouvait apprendre à un agent quelque chose que sa propre expérience immédiate ne pourrait pas lui apprendre.

Les chercheurs ont commencé par comparer deux sources d'information différentes. La première source était les tentatives récentes de l'agent pour une tâche, qui fournissaient une vue détaillée mais étroite de ce qui n'allait pas. La seconde source était l'historique public des modifications apportées à des outils similaires par des développeurs humains au fil du temps. Lorsqu'ils ont analysé ces deux sources côte à côte, ils ont découvert une différence claire et utile. Les propres tentatives de l'agent se concentraient principalement sur la correction d'erreurs immédiates et spécifiques dans la façon dont il appelait les outils ou lisait les instructions. En revanche, l'historique public contenait une variété beaucoup plus large d'améliorations, incluant des changements dans la manière dont les données étaient organisées, la façon dont les scripts étaient structurés et la manière dont l'outil gérait les situations inattendues. Les registres publics offraient une perspective plus large, tandis que les propres registres de l'agent offraient une réalité ancrée et spécifique à la tâche. Les deux sources ne se répétaient pas ; au contraire, elles comblaient les lacunes l'une de l'autre.

Pour mettre cette intuition en pratique, l'équipe a développé un nouveau système appelé VCE-Skill. Ce système agit comme un pont entre l'expérience actuelle de l'agent et la sagesse collective du passé. Le processus se déroule en deux étapes principales. Premièrement, le système prend l'historique brut et désordonné des changements provenant des dépôts publics et les nettoie. Il élimine les détails spécifiques qui ne s'appliquent qu'à un seul projet et les distille en leçons générales et réutilisables. Par exemple, si de nombreux développeurs ont ajouté une vérification pour s'assurer qu'un fichier existe avant d'essayer de l'ouvrir, le système apprend cela comme une règle générale plutôt que comme une correction unique. Ces leçons distillées sont stockées dans une bibliothèque d'expérience structurée.

Dans la seconde étape, l'agent tente une tâche et génère ses propres idées d'amélioration basées sur ce qui s'est passé. Le système examine ensuite sa bibliothèque de leçons distillées et sélectionne celles qui sont les plus pertinentes pour le problème actuel. Il ne se contente pas de copier les anciennes leçons ou d'ignorer les propres idées de l'agent. Au lieu de cela, il mélange soigneusement les deux. Si l'agent est en difficulté avec un problème courant que l'historique public a résolu de nombreuses fois auparavant, le système s'appuie fortement sur cette sagesse externe. Si l'agent est confronté à une erreur unique et étrange qui n'a jamais été vue auparavant, le système fait davantage confiance à l'observation de l'agent lui-même. Cet équilibre n'est pas fixe ; le système ajuste constamment la part de confiance accordée à la bibliothèque externe par rapport à l'expérience propre de l'agent, en fonction de savoir si les changements améliorent réellement les performances de l'agent.

Les résultats de cette approche ont été testés à travers cinq types différents de tâches, allant de la réponse à des questions complexes et la gestion de feuilles de calcul au contrôle de robots dans des environnements virtuels. Les chercheurs ont utilisé quatre modèles de langage de grande taille différents pour agir en tant qu'agents. Dans chaque cas, l'ajout de cette expérience externe à la boucle d'auto-amélioration de l'agent a conduit à de meilleures performances. Les agents ont obtenu des scores plus élevés en moyenne, avec des améliorations allant d'environ trois à cinq points à travers les divers tests. Plus important encore, les compétences qui ont été améliorées en utilisant cette méthode se sont révélées plus robustes. Lorsque les chercheurs ont pris une compétence ayant évolué avec cette nouvelle méthode et l'ont testée sur un modèle informatique différent de celui sur lequel elle avait été entraînée, elle a nettement mieux performé que les compétences qui n'avaient appris que de leurs propres erreurs immédiates. Cela suggère qu'en incorporant les leçons plus larges de l'histoire publique, les agents ont appris des principes plus généraux pouvant être appliqués dans de nouvelles situations, plutôt que de simplement mémoriser comment corriger une erreur spécifique.

L'étude ne prétend pas que l'ancienne façon d'apprendre de ses erreurs est inutile. L'expérience propre de l'agent reste essentielle pour comprendre les détails spécifiques de la tâche en cours. La nouvelle méthode ajoute simplement une couche de contexte que l'agent ne pourrait trouver par lui-même. En traitant l'historique des changements de logiciels publics comme une source précieuse de connaissances préalables, les chercheurs ont montré que les agents peuvent apprendre à évoluer plus efficacement. Ils ont démontré que le chemin vers un agent plus intelligent et plus fiable ne consiste pas seulement à observer ce qui se passe dans l'instant présent, mais aussi à comprendre la longue histoire de la manière dont des outils similaires ont été améliorés au fil du temps. Cette approche offre un moyen pratique de rendre l'intelligence artificielle plus adaptable, garantissant que les outils qu'elle utilise ne sont pas seulement fonctionnels pour aujourd'hui, mais assez robustes pour l'avenir.

Résumé Technique : VCE-Skill

Problématique

Les systèmes d'agents reposent de plus en plus sur des compétences réutilisables — des ensembles portables d'instructions, de scripts et de configurations — pour résoudre des classes de tâches. Bien que des travaux récents aient automatisé l'auto-évolution des compétences via un paradigme piloté par les trajectoires (exécution d'agents, diagnostic des échecs et révision des compétences), cette approche présente des limites intrinsèques. Les mises à jour sont strictement limitées par la qualité et la couverture des trajectoires d'exécution collectées lors de la session actuelle. Des trajectoires bruitées ou de faible qualité peuvent masquer les causes d'échec, tandis qu'une couverture incomplète des modes d'échec peut conduire à des mises à jour qui surajustent (overfitting) à des observations limitées. Par conséquent, l'évolution pilotée par les trajectoires néglige souvent des connaissances de mise à jour largement utiles qui ne sont pas révélées par les exécutions actuelles.

Bien que les historiques publics de versions de compétences (par exemple, provenant de GitHub ou ClawHub) contiennent une source riche de connaissances d'évolution adoptées par les développeurs lors de la maintenance, cette ressource reste largement inexploitée pour l'auto-évolution des compétences. Il n'est pas clair si ces changements publics dupliquent simplement les stratégies trouvées dans l'évolution basée sur les trajectoires ou s'ils offrent des connaissances complémentaires. De plus, les diffs de versions bruts sont fins et spécifiques à un dépôt, ce qui les rend difficiles à appliquer directement aux échecs de tâches actuels sans abstraction.

Méthodologie : VCE-Skill

Les auteurs proposent VCE-Skill (Version-Change Experience Skill), un cadre conçu pour améliorer l'auto-évolution des compétences en intégrant l'expérience externe issue des historiques de versions de compétences publics avec les preuves internes des trajectoires d'exécution. La méthode opère en deux étapes principales :

1. Distillation de l'Expérience

Cette étape transforme les diffs de versions bruts et bruités des dépôts publics en un guidage structuré et réutilisable.

Abstraction du Changement : Les diffs bruts entre des versions de compétences adjacentes sont décomposés en événements de mise à jour. Chaque événement est structuré comme $u_j = \langle d_j, \{c_j\}, o_j, i_j \rangle$ , représentant le diff brut ( $d_j$ ), les composants affectés ( $c_j$ ), l'opération sémantique ( $o_j$ ) et l'intention de mise à jour ( $i_j$ ).
Génération d'Expérience : Ces événements sont distillés en trois niveaux hiérarchiques de connaissances :
- Modèles de Mise à Jour (Update Patterns) : Groupes d'événements liés au sein de l'historique d'une compétence, résumés pour supprimer les détails spécifiques au dépôt.
- Insights d'Évolution (Evolution Insights) : Stratégies synthétisées caractérisant les modèles de mise à jour récurrents pour une compétence spécifique.
- Insights de Domaine (Domain Insights) : Principes généralisés capturant des stratégies d'optimisation transférables à travers les compétences d'un même domaine de tâche.
Banque d'Expérience : La connaissance distillée est agrégée dans une banque structurée ( $B$ ) servant de corpus de connaissances externe.

2. Optimisation avec Attention Expérientielle Adaptative

Cette étape intègre l'expérience externe distillée avec les propositions dérivées des trajectoires de l'évolueur de base.

Sélection d'Expérience : À chaque itération, un contexte de sélection est construit à partir de la tâche cible, de la compétence actuelle et du retour de la mise à jour précédente. Un sélecteur basé sur un LLM extrait les $K$ expériences les plus pertinentes de la banque.
Génération de Auto-Proposition : En parallèle, un évolueur de base (par exemple, SkillOpt, EvoSkill) génère une auto-proposition ( $p^{self}_t$ ) basée uniquement sur la trajectoire d'exécution actuelle.
Fusion par Attention Adaptative : Le système fusionne le guidage de l'expérience externe ( $p^{exp}_t$ $p_{t}^{e x p}$ ) et l'auto-proposition ( $p^{self}_t$ $p_{t}^{se l f}$ ) en utilisant des poids d'attention adaptatifs ( $\lambda^{exp}_t, \lambda^{self}_t$ $λ_{t}^{e x p}, λ_{t}^{se l f}$ ).
- Les poids sont initialisés de manière égale mais sont ajustés dynamiquement en fonction du Feedback d'Adaptation.
- Mécanisme de Feedback : Après une mise à jour, le système analyse la provenance des changements réalisés (si l'origine est l'expérience externe ou l'auto-proposition) et le changement de performance de validation. Ce feedback unifié ( $f_t$ ) ajuste les poids d'attention pour l'itération suivante, augmentant la dépendance envers la source ayant contribué aux améliorations réussies et s'éloignant des sources associées aux mises à jour non productives.

Contributions Clés

Étude de Motivation : Les auteurs ont mené une étude pilote comparant les changements de compétences publics avec les changements dérivés des trajectoires. Ils ont révélé une couverture complémentaire : les changements dérivés des trajectoires sont fortement concentrés sur les instructions et les intentions étroites, tandis que les historiques publics couvrent des composants plus larges et introduisent des intentions et des modèles uniques non observés dans les déploiements actuels.
Cadre VCE-Skill : L'introduction d'une méthode qui distille les changements de versions bruts en une expérience structurée et réutilisable et fusionne de manière adaptative ce priori externe avec les propositions dérivées des trajectoires lors de l'optimisation itérative.
Validation Empirique : Des expériences approfondies démontrant l'efficacité et la généralité de VCE-Skill à travers plusieurs benchmarks et modèles.

Résultats Expérimentaux

Les auteurs ont évalué VCE-Skill sur cinq benchmarks (SearchQA, OfficeQA, ALFWorld, Spreadsheet, BFCL-v4) en utilisant quatre LLM (Qwen3.5-27B, GPT-5.2, DeepSeek-v3.2, Claude Sonnet 5) et trois méthodes d'auto-évolution de base (EvoSkill, SkillClaw, SkillOpt).

Amélioration de la Performance : VCE-Skill améliore systématiquement la performance de tous les évolueurs de base. Les scores moyens ont augmenté de 3,20 à 4,98 points selon les différentes configurations. Par exemple, SkillOpt+VCE atteint un score moyen de 60,27 sur Qwen3.5-27B (une amélioration de +3,47 par rapport à SkillOpt) et 70,84 sur GPT-5.2 (une amélioration de +3,78).
Étude d'Ablation : Supprimer la distillation d'expérience (en utilisant les diffs bruts directement) provoque une dégradation significative de la performance, tombant souvent en dessous de la ligne de base. Remplacer l'attention adaptative par des poids fixes égaux a également donné des résultats inférieurs, confirmant la nécessité de l'abstraction et de la pondération dynamique.
Transférabilité Inter-Modèles : Les compétences évoluées avec VCE-Skill ont démontré une plus grande transférabilité lorsqu'elles sont appliquées à différents modèles que celles évoluées sans lui. Lors du transfert d'un modèle source vers des modèles cibles, les compétences améliorées par VCE ont augmenté les scores moyens de 5,15 à 6,04 points, un gain qui dépasse les améliorations observées dans l'évaluation du propre modèle source. Cela suggère que l'expérience distillée réduit le surajustement spécifique au modèle.

Signification et Revendications

L'article affirme que les historiques de versions de compétences publics représentent une source de connaissances a priori précédemment sous-exploitée mais efficace pour l'évolution des compétences d'agent. En soulignant la complémentarité entre les changements de versions externes et les preuves de trajectoire internes, VCE-Skill fait progresser le paradigme piloté par les trajectoires.

Les auteurs positionnent leur travail non pas comme un remplacement des méthodes d'auto-évolution existantes, mais comme une amélioration modulaire qui permet à tout évolueur de base de tirer parti de l'expérience externe. La signification réside dans le passage d'une dépendance exclusive aux preuves d'exécution actuelles à l'incorporation d'un ensemble plus large et historiquement fondé de priors d'évolution, produisant ainsi des compétences plus robustes, généralisables et capables de transfert entre modèles.