Résumé Technique : SKILLAUDIT

Formulation du Problème

L'article traite du défi de l'évolution des compétences (skill evolution) pour les agents basés sur des LLM (Large Language Models) gelés dans des flux de travail professionnels. Bien que les « compétences d'agent » (paquets d'instructions procédurales structurées) guident efficacement les agents, elles se dégradent souvent après le déploiement en raison du changement d'outils, d'API et de cas limites.

Les méthodes existantes pour affiner ces compétences reposent sur un feedback de vérité terrain privilégié (privileged ground-truth feedback), tel que :

• Des scores de validation ou des résultats de tests cachés.
• Des signaux oracle de succès/échec (pass/fail).
• Des récompenses environnementales ou des réponses de référence d'experts.

Cependant, dans des contextes de déploiement réalistes, les praticiens ne possèdent souvent que la description de la tâche ($T$), les données de l'espace de travail ($W$) et une compétence initiale ($S_0$). Ils n'ont pas accès à des fonctions de score externes, à des solutions de référence ou à des scripts de test. Le problème central est le suivant : Comment améliorer les compétences d'un agent sans accès à un feedback de vérité terrain externe lors de l'optimisation ?

Les auteurs formalisent cela comme un problème d'optimisation contraint où l'objectif est de maximiser la récompense latente de la tâche $R(\tau)$ sous une contrainte d'absence de vérité terrain ($C_{gtf}$), qui interdit l'accès à $R$ ou à ses substituts à tout moment durant la boucle d'évolution.

Méthodologie : SKILLAUDIT

Les auteurs proposent SKILLAUDIT, un cadre qui fait évoluer les compétences en utilisant uniquement la description de la tâche, les données de l'espace de travail et les traces d'exécution. Le mécanisme central est l'Audit de Trajectoire Appariée (Paired Trajectory Auditing), qui isole l'impact spécifique d'une compétence en comparant deux exécutions de la même tâche :

1. Avec-compétence ($\tau_w$) : L'agent exécute la tâche avec l'injection de la compétence candidate.
2. Sans-compétence ($\tau_{wo}$) : L'agent exécute la même tâche sans la compétence.

Le système dérive des signaux d'optimisation à partir de la divergence comportementale entre ces deux trajectoires. L'architecture se compose de quatre éléments clés :

1. Audit de Trajectoire Appariée & PACE

Les différences brutes de trajectoire sont insuffisantes pour l'édition. Pour les convertir en orientations exploitables, SKILLAUDIT utilise le Process-Aligned Contrastive Evaluation (PACE). PACE est un groupe de 12 évaluateurs opérant sur quatre dimensions :

• Adhérence au processus : L'agent a-t-il suivi les étapes prescrites par la compétence ?
• Preuve par l'artefact : Les fichiers de sortie respectent-ils les contraintes déclarées dans la compétence ?
• Cohérence : Le flux de travail de la compétence correspond-il au schéma de données de la tâche ?
• Delta d'efficacité : La trajectoire avec-compétence surpasse-t-elle la trajectoire sans-compétence aux points de divergence ?

Crucialement, PACE produit des signaux de diagnostic ancrés par segment. Au lieu d'un simple « succès/échec » global, il identifie les passages spécifiques du document de compétence qui ont causé un changement de comportement (ex: « Avec ce paragraphe, l'agent a effectué une mauvaise action à l'étape X »).

2. Vérificateur d'Ancrage (Anchor Verifier)

Pour prévenir la dérive des évaluateurs et garantir l'intégrité structurelle, un vérificateur structurel est compilé une seule fois à partir de la spécification de la tâche ($T$) et reste fixe pour toute l'évolution. Il encode des contraintes strictes dérivables uniquement de $T$ et $W$ (ex: existence de fichiers, conformité de format, valeurs recalculables).

• Rôle : Il agit comme une porte déterministe. Si une mise à jour provoque l'échec du Vérificateur d'Ancrage, la mise à jour est systématiquement annulée (rollback), indépendamment des signaux souples de PACE.

3. Évolution à Double Stratégie

Basé sur une évaluation initiale de compatibilité entre $S_0$ et $T$, le système dirige la tâche vers l'un des deux pipelines :

• Pipeline de Raffinement (Refine) : Pour les compétences globalement efficaces mais contenant du bruit, de la redondance ou des lacunes mineures. La stratégie est la soustraction prioritaire : supprimer le contenu distrayant tout en protégeant les segments « aidants ».
• Pipeline de Réparation (Repair) : Pour les compétences dont le flux de travail central entre en conflit avec la tâche ou induit activement l'agent en erreur. La stratégie est le remplacement piloté par le diagnostic : localiser les passages nuisibles et les remplacer par une guidance correcte (potentiellement dérivée de la trajectoire sans-compétence).

4. Logique de Décision

À chaque itération, le système agrège les signaux de PACE et les vérifications du Vérificateur d'Ancrage pour produire un verdict en trois voies :

• Aidé (Helped) : Valider la mise à jour.
• Nuisible (Hurt) : Annulation immédiate (veto si un seul évaluateur rapporte un signal « nuisible »).
• Inerte (Inert) : Reporter à l'itération suivante.

La boucle se termine lorsque la compétence atteint un état stable (aucun verdict « nuisible » lors des itérations récentes, passage du vérificateur et absence de cibles exploitables).

Contributions Clés

1. Évolution de Compétence sans Vérité Terrain : La formulation de l'évolution des compétences sous la contrainte réaliste $C_{gtf}$, où aucun test caché, solution de référence ou signal oracle n'est disponible.
2. Audit de Trajectoire Appariée : Un mécanisme pour dériver des signaux d'optimisation en isolant l'effet de la compétence sur le comportement de l'agent via une exécution contrastive contrôlée.
3. Diagnostic Aligné sur le Processus : Le développement de PACE, qui mappe les divergences de trajectoire à des passages spécifiques de la compétence, combiné à un Vérificateur d'Ancrage fixe pour assurer la stabilité structurelle.
4. Routage à Double Stratégie : Un mécanisme distinguant les compétences nécessitant une réduction de bruit (Refine) de celles nécessitant un remplacement du cœur (Repair).

Résultats Expérimentaux

Le cadre a été évalué sur 89 tâches conteneurisées à travers 8 domaines professionnels (incluant le génie logiciel, les sciences naturelles et la finance) en utilisant le benchmark SkillsBench.

• Performance : SKILLAUDIT a atteint un score de récompense moyen de la tâche de 73,9 %.
• Comparaisons :
  • A surpassé l'agent sans compétences (40,9 %) de +33,0 points de pourcentage.
  • A surpassé la compétence experte statique incluse dans le benchmark (56,7 %) de +17,2 points de pourcentage.
• Variance par Domaine : Le système a montré les gains les plus importants en Génie Logiciel (+38,5 pp) et Bureau & Travail de Bureau (+26,7 pp). En Finance et Économie, il a égalé la base statique sans la dépasser.
• Récupération : Le système a réussi à récupérer 43 % des tâches où la compétence initiale échouait (récompense < 0,5) et a parfaitement protégé 92 % des tâches où la compétence initiale fonctionnait déjà.

Signification et Limites

L'article soutient que SKILLAUDIT démontre que les compétences des agents peuvent être améliorées de manière autonome sans vérité terrain externe, à condition que la correction de la tâche laisse une trace structurelle observable.

• Frontière d'Observabilité : Les auteurs identifient que le succès est régi par l'observabilité, et non par le domaine. Les compétences encodant des « connaissances exécutables et observables » (ex: usage d'API, formules mathématiques) évoluent bien car les erreurs produisent des traces visibles (traces de pile, nombres erronés). À l'inverse, les compétences encodant des « procédures de domaine » (où la suppression d'une étape ne laisse aucune trace structurelle) sont difficiles à faire évoluer sans vérité terrain.
• Nature des Éditions : L'analyse révèle que l'évolution réussie tend à transformer les compétences de « tutoriels » en « contrats d'exécution observables par un vérificateur ». Cela implique souvent de supprimer le contenu hors-domaine, de dé-hardcoder les chemins et d'ajouter des contrats d'E/S manquants.
• Revendications Modestes : Les auteurs reconnaissent que le système ne peut pas synthétiser de connaissances de domaine manquantes si l'auditeur ne peut pas vérifier le résultat (ex: il ne peut pas corriger un modèle financier s'il ne peut pas vérifier la justesse du nombre, seulement l'existence du fichier). Le système récupère les échements en rendant le contrat de la compétence observable, et non en inventant de nouvelles connaissances de domaine.

En résumé, SKILLAUDIT offre une voie pratique pour maintenir et faire évoluer les compétences des agents dans des déploiements réels où l'infrastructure de validation externe est indisponible, en s'appuyant plutôt sur la cohérence interne et les contraintes structurelles de la tâche elle-même.