Résumé Technique : Preuves plutôt que Plans : Vérification en Ligne des Trajectoires pour la Distillation de Compétences

Énoncé du Problème

Bien que les agents basés sur les grands modèles de langage (LLM) puissent améliorer les taux de réussite des tâches grâce à des compétences procédurales rédigées par des humains, la qualité de ces compétences est difficile à évaluer sans une vérification ancrée dans l'environnement. Les méthodes existantes de génération de compétences s'appuient souvent sur des journaux de préférences ou des plans antérieurs plutôt que sur une interaction directe avec l'environnement. Cela crée un goulot d'étranglement fondamental : les compétences sont fréquemment « basées sur des a priori », ce qui signifie qu'elles encodent des heuristiques génériques ou l'intention initiale du modèle plutôt que des preuves empiriques découvertes lors de l'exécution. Par conséquent, ces méthodes produisent souvent des gains négligeables, voire une dégradation, lors du transfert de compétences entre des modèles de capacités différentes, car elles manquent des contraintes spécifiques, des dépendances et des modes d'échec qui n'émergent que lors de l'exécution réelle de la tâche.

Méthodologie : SPARK et PDI

Les auteurs proposent SPARK (Pipelines Structurés pour les Tâches Exécutables Autonomes et la Génération de Compétences), un cadre conçu pour générer des compétences ancrées dans des preuves vérifiées par l'environnement et pour analyser la qualité des trajectoires à partir desquelles elles sont distillées.

1. Le Pipeline SPARK

SPARK fonctionne via deux pipelines interconnectés :

• Pipeline de Génération de Compétences : Un agent « enseignant » interagit avec un environnement Dockerisé pendant jusqu'à $N_{max}$ tentatives.
  • Mémo d'Exploration : Au lieu de conserver des journaux bruts, l'agent maintient un « mémo d'exploration » structuré qui résume les tentatives, les commandes, les faits vérifiés, les motifs d'erreurs actuels et les stratégies suivantes. Ce mémo est réécrit (et non ajouté) après chaque échec pour éviter la dilution du contexte.
  • Assemblage des Preuves : En cas de succès, le système assemble six blocs de preuves structurés : Motif de la Tâche, Chaîne d'Exécution, Registres de Vérification, Leçons (motifs d'échec), Contexte de l'Environnement et Queue de Support Brute.
  • Distillation : Ces blocs sont distillés dans un document SKILL.md réutilisable.
• Pipeline de Construction de Tâches : Pour garantir une évaluation rigoureuse, SPARK convertit les invites en langage naturel en plans de tâches structurés. Ceux-ci subissent une critique itérative, une réparation et une vérification déterministe par oracle (utilisant pytest) pour créer des instances de référence autonomes et exécutables.

2. L'Indice de Distillation Postérieure (PDI)

Pour quantifier si une compétence est ancrée dans des preuves postérieures (interaction avec l'environnement) plutôt que dans des plans antérieurs, les auteurs introduisent l'Indice de Distillation Postérieure (PDI). Le PDI est une métrique au niveau de la trajectoire calculée comme une combinaison linéaire à poids égaux de trois signaux normalisés par score z :

1. Ancrage d'Exécution ($\phi_{exec}$) : Mesure la similarité distributionnelle entre les commandes d'exécution réussies de l'agent et la compétence finale. Des valeurs élevées indiquent que la compétence se concentre sur des opérations vérifiées par l'environnement.
2. Copie de Plan ($\phi_{plan}$) : Mesure la similarité entre les sections « Stratégie Suivante » du mémo d'exploration et la compétence finale. Des valeurs faibles sont souhaitables, indiquant que la compétence s'éloigne des plans initiaux de l'agent et intègre de nouvelles preuves.
3. Ossification du Mémo ($\phi_{oss}$) : Mesure la stabilité des « Faits Vérifiés » et des ensembles de tests échoués à travers les tentatives. Des valeurs faibles sont souhaitables, indiquant que la compréhension de l'agent a évolué plutôt que de répéter les mêmes motifs d'échec (stagnation cognitive).

$$PDI = z(\phi_{exec}) - z(\phi_{plan}) - z(\phi_{oss})$$

3. Intervention en Ligne

Une innovation clé réside dans l'utilisation d'un proxy du PDI comme signal de diagnostic en ligne. Lors de l'exploration des compétences, si le proxy-PDI tombe en dessous d'un seuil, SPARK déclenche des interventions :

• Intervention Douce : Encourage une révision plus large des hypothèses.
• Intervention Forte : Retient la stratégie précédente et force l'agent à s'ancrer sur les faits vérifiés et les motifs d'erreurs, empêchant l'agent de persister avec un plan obsolète.

Contributions Clés

1. Métrique Vérifiée par Trajectoire (PDI) : Une métrique principielle et interprétable qui distingue les compétences ancrées dans des preuves environnementales de celles basées sur des plans antérieurs non vérifiés. Elle fournit une évaluation mécaniste des trajectoires qui produisent des compétences transférables.
2. Génération de Compétences Transparente (SPARK) : Un cadre qui préserve les journaux d'exécution, les signaux de vérificateur et les historiques de mémos, permettant une analyse complète au niveau de la trajectoire et rendant le processus de distillation analysable.
3. Mécanisme d'Intervention en Ligne : Une méthode utilisant des proxies PDI pour surveiller et intervenir pendant le processus d'exploration des compétences, améliorant activement la qualité des compétences générées avant la fin de la distillation.
4. Référentiel de Trajectoires : Un ensemble de données de 86 tâches exécutables (étendu à 300 variantes) avec des traces d'exécution complètes, des signaux de vérificateur et des compétences distillées, permettant l'évaluation du transfert de compétences à travers les interactions environnementales.

Résultats Expérimentaux

Les auteurs ont évalué SPARK sur 86 tâches du référentiel SkillsBench et 300 variantes de tâches générées, ainsi que sur l'environnement ALFWorld.

• Gains de Performance : Les compétences générées par SPARK ont systématiquement surpassé à la fois les bases de référence « sans compétence » et les compétences rédigées par des humains sur sept modèles étudiants (allant de GPT-5.4-nano à DeepSeek-Chat). Notamment, les petits modèles étudiants équipés de compétences SPARK ont souvent dépassé les performances non assistées des forts modèles enseignants utilisés pour générer les compétences.
• Efficacité des Coûts : Bien que l'exploration par l'enseignant soit coûteuse, les compétences distillées permettent aux modèles étudiants plus faibles de résoudre des tâches à un coût d'inférence jusqu'à 1 000 fois moins cher que le coût d'exploration de l'enseignant.
• Puissance Prédictive du PDI :
  • Il existe une corrélation positive significative ($\rho \approx 0,36$) entre le PDI et le gain de compétence.
  • Les compétences issues de trajectoires à haut PDI ont atteint les taux de gain de réussite les plus élevés.
  • La « copie de plan » (fort $\phi_{plan}$) combinée à un faible ancrage d'exécution a entraîné des gains proches de zéro ou négatifs, confirmant que la synthèse de plans sans preuves est inefficace.
  • L'« ossification du mémo » (fort $\phi_{oss}$) est corrélée négativement à la qualité de la compétence, indiquant que la stagnation cognitive nuit au transfert.
• Intervention en Ligne : Des études d'ablation ont montré que l'activation d'une intervention en ligne guidée par le PDI améliorait significativement les taux de réussite en aval (par exemple, augmentant le taux de réussite de DeepSeek-Chat de 9,1 % à 42,4 % sur des sous-ensembles spécifiques).
• Généralisation : Les compétences SPARK se sont généralisées à travers les variantes de tâches et même vers l'environnement hors distribution ALFWorld, améliorant les taux de réussite de 16,7 % à 40,0 %.

Importance et Revendications

L'article soutient que la connaissance procédurale efficace pour les agents doit être basée sur le postérieur, ce qui signifie qu'elle doit encoder des contraintes et des modes d'échec découverts uniquement par l'interaction environnementale. Les auteurs affirment que :

• Le Timing est Critique : Des compétences robustes doivent être distillées à partir d'une interaction empirique plutôt que de plans antérieurs.
• Preuves plutôt que Plans : La qualité d'une compétence est déterminée par son ancrage dans des preuves vérifiées, et non par la complexité du plan initial de l'agent.
• Transférabilité : En utilisant le PDI pour filtrer et guider la distillation, SPARK produit des compétences efficaces, transférables et capables de permettre à des modèles plus faibles de surpasser des modèles plus puissants qui manquent de ces insights spécifiques et ancrés dans l'environnement.
• Compréhension Mécaniste : Le cadre va au-delà de la génération de compétences boîte noire, offrant une compréhension mécaniste de la raison pour laquelle certaines trajectoires produisent des compétences utiles (exploration divergente, faible ossification) tandis que d'autres ne le font pas.

Les auteurs concluent que la génération autonome de compétences fonctionne le plus efficacement lorsque l'agent apprend de l'environnement comme une condition préalable, et non comme une réflexion après coup, pour produire des connaissances vitales que les agents futurs pourront hériter et exécuter de manière vérifiable.