Toward Scalable Terminal Task Synthesis via Skill Graphs

1. Énoncé du problème

Les agents terminaux (LLM interagissant via des interfaces en ligne de commande) montrent des promesses pour la gestion autonome des systèmes, mais sont sévèrement limités par la rareté des trajectoires d'exécution de haute qualité et diversifiées nécessaires à l'entraînement.

• Limitations actuelles : Les méthodes existantes pour l'extension des tâches terminales reposent sur :
  • Des taxonomies générées par LLM : Elles divergent souvent de l'utilisation réelle.
  • L'inversion de dépôts GitHub : Dérivation de tâches à partir de bases de code réelles, mais limitant la portée au génie logiciel (par exemple, correction de bugs) et échouant à contrôler la diversité du chemin d'exécution (la séquence de scénarios et de compétences).
• Insight central : La trajectoire d'un agent terminal est définie par deux dimensions : les scénarios qu'elle traverse (états intermédiaires) et les compétences qu'elle mobilise (actions). L'entraînement nécessite des données couvrant densément l'espace produit conditionnel des paires $(\text{scénario}, \text{compétence})$. Les méthodes actuelles présentent une redondance dans ces dimensions, conduisant à un apprentissage sous-optimal.

2. Méthodologie : SkillSynth

Les auteurs proposent SkillSynth, un cadre automatisé qui synthétise des tâches terminales diversifiées en modélisant les flux de travail comme des chemins sur un Graphe de Compétences Médiateur de Scénarios.

A. Construction du graphe de compétences

Le cadre construit un multigraphe orienté $G = (\Omega, K)$ où :

• Nœuds ($\Omega$) : Scénarios (abstractions des états du système pertinentes pour la décision).
• Arêtes ($K$) : Compétences (transitions orientées d'un scénario de précondition vers un scénario de postcondition).
• Pipeline :
  1. Filtrage des compétences : Agrège les compétences issues de ClawHub et de dépôts GitHub publics, en filtrant pour l'exécutabilité, les flux de travail structurés et la sécurité (pas de jailbreaks).
  2. Inférence de scénarios : Utilise des LLM pour inférer les scénarios de précondition et de postcondition pour chaque compétence.
  3. Déduplication sémantique : Regroupe et fusionne les scénarios qui sont sémantiquement identiques mais lexicalement différents (en utilisant un clustering agglomératif hiérarchique).
  4. Alignement inter-compétences : Connecte les compétences en faisant correspondre la postcondition d'une compétence à la précondition d'une autre via la similarité d'embedding et la vérification par LLM.
  • Résultat : Un graphe avec ~82k scénarios, ~57k compétences et ~185k ponts vérifiés.

B. Échantillonnage de chemins guidé par le graphe

Au lieu de marches aléatoires (qui favorisent les nœuds de haut degré), SkillSynth utilise un Échantillonnage de Chemins par Fréquence Inverse (Algorithme 1) :

• Mécanisme : Maintient des comptes de visites pour les scénarios ($\nu$) et les compétences ($\mu$).
• Probabilité : Échantillonne les étapes suivantes avec une probabilité proportionnelle à $(count + 1)^{-1}$.
• Contrainte : Impose une progression monotone (pas de revisite de nœuds au sein d'un seul chemin) pour assurer la diversité.
• Objectif : Orienter la distribution empirique vers une couverture uniforme de l'espace $(\text{scénario}, \text{compétence})$.

C. Harness de synthèse multi-agents

Les chemins échantillonnés sont instanciés en tâches exécutables via un système multi-agents :

1. Planificateur : Convertit le chemin abstrait en un plan structuré de sous-objectifs.
2. Constructeur : Génère l'instance complète de la tâche (instruction, système de fichiers initial, environnement Docker, scripts de vérification, solution oracle).
3. Double vérification :
   • Vérification Oracle : Exécute la solution dans un conteneur pour assurer la solvabilité.
   • Vérification Rubrique : Utilise un LLM comme Juge pour vérifier l'alignement instruction-test et assurer l'absence de fuite de solution.
4. Réparation itérative : Les instances échouées subissent jusqu'à 3 cycles de réparation utilisant des agents augmentés d'outils avant d'être rejetées.

3. Contributions clés

1. Modélisation théorique : Formule les trajectoires d'agents terminaux comme des séquences de scénarios et de compétences, identifiant la nécessité de maximiser la diversité dans l'espace $(\sigma, \kappa)$ pour un entraînement efficace.
2. Cadre SkillSynth : Un pipeline automatisé de bout en bout qui construit un graphe de compétences médiateur de scénarios et synthétise des tâches sans intervention humaine.
3. Synthèse évolutive : A atteint 3 560 instances de tâches vérifiées à partir de 3 721 chemins échantillonnés en une seule exécution, avec un taux de réussite oracle de 95,7 % à un coût moyen de 27,3 $ par tâche.
4. Validation empirique : A démontré que la synthèse guidée par graphe produit des tâches plus difficiles et plus diversifiées que les baselines à compétence unique ou multi-compétences aléatoires, conduisant à des gains de performance constants.

4. Résultats expérimentaux

• Jeu de données : 3 560 tâches vérifiées utilisées pour entraîner des modèles Qwen3 (8B, 14B, 32B) via un ajustement fin supervisé (SFT).
• Benchmarks : Évalués sur Terminal-Bench 1.0 et 2.0.
• Gains de performance :
  • Qwen3-32B + SkillSynth a atteint 33,8 % sur TB 1.0 et 29,6 % sur TB 2.0.
  • Cela a surpassé le beaucoup plus grand Qwen 3 Coder 480B (23,9 % sur TB 2.0), prouvant que la diversité ciblée des données est plus efficace que l'échelle brute du modèle.
  • Ablation : Les tâches SkillSynth ont surpassé les baselines "Compétence unique" d'environ 8,4 points et les baselines "Multi-compétences aléatoires" d'environ 3,8 points sur TB 2.0.
• Difficulté des tâches : 38 % des tâches synthétisées étaient insolubles par l'agent même après 3 tentatives (0/3 succès), indiquant une complexité élevée.
• Diversité : Les trajectoires SkillSynth ont montré une couverture unique scénario-compétence 31 % supérieure par rapport aux baselines à compétence unique.

5. Signification et travaux futurs

• Changement de paradigme : Passe la synthèse de tâches terminales d'une approche "basée sur le volume" (génération de nombreuses tâches similaires) à une approche "contrôlée par la diversité" (assurant la couverture de l'espace état-action).
• Efficacité des coûts : Fournit une méthode évolutive et peu coûteuse pour générer des données d'entraînement de haute qualité, permettant aux modèles plus petits de rivaliser avec des modèles propriétaires plus grands dans les tâches terminales.
• Alignement avec le monde réel : En ancrant la synthèse dans des compétences réelles (ClawHub/GitHub) et des transitions de scénarios, les tâches générées reflètent mieux les flux de travail réels des utilisateurs.
• Directions futures : Passage à l'échelle vers des régimes de données plus vastes, adaptation à des modèles moins coûteux, et exploration de l'échantillonnage de sous-graphes pour permettre l'exécution parallèle de multiples compétences, augmentant ainsi davantage la complexité des tâches.

Conclusion : SkillSynth comble efficacement le fossé entre la rareté des données terminales de haute qualité et le besoin de trajectoires d'entraînement diversifiées, établissant une nouvelle norme pour l'entraînement évolutif et automatisé d'agents terminaux.