Toward Scalable Terminal Task Synthesis via Skill Graphs

1. Probleemstelling

Terminal-agenten (LLM's die via commando-lijninterfaces interageren) tonen potentie voor autonoom systeembeheer, maar worden ernstig beperkt door het tekort aan hoogwaardige, diverse uitvoeringstrajecten voor training.

• Huidige beperkingen: Bestaande methoden voor het schalen van terminaltaken vertrouwen op:
  • Door LLM's gegenereerde taxonomieën: Vaak afwijkend van het werkelijke gebruik.
  • Inversie van GitHub-repositories: Taken afleiden van echte codebases, maar beperken de reikwijdte tot software-engineering (bijv. bugfixing) en slagen er niet in de diversiteit van het uitvoeringspad (de reeks scenario's en vaardigheden) te controleren.
• Kerninzicht: Het traject van een terminal-agent wordt gedefinieerd door twee dimensies: de scenario's die het doorloopt (intermediaire staten) en de vaardigheden die het oefent (acties). Training vereist data die de conditionele productruimte van $(\text{scenario}, \text{vaardigheid})$-paren dicht beslaat. Huidige methoden vertonen redundantie in deze dimensies, wat leidt tot suboptimale leerresultaten.

2. Methodologie: SkillSynth

De auteurs stellen SkillSynth voor, een geautomatiseerd kader dat diverse terminaltaken synthetiseert door workflows te modelleren als paden op een Scenario-gemedieerd Vaardigheidsgraf.

A. Constructie van de Vaardigheidsgraf

Het kader bouwt een gerichte multigraf $G = (\Omega, K)$ waarbij:

• Knopen ($\Omega$): Scenario's (beslissingsrelevante abstracties van systeemtoestanden).
• Randen ($K$): Vaardigheden (gerichte overgangen van een preconditie-scenario naar een postconditie-scenario).
• Pijplijn:
  1. Vaardigheidsfiltering: Aggregeert vaardigheden uit ClawHub en openbare GitHub-repositories, filterend op uitvoerbaarheid, gestructureerde workflows en veiligheid (geen jailbreaks).
  2. Scenario-inferentie: Gebruikt LLM's om preconditie- en postconditie-scenario's voor elke vaardigheid af te leiden.
  3. Semantische duplicatieverwijdering: Groepeert en samenvoegt scenario's die semantisch identiek maar lexicaal verschillend zijn (met behulp van hiërarchisch agglomeratief clustering).
  4. Cross-vaardigheidsalignatie: Verbindt vaardigheden door de postconditie van de ene vaardigheid te matchen met de preconditie van een andere via inbeddingsimilariteit en LLM-verificatie.
  • Resultaat: Een graf met ~82k scenario's, ~57k vaardigheden en ~185k geverifieerde bruggen.

B. Graafgeleide Padsteekproefneming

In plaats van willekeurige wandelingen (die knopen met een hoge graad bevoordelen), gebruikt SkillSynth Inverse-Frequentie Padsteekproefneming (Algoritme 1):

• Mechanisme: Houdt bezoektellingen bij voor scenario's ($\nu$) en vaardigheden ($\mu$).
• Kans: Steekproeft volgende stappen met een kans evenredig aan $(count + 1)^{-1}$.
• Beperking: Handhaaft monotoon vooruitgang (geen opnieuw bezoeken van knopen binnen een enkel pad) om diversiteit te waarborgen.
• Doel: Stuur de empirische verdeling naar uniforme dekking van de $(\text{scenario}, \text{vaardigheid})$-ruimte.

C. Multi-Agent Synthese-Harnas

Gesteekproefde paden worden geïnstancieerd tot uitvoerbare taken via een multi-agent systeem:

1. Planner: Converteert het abstracte pad naar een gestructureerd plan van subdoelen.
2. Constructor: Genereert het volledige taakinstance (instructie, initiële bestandssysteem, Docker-omgeving, verificatiescripts, orakeloplossing).
3. Dubbele Verificatie:
   • Orakelcheck: Voert de oplossing uit in een container om oplosbaarheid te waarborgen.
   • Rubric-check: Gebruikt een LLM-as-a-Judge om instructie-test-afstemming te verifiëren en te zorgen voor geen lekken van oplossingen.
4. Iteratief Reparatie: Gefaalde instances ondergaan maximaal 3 reparatiecycli met tool-verrijkte agenten voordat ze worden verworpen.

3. Belangrijkste Bijdragen

1. Theoretische Modellering: Formuleert terminal-agent-trajecten als reeksen van scenario's en vaardigheden, en identificeert de noodzaak om diversiteit in de $(\sigma, \kappa)$-ruimte te maximaliseren voor effectieve training.
2. SkillSynth Kader: Een end-to-end geautomatiseerde pijplijn die een scenario-gemedieerde vaardigheidsgraf construeert en taken synthetiseert zonder menselijke tussenkomst.
3. Schaalbare Synthese: Bereikte 3.560 geverifieerde taakinstances uit 3.721 gesteekproefde paden in één run, met een 95,7% orakel-doorgangspercentage tegen een gemiddelde kostprijs van $27,3 per taak.
4. Empirische Validatie: Toonde aan dat graafgeleide synthese moeilijkere, diversere taken oplevert dan single-skill of willekeurige multi-skill baselines, wat leidt tot consistente prestatiewinsten.

4. Experimentele Resultaten

• Dataset: 3.560 geverifieerde taken gebruikt om Qwen3-modellen (8B, 14B, 32B) te trainen via Supervised Fine-Tuning (SFT).
• Benchmarks: Geëvalueerd op Terminal-Bench 1.0 en 2.0.
• Prestatiewinsten:
  • Qwen3-32B + SkillSynth behaalde 33,8% op TB 1.0 en 29,6% op TB 2.0.
  • Dit presteerde beter dan het veel grotere Qwen 3 Coder 480B (23,9% op TB 2.0), wat bewijst dat gerichte data-diversiteit effectiever is dan puur modelgrootte.
  • Ablatie: SkillSynth-taken presteerden ~8,4 punten beter dan "Single-skill" baselines en ~3,8 punten beter dan "Random Multi-skill" baselines op TB 2.0.
• Taakmoeilijkheid: 38% van de gesynthetiseerde taken was niet oplosbaar door de agent, zelfs niet na 3 pogingen (0/3 succes), wat wijst op hoge complexiteit.
• Diversiteit: SkillSynth-trajecten toonden 31% hogere unieke scenario-vaardigheidsdekking vergeleken met single-skill baselines.

5. Betekenis en Toekomstig Werk

• Paradigmaverschuiving: Verplaatst terminal-taaksynthese van "volumegedreven" (veel vergelijkbare taken genereren) naar "diversiteitsgecontroleerd" (dekking van de toestand-actie-ruimte waarborgen).
• Kostenefficiëntie: Biedt een schaalbare, goedkope methode om hoogwaardige trainingsdata te genereren, waardoor kleinere modellen kunnen concurreren met grotere propriëtaire modellen in terminaltaken.
• Real-world Alignatie: Door synthese te verankeren in real-world vaardigheden (ClawHub/GitHub) en scenario-overgangen, weerspiegelen de gegenereerde taken de daadwerkelijke gebruikersworkflows beter.
• Toekomstige Richtingen: Schalen naar grotere data-regimes, aanpassen aan goedkopere modellen, en het verkennen van subgraaf-steekproefneming om parallelle uitvoering van meerdere vaardigheden mogelijk te maken, wat de taakcomplexiteit verder verhoogt.

Conclusie: SkillSynth overbrugt effectief de kloof tussen het tekort aan hoogwaardige terminaldata en de behoefte aan diverse trainings-trajecten, en vestigt een nieuwe standaard voor schaalbare, geautomatiseerde terminal-agent-training.