Toward Scalable Terminal Task Synthesis via Skill Graphs

1. Enunciato del Problema

Gli agenti terminali (LLM che interagiscono tramite interfacce a riga di comando) mostrano potenziale per la gestione autonoma dei sistemi, ma sono severamente limitati dalla scarsità di traiettorie di esecuzione di alta qualità e diversificate necessarie per l'addestramento.

• Limitazioni Attuali: I metodi esistenti per scalare i compiti terminali si basano su:
  • Tassonomie generate da LLM: Spesso divergono dall'uso reale.
  • Inversione di repository GitHub: Derivano compiti da codebase reali ma limitano la portata all'ingegneria del software (es. correzione di bug) e non riescono a controllare la diversità del percorso di esecuzione (la sequenza di scenari e abilità).
• Insight Fondamentale: La traiettoria di un agente terminale è definita da due dimensioni: gli scenari che attraversa (stati intermedi) e le abilità che esercita (azioni). L'addestramento richiede dati che coprano densamente lo spazio prodotto condizionale delle coppie $(\text{scenario}, \text{abilità})$. I metodi attuali mostrano ridondanza in queste dimensioni, portando a un apprendimento subottimale.

2. Metodologia: SkillSynth

Gli autori propongono SkillSynth, un framework automatizzato che sintetizza compiti terminali diversificati modellando i flussi di lavoro come percorsi su un Grafo delle Abilità Mediato da Scenari.

A. Costruzione del Grafo delle Abilità

Il framework costruisce un multigrafo diretto $G = (\Omega, K)$ dove:

• Nodi ($\Omega$): Scenari (astrazioni rilevanti per le decisioni degli stati del sistema).
• Archi ($K$): Abilità (transizioni dirette da uno scenario di precondizione a uno scenario di postcondizione).
• Pipeline:
  1. Filtraggio delle Abilità: Aggrega abilità da ClawHub e repository GitHub pubblici, filtrando per eseguibilità, flussi di lavoro strutturati e sicurezza (nessun jailbreak).
  2. Inferenza degli Scenari: Utilizza LLM per inferire scenari di precondizione e postcondizione per ogni abilità.
  3. Deduplicazione Semantica: Raggruppa e unisce scenari semanticamente identici ma lessicalmente diversi (utilizzando il clustering agglomerativo gerarchico).
  4. Allineamento Cross-Abilità: Collega le abilità abbinando la postcondizione di un'abilità alla precondizione di un'altra tramite similarità di embedding e verifica LLM.
  • Risultato: Un grafo con ~82k scenari, ~57k abilità e ~185k ponti verificati.

B. Campionamento di Percorsi Guidato dal Grafo

Invece di cammini casuali (che favoriscono i nodi ad alto grado), SkillSynth utilizza il Campionamento di Percorsi a Frequenza Inversa (Algoritmo 1):

• Meccanismo: Mantiene i conteggi delle visite per gli scenari ($\nu$) e le abilità ($\mu$).
• Probabilità: Campiona i passaggi successivi con probabilità proporzionale a $(count + 1)^{-1}$.
• Vincolo: Impone una progressione monotona (nessun ritorno ai nodi all'interno di un singolo percorso) per garantire la diversità.
• Obiettivo: Orientare la distribuzione empirica verso una copertura uniforme dello spazio $(\text{scenario}, \text{abilità})$.

C. Piattaforma di Sintesi Multi-Agente

I percorsi campionati vengono istanziati in compiti eseguibili tramite un sistema multi-agente:

1. Pianificatore: Converte il percorso astratto in un piano strutturato di sotto-obiettivi.
2. Costruttore: Genera l'istanza completa del compito (istruzione, filesystem iniziale, ambiente Docker, script di verifica, soluzione oracolo).
3. Verifica Duale:
   • Controllo Oracolo: Esegue la soluzione in un contenitore per garantire la risolvibilità.
   • Controllo Rubrica: Utilizza un LLM come Giudice per verificare l'allineamento istruzione-test e garantire che non vi sia alcuna fuga di soluzioni.
4. Riparazione Iterativa: Le istanze fallite subiscono fino a 3 cicli di riparazione utilizzando agenti potenziati da strumenti prima di essere scartate.

3. Contributi Chiave

1. Modellazione Teorica: Formula le traiettorie degli agenti terminali come sequenze di scenari e abilità, identificando la necessità di massimizzare la diversità nello spazio $(\sigma, \kappa)$ per un addestramento efficace.
2. Framework SkillSynth: Una pipeline automatizzata end-to-end che costruisce un grafo delle abilità mediato da scenari e sintetizza compiti senza intervento umano.
3. Sintesi Scalabile: Ha raggiunto 3.560 istanze di compiti verificate da 3.721 percorsi campionati in un singolo esecuzione, con un tasso di passaggio dell'oracolo del 95,7% a un costo medio di 27,3 $ per compito.
4. Validazione Empirica: Ha dimostrato che la sintesi guidata dal grafo produce compiti più difficili e diversificati rispetto alle baseline a singola abilità o multi-abilità casuali, portando a miglioramenti costanti delle prestazioni.

4. Risultati Sperimentali

• Dataset: 3.560 compiti verificati utilizzati per addestrare i modelli Qwen3 (8B, 14B, 32B) tramite Supervised Fine-Tuning (SFT).
• Benchmark: Valutati su Terminal-Bench 1.0 e 2.0.
• Miglioramenti delle Prestazioni:
  • Qwen3-32B + SkillSynth ha raggiunto il 33,8% su TB 1.0 e il 29,6% su TB 2.0.
  • Questo ha superato il molto più grande Qwen 3 Coder 480B (23,9% su TB 2.0), dimostrando che la diversità dei dati mirata è più efficace della pura scala del modello.
  • Ablazione: I compiti SkillSynth hanno superato le baseline "Single-skill" di circa 8,4 punti e le baseline "Random Multi-skill" di circa 3,8 punti su TB 2.0.
• Difficoltà del Compito: Il 38% dei compiti sintetizzati era irrisolvibile dall'agente anche dopo 3 tentativi (0/3 successi), indicando un'alta complessità.
• Diversità: Le traiettorie SkillSynth hanno mostrato una copertura unica scenario-abilità superiore del 31% rispetto alle baseline a singola abilità.

5. Significato e Lavori Futuri

• Cambiamento di Paradigma: Sposta la sintesi dei compiti terminali da "basata sul volume" (generazione di molti compiti simili) a "controllata per diversità" (garantendo la copertura dello spazio stato-azione).
• Efficienza dei Costi: Fornisce un metodo scalabile e a basso costo per generare dati di addestramento di alta qualità, permettendo a modelli più piccoli di competere con modelli proprietari più grandi nei compiti terminali.
• Allineamento con il Mondo Reale: Fondando la sintesi su abilità reali (ClawHub/GitHub) e transizioni di scenari, i compiti generati riflettono meglio i flussi di lavoro reali degli utenti.
• Direzioni Future: Scalare a regimi di dati più ampi, adattarsi a modelli più economici ed esplorare il campionamento di sottografi per abilitare l'esecuzione parallela di più abilità, aumentando ulteriormente la complessità del compito.

Conclusione: SkillSynth colma efficacemente il divario tra la scarsità di dati terminali di alta qualità e la necessità di traiettorie di addestramento diversificate, stabilendo un nuovo standard per l'addestramento scalabile e automatizzato degli agenti terminali.