Toward Scalable Terminal Task Synthesis via Skill Graphs

1. Formulação do Problema

Agentes de terminal (LLMs interagindo via interfaces de linha de comando) mostram promessa para gerenciamento autônomo de sistemas, mas são severamente limitados pela escassez de trajetórias de execução de alta qualidade e diversas para treinamento.

• Limitações Atuais: Métodos existentes para escalar tarefas de terminal dependem de:
  • Taxonomias geradas por LLM: Frequentemente divergem do uso no mundo real.
  • Inversão de repositórios GitHub: Derivam tarefas de bases de código reais, mas limitam o escopo à engenharia de software (por exemplo, correção de bugs) e falham em controlar a diversidade do caminho de execução (a sequência de cenários e habilidades).
• Insight Central: A trajetória de um agente de terminal é definida por duas dimensões: os cenários que ele percorre (estados intermediários) e as habilidades que ele exercita (ações). O treinamento requer dados que cubram densamente o espaço produto condicional de pares $(\text{cenário}, \text{habilidade})$. Os métodos atuais exibem redundância nessas dimensões, levando a um aprendizado subótimo.

2. Metodologia: SkillSynth

Os autores propõem o SkillSynth, um framework automatizado que sintetiza tarefas de terminal diversas modelando fluxos de trabalho como caminhos em um Grafo de Habilidades Mediado por Cenários.

A. Construção do Grafo de Habilidades

O framework constrói um multigrafo direcionado $G = (\Omega, K)$ onde:

• Nós ($\Omega$): Cenários (abstrações relevantes para decisão de estados do sistema).
• Arestas ($K$): Habilidades (transições direcionadas de um cenário de pré-condição para um cenário de pós-condição).
• Pipeline:
  1. Filtragem de Habilidades: Agrega habilidades de ClawHub e repositórios públicos do GitHub, filtrando por executabilidade, fluxos de trabalho estruturados e segurança (sem jailbreaks).
  2. Inferência de Cenários: Usa LLMs para inferir cenários de pré-condição e pós-condição para cada habilidade.
  3. Deduplicação Semântica: Agrupa e mescla cenários que são semanticamente idênticos, mas lexicalmente diferentes (usando agrupamento aglomerativo hierárquico).
  4. Alinhamento Cruzado de Habilidades: Conecta habilidades combinando a pós-condição de uma habilidade com a pré-condição de outra via similaridade de embeddings e verificação por LLM.
  • Resultado: Um grafo com ~82k cenários, ~57k habilidades e ~185k pontes verificadas.

B. Amostragem de Caminhos Guiada por Grafo

Em vez de passeios aleatórios (que favorecem nós de alto grau), o SkillSynth utiliza Amostragem de Caminhos por Frequência Inversa (Algoritmo 1):

• Mecanismo: Mantém contagens de visita para cenários ($\nu$) e habilidades ($\mu$).
• Probabilidade: Amostra os próximos passos com probabilidade proporcional a $(contagem + 1)^{-1}$.
• Restrição: Impõe progressão monotônica (sem re-visitar nós dentro de um único caminho) para garantir diversidade.
• Objetivo: Direcionar a distribuição empírica para uma cobertura uniforme do espaço $(\text{cenário}, \text{habilidade})$.

C. Harness de Síntese Multi-Agente

Caminhos amostrados são instanciados em tarefas executáveis via um sistema multi-agente:

1. Planejador: Converte o caminho abstrato em um plano estruturado de sub-objetivos.
2. Construtor: Gera a instância completa da tarefa (instrução, sistema de arquivos inicial, ambiente Docker, scripts de verificação, solução oráculo).
3. Verificação Dual:
   • Verificação do Oráculo: Executa a solução em um container para garantir solvabilidade.
   • Verificação da Rubrica: Usa um LLM como Juiz para verificar o alinhamento instrução-teste e garantir nenhum vazamento de solução.
4. Reparo Iterativo: Instâncias falhas passam por até 3 ciclos de reparo usando agentes aumentados por ferramentas antes de serem descartadas.

3. Principais Contribuições

1. Modelagem Teórica: Formula trajetórias de agentes de terminal como sequências de cenários e habilidades, identificando a necessidade de maximizar a diversidade no espaço $(\sigma, \kappa)$ para treinamento eficaz.
2. Framework SkillSynth: Um pipeline automatizado de ponta a ponta que constrói um grafo de habilidades mediado por cenários e sintetiza tarefas sem intervenção humana.
3. Síntese Escalável: Alcançou 3.560 instâncias de tarefas verificadas a partir de 3.721 caminhos amostrados em uma única execução, com uma taxa de aprovação do oráculo de 95,7% a um custo médio de $27,3 por tarefa.
4. Validação Empírica: Demonstrou que a síntese guiada por grafos produz tarefas mais difíceis e diversas do que baselines de habilidade única ou multi-habilidade aleatória, levando a ganhos consistentes de desempenho.

4. Resultados Experimentais

• Conjunto de Dados: 3.560 tarefas verificadas usadas para treinar modelos Qwen3 (8B, 14B, 32B) via Ajuste Fino Supervisionado (SFT).
• Benchmarks: Avaliado em Terminal-Bench 1.0 e 2.0.
• Ganhos de Desempenho:
  • Qwen3-32B + SkillSynth alcançou 33,8% no TB 1.0 e 29,6% no TB 2.0.
  • Isso superou o muito maior Qwen 3 Coder 480B (23,9% no TB 2.0), provando que a diversidade de dados direcionada é mais eficaz do que a escala bruta do modelo.
  • Ablação: Tarefas do SkillSynth superaram as baselines de "Habilidade Única" em ~8,4 pontos e as baselines de "Multi-habilidade Aleatória" em ~3,8 pontos no TB 2.0.
• Dificuldade da Tarefa: 38% das tarefas sintetizadas foram insolúveis pelo agente mesmo após 3 tentativas (0/3 de sucesso), indicando alta complexidade.
• Diversidade: Trajetórias do SkillSynth mostraram 31% maior cobertura única de cenário-habilidade comparado a baselines de habilidade única.

5. Significado e Trabalho Futuro

• Mudança de Paradigma: Move a síntese de tarefas de terminal de "baseada em volume" (gerando muitas tarefas similares) para "controlada por diversidade" (garantindo cobertura do espaço estado-ação).
• Eficiência de Custos: Fornece um método escalável e de baixo custo para gerar dados de treinamento de alta qualidade, permitindo que modelos menores compitam com modelos proprietários maiores em tarefas de terminal.
• Alinhamento com o Mundo Real: Ao fundamentar a síntese em habilidades do mundo real (ClawHub/GitHub) e transições de cenários, as tarefas geradas refletem melhor os fluxos de trabalho reais dos usuários.
• Direções Futuras: Escalar para regimes de dados maiores, adaptar-se a modelos mais baratos e explorar amostragem de subgrafos para permitir a execução paralela de múltiplas habilidades, aumentando ainda mais a complexidade da tarefa.

Conclusão: O SkillSynth efetivamente preenche a lacuna entre a escassez de dados de terminal de alta qualidade e a necessidade de trajetórias de treinamento diversas, estabelecendo um novo padrão para treinamento escalável e automatizado de agentes de terminal.