Resumo Técnico: Síntese Recursiva para Tarefas de Terminal de Longo Horizonte

Declaração do Problema

A produção de dados de treinamento de alta qualidade e longo horizonte para agentes de terminal é proibitivamente cara em escala. Criar uma única tarefa verificada pode custar centenas a milhares de dólares, pois exige a manutenção de uma estrita consistência mútua entre a instrução pública, o ambiente executável, a solução de referência e o verificador privado. A autoria humana não escala, e a geração direta por Grandes Modelos de Linguagem (LLMs) frequentemente quebra essas dependências, resultando em tarefas que são ou insolúveis, ou inverificáveis, ou que contêm informações "vazadas", onde o verificador checa requisitos não declarados na instrução. Benchmarks existentes e construtores automatizados ainda não forneceram um método escalável para gerar dados de agentes de terminal verificados de alta qualidade que cresçam em complexidade ao longo do tempo.

Metodologia: Tarefas de Terminal Sintéticas Recursivas (RST)

Os autores propõem o RST, um framework de síntese verificada recursiva projetado para construir tarefas de agentes de terminal de longo horizonte em escala. O framework opera sob um princípio de "solução primeiro", garantindo que cada tarefa aceita carregue uma prova executável de solvabilidade.

Fluxo de Trabalho Principal

1. Inicialização de Sementes: O processo começa com um conjunto de tarefas de bootstrap verificadas (639 tarefas do TerminalWorld).
2. Expansão Recursiva: Para cada rodada, tarefas selecionadas da rodada anterior servem como sementes. O framework executa quatro estágios:
   • Seleção de Alvo: O sistema inspeciona a tarefa semente (arquivos, ferramentas, dependências) e seleciona um operador de reescrita de uma taxonomia de 40 operadores agrupados em cinco famílias (Configuração, Dados/Esquema, Sistema de Arquivos, Build/Cache, Runtime/Diagnósticos).
   • Geração do Contrato da Tarefa: Um plano é formulado para estender o fluxo de trabalho executável. Este plano define novos requisitos, atualizações para a solução de referência e asserções de verificador mais rigorosas, enquanto identifica e rejeita explicitamente potenciais atalhos.
   • Reescrita (Crescer Solução, depois Alinhar):
     • A solução de referência (solve.sh) é estendida com novas operações (ex: inspecionar arquivos, gerenciar estado, produzir artefatos).
     • O ambiente (Dockerfile) é modificado para suportar essas operações (instalação de dependências, inicialização de serviços).
     • O verificador privado é atualizado para checar as novas transições de estado e artefatos, rejeitando placeholders ou saídas codificadas (hard-coded).
     • A instrução pública é revisada para declarar o novo objetivo sem vazar detalhes do verificador privado ou caminhos da solução.
   • Validação:
     • Filtros Estáticos: Candidatos passam por verificações de duplicatas próximas, arquivos ausentes e consistência instrução-verificador (garantindo que não haja requisitos ocultos).
     • Oráculo de Sandbox: O candidato é executado em um sandbox novo. A solução de referência deve passar pelo verificador privado. Se ocorrerem falhas, um loop de reparo limitado tenta corrigir a tarefa usando logs de execução. Apenas tarefas "órgão-válidas" (solúveis pela referência) e "contrato-válidas" (requisitos visíveis para o agente) são aceitas.
3. Reseed (Re-semeadura): Tarefas aceitas formam o conjunto para a próxima rodada de síntese. Limites de diversidade são aplicados para evitar a dominância por linhagens pai, categorias ou famílias de reescrita específicas.

Integração de Treinamento

O framework suporta simultaneamente dois paradigmas de treinamento:

• Ajuste Fino Supervisionado (SFT): Rollouts bem-sucedidos coletados por agentes (Qwen3.5) nas tarefas sintetizadas são usados para ajustar modelos base.
• Aprendizado por Reforço (RL): O conjunto de tarefas verificadas serve como o ambiente para RL baseado em verificador (PPO), onde o agente é recompensado com base no verificador integrado da tarefa.

Principais Contribuições e Resultados

1. Síntese Escalável e de Baixo Custo

• Escala: Ao longo de mais de 15 rodadas recursivas, o RST produziu 37.484 tarefas de agente de terminal verificadas a partir de 639 sementes.
• Custo: O custo de síntese é de aproximadamente $0,05 por tarefa, uma redução drástica em comparação aos custos de autoria humana.
• Estabilidade: O pipeline não mostrou sinais de colapso ou saturação. O rendimento de tarefas aprovadas por 1.000 tentativas permaneceu estável (498–572) em todas as 15 rodadas, e as taxas de aprovação de candidatos permaneceram consistentes (74,5%–81,5%).

2. Crescimento Substancial na Dificuldade da Tarefa

O framework conseguiu aumentar a complexidade executável das tarefas sem apenas inflar o comprimento do prompt:

• Comprimento da Solução: A mediana de linhas de código cresceu de 67 (R1) para 374 (R15) (um aumento de 5,6×).
• Uso de Comandos: A mediana de comandos executados cresceu de 40 para 244 (um aumento de 6,1×).
• Comprimento da Instrução: Cresceu apenas modestamente de 85 para 122 palavras (1,4×), indicando que a dificuldade advém da complexidade do fluxo de trabalho, não da verbosidade.
• Desempenho do Solver: Como resultado deste crescimento, a taxa pass@4 do DeepSeek-V4-Pro caiu monotonicamente de 90% (R1) para 2,5% (R15), e o crédito parcial médio caiu de 0,970 para 0,170.

3. Utilidade de Treinamento e Ganhos de Desempenho

Os dados sintetizados demonstraram utilidade significativa para melhorar o desempenho dos agentes:

• Ajuste Fino Supervisionado (SFT): O ajuste fino do Qwen3.5-27B e Qwen3.5-122B-A10B em trajetórias das tarefas sintetizadas melhorou o desempenho no Terminal-Bench 2, Terminal-Bench Hard e Long-Horizon Terminal Bench em até 10 pontos.
• Aprendizado por Reforço (RL): O treinamento de PPO agêntico no conjunto sintetizado elevou o Qwen3.5-27B para 49,44% no Terminal-Bench 2, 32,00% no Terminal-Bench Hard e 22,07% no Long-Horizon Terminal Bench. Estes representam ganhos relativos de 20,0%, 41,2% e 21,9% sobre o modelo base, respectivamente.
• Transferibilidade: As melhorias transferiram-se para benchmarks construídos independentemente (Terminal-Bench Hard), sugerindo que o modelo aprendeu comportamentos de longo horizonte generalizáveis em vez de sofrer overfitting para distribuições de tarefas específicas.

4. Diversidade e Validade

• Diversidade de Domínio: O conjunto de tarefas manteve ampla cobertura de domínio (19 domínios) com entropia estável (0,821 a 0,817) e sem evidência de colapso de domínio.
• Alinhamento Instrução-Verificador: Rodadas posteriores mostraram melhor alinhamento, com a "proteção contra checagem oculta" aumentando de 38,2% para 63,5% e o "risco de instrução curta" diminuindo de 41,6% para 7,5%.
• Sem Contaminação: Auditorias confirmaram que não há sobreposição entre as tarefas sintetizadas e os benchmarks de avaliação (Terminal-Bench 2, Hard, LHTB), com similaridade Jaccard máxima de 5-gram abaixo de 0,009.

Significância

O artigo afirma que o RST demonstra um caminho viável para escalar dados de treinamento de alta qualidade para agentes de terminal sem autoria humana. Ao evoluir recursivamente pacotes completos de tarefas (espaço de trabalho, solução, verificador, instrução) e validá-los em um sandbox, o framework produz um conjunto de dados auto-melhorável onde a dificuldade aumenta sistematicamente. Os resultados indicam que:

1. A síntese recursiva não colapsa: O processo pode continuar além de 15 rodadas mantendo o rendimento e a diversidade.
2. A complexidade executável impulsiona a dificuldade: O framework consegue gerar tarefas que são genuinamente mais difíceis para os agentes resolverem, evidenciado pela queda acentuada nas taxas de aprovação dos solvers.
3. Dados sintéticos são eficazes: Treinar nestas tarefas verificadas e difíceis gera ganhos substanciais de desempenho em benchmarks padrão, validando a abordagem de "solução primeiro" para o treinamento de agentes.

Os autores concluem que este pipeline não depende de nenhum domínio de semente ou modelo de geração específico, sugerindo que a abordagem pode continuar a escalar tanto em quantidade quanto em qualidade de dados para apoiar o desenvolvimento de agentes de terminal de longo horizonte mais capazes.