Resumo Técnico: SETA: Escalando Ambientes para Agentes de Terminal

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como agentes que interagem com diversas interfaces, incluindo interfaces web e gráficas (GUIs). Entre estas, a linha de comando do terminal oferece uma interface baseada em texto, de propósito geral, abrangendo operações de sistema, ciência de dados e tarefas de aprendizado de máquina. No entanto, escalar o treinamento para agentes de terminal continua sendo um gargalo significativo. Ao contrário dos agentes de engenharia de software, que dependem de sinais de supervisão naturais, como pull requests do GitHub, as tarefas de terminal carecem de supervisão fundamentada. Além disso, as abordagens existentes têm dificuldade em sintetizar simultaneamente instruções de tarefas diversas, ambientes executáveis e lógica de verificação confiável. Crucialmente, os métodos atuais frequentemente carecem de controle de dificuldade adaptativo, resultando em distribuições de dados enviesadas para a fonte de síntese em vez da "zona de RL produtiva", onde as tarefas são desafiadoras, mas aprendíveis para o modelo específico.

Metodologia

Os autores propõem o SETA (Scaling Environments for Terminal Agents), um framework escalável projetado para gerar ambientes de terminal verificáveis para Aprendizado por Reforço (RL). O framework opera através de dois pipelines consecutivos que compartilham um mecanismo de verificação unificado:

1. SETA-Synth: Síntese Adaptativa à Fonte

Este pipeline converte diversas fontes validadas por humanos em ambientes de terminal padronizados e verificáveis.

• Fontes: Ele agrega dados de plataformas de Q&A da comunidade (Stack Overflow, Unix & Linux StackExchange), notebooks de ciência de dados (Kaggle) e conjuntos de comandos curados (NL2Bash).
• Arquitetura: Emprega uma arquitetura adaptativa à fonte usando um Agente de Ideia para converter exemplos brutos de fontes em uma especificação de rascunho intermediária unificada. Este agente utiliza adaptadores específicos de cada fonte para lidar com variações de formato enquanto mantém um framework comum de design de tarefas.
• Instanciação: Um Agente de Datapoint então instancia esses rascunhos em ambientes completos, gerando Dockerfiles, scripts de solução de verdade fundamental (solve.sh), suítes de teste (test_state.py, test.sh) e instruções de tarefa.
• Verificação: O pipeline impõe um protocolo de verificação estilo SWE-bench:
  • Teste No-op: Garante que o ambiente falhe sem a intervenção do agente.
  • Teste Oracle: Confirma que a solução de verdade fundamental passa em todos os testes.
  • Verificação Pós-Rollout: Um Agente Juiz de Trajetória separado audita tarefas com taxas de falha de rollout de 100% para distinguir entre dificuldade genuína e falhas de design sistemáticas (ex: convenções não declaradas nos testes), descartando estas últimas para evitar a poluição do dataset.

2. SETA-Evol: Evolução Adaptativa

Este pipeline expande o dataset ao remodelar adaptativamente a dificuldade e a distribuição de categorias com base no desempenho do modelo de treinamento.

• Seleção de Estratégia: Com base na taxa de aprovação ($r$) do modelo em uma tarefa específica, o SETA-Evol seleciona um operador de evolução:
  • Aumento de Dificuldade ($d_1$): Para tarefas fáceis ($r > 0,5$), adiciona restrições, casos de borda ou dependências de múltiplos passos para empurrar as tarefas em direção à fronteira produtiva.
  • Mudança de Contexto ($b_1$): Para tarefas de dificuldade média ($r \in (0, 0,5]$), altera o domínio ou o conjunto de ferramentas (ex: trocando sklearn por caret, ou systemd por init.d) preservando a dificuldade para aumentar a diversidade.
  • Diminuição de Dificuldade ($d_1$): Para tarefas difíceis ($r \approx 0$), simplifica a tarefa removendo passos ou casos de borda para torná-la aprendível.
• Processo Iterativo: As tarefas evoluídas passam pelo mesmo rigoroso pipeline de validação das sintetizadas, garantindo a escala contínua de dados de alta qualidade.

Principais Contribuições

1. Pipeline SETA-Synth: Um novo método de síntese que fundamenta a geração de ambientes de terminal em diversas fontes validadas por humanos, usando adaptadores por fonte e um juiz de trajetória pós-rollout para capturar falhas perdidas pela verificação oracle.
2. Framework SETA-Evol: Um sistema de evolução de dificuldade adaptativa que calibra a dificuldade da tarefa para a fronteira de capacidade do modelo de treinamento, deslocando as distribuições para a zona de RL produtiva e expandindo a diversidade contextual.
3. Dataset SETA-Env: O lançamento do SETA-Env, o maior dataset de RL de terminal verificável de código aberto até o momento, contendo 4.567 ambientes em 14 categorias (ex: administração de sistemas, aprendizado de máquina, processamento de dados).
4. Resultados de Estado da Arte: Demonstração de ganhos significativos de desempenho em benchmarks de terminal usando modelos treinados por RL.

Resultados Experimentais

Os autores avaliaram o framework treinando Qwen3-8B e DeepSeek-V4-Flash usando Group Relative Policy Optimization (GRPO) no SETA-Env.

• Desempenho no Terminal-Bench 2.0:
  • Qwen3-8B: O modelo treinado via RL alcançou um pass@1 de 12% no Terminal-Bench 2.0, uma melhora de 3,3x sobre o modelo base (3,6%). Isso representa o melhor resultado relatado para um modelo de escala 8B treinado por RL, aproximando-se do desempenho do GPT-OSS-120B de escala 120B.
  • DeepSeek-V4-Flash: O treinamento no SETA-Env melhorou o pass@1 de 40% para 43% e o pass@5 de 54% para 58%, demonstrando que o sinal de treinamento se transfere entre diferentes famílias de modelos.
• Generalização: O modelo mostrou ganhos em benchmarks de codificação adjacentes, incluindo CompileBench (6,7% $\to$ 40%) e CRUST-Bench (15% $\to$ 24%), indicando que as capacidades de terminal se generalizam para tarefas de compilação iterativa e tradução de código.
• Mudança de Comportamento: A análise revelou que os modelos treinados por RL exibem raciocínio estruturado e planejamento antes de executar comandos, adaptando-se a erros de execução concretos (ex: falta de sudo no Docker) em vez de reagir cegamente.

Significância e Alegações

O artigo afirma que o SETA fornece um pipeline prático e escalável para gerar ambientes de treinamento e sinais de aprendizado para agentes de terminal. Ao integrar verificação executável, controle de dificuldade adaptativo e fundamentação em diversas fontes, o SETA-Env aborda a falta crítica de dados de treinamento de alta qualidade para agentes de terminal.

Os autores enfatizam que seus resultados demonstram que a síntese de ambiente escalável, combinada com uma forte verificação, pode apoiar efetivamente o treinamento de RL para sistemas agênticos em ambientes interativos. Eles posicionam o SETA-Env como um recurso valioso para avançar a pesquisa em aprendizado de agentes baseados em terminal, observando que o dataset ainda não está saturado por modelos proprietários fortes, preservando sua utilidade para pesquisas futuras.

Limitações: Os autores reconhecem que sua validação é atualmente limitada a duas famílias de modelos (Qwen e DeepSeek) e escalas específicas. Eles também notam que os ambientes são restritos a interações de terminal, deixando extensões de GUI e multimodais como direções para trabalhos futuros. Além disso, destacam o potencial de uso indevido (acesso não autorizado ao sistema) e afirmam mitigar isso derivando tarefas de fontes públicas e não sensíveis e enfatizando ambientes verificáveis e em sandbox.