Resumo Técnico: TMAX – Uma Receita Simples para Agentes de Terminal

Declaração do Problema

A codificação agêntica baseada em terminal tornou-se uma aplicação descendente dominante para Modelos de Linguagem de Grande Escala (LLMs), com modelos da indústria cada vez mais esperados para realizar tarefas complexas de longo horizonte via interfaces de linha de comando. No entanto, a pesquisa acadêmica neste domínio enfrenta três gargalos primários:

1. Escassez de Dados: Datasets abertos de alta qualidade para agentes de terminal são limitados. Os datasets existentes frequentemente focam de forma estreita em correção de bugs (ex: subconjuntos do SWE-Bench) ou manipulações simples de arquivos, falhando em cobrir a amplitude das tarefas reais de terminal.
2. Complexidade de Treinamento: O Aprendizado por Reforço (RL) para agentes de terminal é notoriamente difícil de estabilizar, particularmente para tarefas de longo horizonte, com muitos trabalhos anteriores dependendo apenas de Ajuste Fino Supervisionado (SFT) ou falhando em demonstrar ganhos significativos de RL.
3. Falta de Baselines: Há uma escassez de "receitas" simples e reproduzíveis para treinar modelos de pesos abertos para competir com ofertas de código fechado em benchmarks de terminal complexos como o Terminal-Bench.

Metodologia

Os autores propõem o TMAX, um framework que consiste em um novo pipeline de geração de dados e uma receita de treinamento de RL simplificada.

1. Geração de Dados: TMAX-15K

Os autores introduzem o TMAX-15K, um dataset de 14.600 instâncias únicas de ambiente de RL. Diferente de trabalhos anteriores que dependem de mineração de repositórios existentes ou tarefas semente simples, o TMAX utiliza um framework de geração composicional:

• Amostragem Hierárquica: As tarefas são construídas amostrando de nove eixos estruturados, incluindo Domínio (ex: segurança, ciência de dados), Habilidades, Complexidade da Tarefa (de comandos shell a fluxos de trabalho intrincados), Complexidade de Comando (de bash a serviços de sistema), Persona e tipos de Verificador.
• Controle de Dificuldade: O pipeline calibra explicitamente a dificuldade para evitar distribuições bimodais (trivial vs. insolúvel). Ele utiliza verificadores graduados (limiares métricos, corpora adversariais, equivalência de fuzz) em vez de simples verificações de correção binária.
• Escalabilidade e Diversidade: O pipeline ignora etapas caras de validação baseadas em professor, confiando, em vez disso, na "filtragem suave" da infraestrutura de RL (descartando amostras onde a taxa de passagem da política é zero). Ele gera entradas diversas, incluindo fixtures multimodais (imagens, áudio, binários) que os agentes devem inspecionar via ferramentas de terminal padrão (OCR, ffmpeg), em vez de exigir um modelo multimodal.
• Escala: O dataset é mais de 2,5x maior que o próximo maior dataset de terminal que libera dados de ambiente completos e demonstra uma diversidade de domínio superior em comparação com trabalhos anteriores.

2. Receita de Treinamento

Os autores empregam uma receita de RL simples, baseada apenas em resultados, usando Divergence Proximal Policy Optimization (DPPO), uma variante do GRPO projetada para mascarar tokens quando os logprobs de inferência e treinamento divergem.

• Infraestrutura: O treinamento é totalmente assíncrono usando open-instruct e vLLM para rollouts, com sandboxes gerenciadas via Podman ou Apptainer.
• Mecanismos de Estabilidade:
  • LM Head em FP32: Para minimizar o descompasso entre treinamento e inferência, o cabeçalho do modelo de linguagem é mantido em precisão FP32, o que os autores descobriram ser crucial para modelos como o Qwen 3.5.
  • Grande Tamanho de Grupo: Usar um tamanho de grupo de 32 (vs. o padrão de 8) melhora a estabilidade em cenários de longo horizonte.
  • Sem SFT Inicial: Para modelos Qwen 3.5, os autores descobriram que os datasets de SFT existentes frequentemente degradavam o desempenho; portanto, eles treinaram diretamente com RL.
• Avaliação: Os modelos são avaliados no Terminal-Bench 2.0 e Terminal-Bench Lite, bem como em benchmarks gerais como SWE-Bench Verified e AIME.

Principais Contribuições

1. Dataset TMAX-15K: O lançamento de um dataset de 14.600 instâncias com controle explícito de dificuldade e diversidade, significativamente maior e mais equilibrado que os datasets de agentes de terminal anteriores.
2. Modelo Aberto Estado da Arte: O treinamento do TMAX-9B, um modelo de 9 bilhões de parâmetros que alcança 27% no Terminal-Bench 2.0. Isso supera modelos abertos anteriores de tamanho similar e até modelos abertos maiores (ex: variantes de 32B), aproximando-se do desempenho de modelos de código fechado como o Claude Haiku 4.5.
3. Receita de RL Reproduzível: Uma receita de código aberto simples (dados, código, checkpoints) que supera os baselines de RL abertos anteriores (ex: Endless Terminals, OpenThinker-Agent) e demonstra que o RL pode gerar ganhos significativos (>5 pontos) sobre baselines de apenas SFT.
4. Evidência de Generalização: Os autores demonstram que o treinamento de RL generaliza através de:
   • Tarefas: Desempenho melhorado no SWE-Bench Verified (+5 pontos) e AIME.
   • Harnesses: Desempenho melhorado em diferentes harnesses de avaliação (OpenHands, mini-SWE-agent, Terminus-2), sugerindo que o modelo aprende habilidades de terminal gerais em vez de "ajuste ao harness".
   • Famílias de Modelos: Transferência bem-sucedida para Qwen 3 8B e Qwen 3.6 27B.

Resultados

• Terminal-Bench 2.0: O TMAX-9B alcança 27%, dominando a fronteira de Pareto para modelos abaixo de 32B parâmetros.
• Comparação de Datasets: Treinar no TMAX-15K produz um desempenho significativamente maior (57,2% no TB Lite, 28,8% no TB 2.1) comparado ao treinamento em outros datasets como Endless Terminals (52,6%/25,5%) ou SWE-Smith (47,2%/21,0%).
• Dinâmica de Treinamento: Modelos treinados no TMAX-15K utilizam mais passos e sequências de tokens mais longas ao longo do tempo, indicando o aprendizado de raciocínio complexo e padrões de uso de ferramentas.
• Estabilidade: O uso de DPPO e cabeças FP32 mitigou com sucesso o colapso do treinamento, que foi observado ao usar GRPO padrão ou tamanhos de grupo menores.

Significância e Alegações

O artigo afirma que o TMAX fornece um baseline forte para pesquisas acadêmicas futuras sobre agentes de terminal. Os autores argumentam que seu trabalho demonstra que:

1. Receitas simples funcionam: Pipelines de geração de múltiplos estágios complexos não são estritamente necessários; uma abordagem composicional simples com controle explícito de dificuldade é suficiente para gerar dados de alta qualidade.
2. RL é eficaz para agentes de terminal: Contrário à visão de que o RL é instável ou ineficaz para este domínio, os autores mostam que, com os dados e mecanismos de estabilidade corretos (DPPO, cabeças FP32), o RL pode impulsionar significativamente o desempenho em tarefas complexas de longo horizonte.
3. A generalização é possível: O treinamento não apenas sofre overfitting a um harness ou distribuição de tarefas específica, mas imparte habilidades transferíveis para usar ferramentas de terminal para resolver problemas diversos.

Os autores reconhecem limitações, observando que seu dataset é inteiramente sintético e depende de um modelo gerador forte. Eles também destacam que a estabilidade do treinamento continua sendo um desafio, com execuções frequentemente colapsando após 300 passos, sugerindo que melhorias futuras na infraestrutura e nos algoritmos de treinamento poderiam produzir resultados ainda melhores. Eles posicionam seu trabalho como uma fundação sobre a qual a comunidade pode construir, em vez de uma solução final para o treinamento de agentes de terminal.