Resumo Técnico: SWE-Bench ProMax

Definição do Problema

À medida que os agentes de codificação de IA avançam, os benchmarks de engenharia de software existentes estão saturando rapidamente, levantando preocupações sobre se o aumento nas pontuações reflete melhorias genuínas de capacidade ou apenas as limitações dos designs atuais de benchmarks. Uma auditoria recente do SWE-bench Verified revelou que quase 60% das instâncias não resolvidas continham suítes de testes falhas — ou excessivamente estreitas (rejeitando soluções corretas) ou excessivamente amplas (verificando requisitos não declarados) — e que modelos de fronteira poderiam reproduzir patches de ouro a partir de dados de treinamento. Além disso, os benchmarks atuais focam primariamente em correções de bugs isolados ou implementações de funcionalidades, envolvendo frequentemente modificações de arquivo único. Isso falha em capturar a complexidade da refatoração de código, uma tarefa de longo horizonte crítica no desenvolvimento profissional que exige mudanças coordenadas e preservadoras de comportamento em muitos arquivos. Os benchmarks de refatoração existentes são limitados em escala, restritos a uma única linguagem de programação ou carecem de verificação humana rigorosa da qualidade dos testes.

Metodologia

Os autores introduzem o SWE-Bench ProMax, um benchmark multilíngue curado por especialistas, projetado para abordar essas lacunas através de um pipeline de construção rigoroso de três estágios:

1. Coleta de Dados: Os autores identificaram repositórios candidatos no GitHub que atendiam a critérios específicos (≥500 estrelas, licença de código aberto aprovada, linguagem primária entre Python, Java, TypeScript, Go, C, C++ ou Rust). Eles extraíram commits submetidos após janeiro de 2025 contendo a palavra-chave "refactor" (excluindo "bug fix") que modificavam tanto arquivos de teste quanto arquivos não relacionados a testes. Isso resultou em um pool inicial de 29.782 candidatos.
2. Construção do Ambiente: Para cada candidato, um ambiente Docker isolado foi construído contendo o repositório no estado pré-refatoração com todas as dependências instaladas. O patch de ouro (mudanças de origem e teste) foi aplicado, e a suíte de testes foi executada. Instâncias onde o ambiente falhou na construção ou onde o patch de ouro não passou em todos os testes foram descartadas.
3. Filtragem e Reescrita de Problemas: Este estágio envolveu especialistas humanos auxiliados por LLMs para garantir alta qualidade:
   • Análise de Commit: Especialistas analisaram diffs para entender o escopo e a intenção.
   • Filtragem de Qualidade: Tarefas com complexidade insuficiente (ex: mudanças de arquivo único, contagens de linhas triviais) foram removidas. Crucialmente, as suítes de teste foram revisadas manualmente para eliminar testes excessivamente estreitos (que impõem detalhes de implementação específicos) e testes excessivamente amplos (que verificam comportamentos fora do escopo da tarefa).
   • Reescrita do Enunciado do Problema: As mensagens de commit originais foram reescritas do zero para fornecer especificações precisas e inequívocas. Cada descrição foi verificada para ser uma condição necessária e suficiente para o patch de ouro.
   • Verificação Humana: Uma revisão final garantiu o alinhamento entre a descrição do problema, a suíte de testes e o patch de ouro.

O benchmark final consiste em 170 instâncias extraídas de 70 repositórios distintos através de sete linguagens de programação.

Principais Contribuições

1. Benchmark de Alta Qualidade e Curadoria Especializada: Ao contrário de benchmarks automatizados, o SWE-Bench ProMax passa por uma curadoria especializada de múltiplos estágios. As descrições dos problemas são reescritas para serem especificações precisas, e as suítes de teste são verificadas manualmente para remover defeitos que assombraram benchmarks anteriores.
2. Escala e Complexidade Sem Precedentes: O benchmark visa refatoração em larga escala, com instâncias que possuem em média 11,4 arquivos modificados e 261,6 linhas de código por tarefa. Isso excede significativamente os benchmarks existentes (ex: 86% das instâncias do SWE-bench Verified modificam apenas um arquivo).
3. Cobertura Multilíngue: O conjunto de dados abrange sete linguagens diversas (Python, Java, TypeScript, Go, C, C++, Rust), permitindo a análise de como paradigmas específicos de linguagem (ex: modelos de propriedade em Rust, gerenciamento de memória manual em C) afetam o desempenho do agente.
4. Protocolo de Avaliação Rigoroso: O benchmark utiliza uma avaliação baseada em resultados onde uma instância é resolvida apenas se as modificações do agente passarem em todos os testes da suíte, sem depender de etapas intermediárias ou comandos específicos.

Resultados e Análise

Os autores avaliaram seis modelos de fronteira (três proprietários, três de pesos abertos) sob dois scaffolds de agente (mini-swe-agent e OpenHands).

• Desafio Não Saturado: O modelo com melhor desempenho, GPT-5.2, alcançou uma taxa de resolução de 41,2% no SWE-Bench ProMax. Isso é substancialmente inferior às taxas de resolução de >75% vistas no SWE-bench Verified, confirmando que a refatoração de grande escala e múltiplos arquivos continua sendo um desafio significativo não resolvido.
• Custo-Eficiência de Modelos de Pesos Abertos: Modelos de pesos abertos demonstraram competitividade com modelos proprietários por uma fração do custo. Por exemplo, o GLM-5 alcançou uma taxa de resolução de 36,5% a $0,24 por instância, comparado ao Claude Sonnet 4.6 com 38,8% por $4,77.
• Variância de Linguagem: Nenhum modelo único dominou todas as linguagens. O desempenho variou significamente por linguagem (ex: Claude Sonnet 4.6 se destacou em Rust e TypeScript, enquanto o GPT-5.2 teve melhor desempenho em Python e C), sugerindo que os pontos fortes dos modelos estão ligados a dados de treinamento e arquiteturas específicas de linguagem.
• Análise de Modos de Falha: A análise de trajetória revelou dois padrões principais de falha:
  1. Refatoração Incompleta: Agentes consistentemente modificaram menos arquivos do que o exigido pelo patch de ouro. Embora frequentemente identifiquem os arquivos principais, eles falham em propagar mudanças para locais de chamada periféricos, documentação e arquivos de configuração, levando a falhas de teste devido a dependências downstream inconsistentes.
  2. Exploração Improdutiva: Tentativas falhas consumiram significativamente mais rodadas de interação do que as bem-sucedidas, muitas vezes entrando em ciclos repetitivos de edição-reversão sem expandir o escopo das modificações.

Significância

O artigo afirma que o SWE-Bench ProMax fornece um benchmark significativo e não saturado para avaliar agentes de codificação de IA em tarefas de engenharia de software realistas e de grande escala. Ao abordar os defeitos de qualidade de benchmarks anteriores (testes falhos, descrições ambíguas) e escalar a complexidade para corresponder à refatoração de nível de produção, ele oferece um teste mais rigoroso da capacidade de um agente de manter planos coerentes através de múltiplos arquivos. Os resultados sugerem que, embora os modelos de fronteira estejam melhorando, a capacidade de coordenação sustentada entre múltiplos arquivos permanece um gargalo fundamental. Além disso, o benchmark destaca que modelos de pesos abertos podem se aproximar do desempenho de fronteira a um custo significativamente menor, desafiando a suposição de que custos de API mais altos garantem resultados proporcionalmente melhores em cenários de refatoração complexos.