SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale

1. O Problema

Os agentes de Engenharia de Software (SWE) baseados em Grandes Modelos de Linguagem (LLMs) estão evoluindo rapidamente, impulsionados principalmente pelo Aprendizado por Reforço (RL). No entanto, o treinamento desses agentes enfrenta um gargalo crítico: a escassez de coleções de tarefas em larga escala que possuam ambientes de execução reprodutíveis e suites de testes confiáveis.

Embora existam benchmarks emergentes (como o SWE-bench), eles apresentam limitações significativas para o treinamento:

• Escala e Diversidade Limitadas: Muitos conjuntos de dados são pequenos ou focam excessivamente em ecossistemas de alto recurso (principalmente Python).
• Dependência de Idioma: A construção de ambientes executáveis é complexa e heterogênea devido a diferentes sistemas de build, gerenciadores de dependência e runners de teste, dificultando a escalabilidade para múltiplas linguagens.
• Foco em Avaliação vs. Treinamento: A maioria dos recursos disponíveis é otimizada para avaliação (com verificação humana intensiva) e não para o treinamento interativo em larga escala, faltando artefatos como imagens pré-construídas e diagnósticos granulares por instância.

2. Metodologia

O paper apresenta o SWE-rebench V2, um pipeline automatizado e agnóstico a linguagens projetado para coletar tarefas de SWE executáveis do mundo real e construir ambientes de treinamento para RL.

O pipeline opera em cinco etapas principais:

1. Coleta de Dados Preliminar:

   • Minerar histórico de Pull Requests (PRs) e Issues do GitHub.
   • Filtrar repositórios com base na licença e existência de testes.
   • Para linguagens de alto recurso (ex: Python, Java), aplicam-se filtros rigorosos (ex: estrelas mínimas); para linguagens de "longa cauda", os filtros são relaxados para preservar a diversidade.

2. Síntese de Configuração (Setup Synthesis):

   • Utiliza um agente interativo (baseado no mini-SWE-agent e no modelo Qwen3-Coder) para inferir autonomamente os procedimentos de instalação e teste de cada repositório.
   • O agente opera em um ciclo de depuração fechado: inspeciona o código, tenta instalar dependências e refina scripts iterativamente com base em erros de build e falhas de teste.
   • Gera imagens Docker específicas por repositório contendo o código-fonte e todas as dependências necessárias, garantindo execução offline e reprodutível.

3. Validação Baseada em Execução:

   • Executa a suite de testes completa antes e depois da aplicação do patch de solução.
   • Extrai "oráculos" de teste (testes que falham antes e passam depois).
   • Mantém apenas instâncias com pelo menos um teste "fail-to-pass" (F2P), garantindo um sinal de aprendizado não trivial.

4. Filtragem por Clareza da Issue:

   • Utiliza um ensemble de três LLMs (GPT-OSS-120B, GLM-4.7, DeepSeek-V3.2) para avaliar se a descrição do problema é suficientemente clara para implementação.
   • Descarta tarefas com especificações ambíguas ou incompletas, alinhando-se aos critérios do SWE-bench Verified.

5. Enriquecimento de Metadados e Expansão:

   • Gera metadados diagnósticos automáticos (ex: acoplamento de testes, dependências externas, especificações implícitas) para permitir filtragem curada.
   • Expansão via PR: Além das tarefas vinculadas a Issues, o pipeline gera descrições de problemas sintéticas baseadas diretamente nas descrições de PRs, expandindo o corpus de treinamento para 120.000+ tarefas adicionais.

3. Principais Contribuições

• Pipeline Agnóstico a Linguagens: Um fluxo de trabalho unificado que suporta 20 linguagens de programação, utilizando templates reutilizáveis para imagens base e parsers, permitindo a escalabilidade para novas linguagens sem engenharia manual pesada.
• Conjunto de Dados em Larga Escala:
  • 32.000+ tarefas contêinerizadas, provenientes de mais de 3.600 repositórios em 20 linguagens, com ambientes executáveis prontos.
  • 120.000+ tarefas adicionais com instruções de instalação e metadados ricos, derivadas de PRs (sem vínculo direto com Issues), ampliando a cobertura para atividades de desenvolvimento diversas.
• Metadados Diagnósticos de Nível de Instância: Identificação automática de "confundidores" comuns (ex: testes frágeis, dependências externas, especificações subdefinidas), permitindo que pesquisadores filtrem dados para SFT (Fine-Tuning Supervisionado) ou RL, ou criem currículos de aprendizado específicos.
• Análise de Falhas e Ablações: Estudos detalhados sobre estratégias de configuração (interativa vs. não interativa) e filtragem de qualidade, quantificando as taxas de sucesso e modos de falha em diferentes ecossistemas.

4. Resultados

• Desempenho do Agente de Configuração: Estudos de ablação mostraram que agentes interativos superam consistentemente pipelines não interativos. O uso do modelo Qwen3-Coder-480B em um agente interativo alcançou uma taxa de sucesso de 58,8% (pass@10) na configuração de ambientes, comparado a apenas 15,7% para abordagens não interativas.
• Validação de Modelos: O conjunto de dados foi validado rodando 7 modelos de ponta (incluindo Claude Opus-4.5, GPT-5.2, DeepSeek-V3.2) em 300 tarefas de amostragem.
  • O modelo Claude Opus-4.5 obteve o melhor desempenho geral (36,1% em Python, 26,7% em JS), estabelecendo uma linha de base para o estado da arte.
  • A análise de trajetórias revelou falhas sistemáticas, como "acoplamento de suite de testes" (o modelo corrige o bug, mas quebra testes não relacionados) e "requisitos de nomenclatura implícitos", que foram categorizados nos metadados.
• Diversidade: O dataset cobre 20 linguagens, com Python (21,6%) e Go (20,6%) liderando, seguidos por JavaScript/TypeScript e Rust, oferecendo uma visão mais holística do desempenho de agentes do que benchmarks monolinguísticos.

5. Significado e Impacto

O SWE-rebench V2 representa um avanço fundamental para a pesquisa em agentes de software:

• Democratização do Treinamento: Ao fornecer ambientes pré-construídos e reprodutíveis para múltiplas linguagens, remove a barreira de entrada para treinar agentes de RL em ecossistemas além do Python.
• Qualidade de Dados para RL: A distinção entre tarefas "limpas" e aquelas com patologias de ambiente (via metadados diagnósticos) permite o desenvolvimento de estratégias de treinamento mais robustas, como curriculum learning (começar com tarefas limpas e introduzir ruído gradualmente).
• Escalabilidade: A abordagem automatizada demonstra que é possível coletar e validar milhares de tarefas executáveis sem verificação humana por instância, resolvendo o gargalo de dados que limitava o treinamento de agentes autônomos.
• Reprodutibilidade: A liberação de imagens Docker e scripts de execução garante que os resultados de pesquisa sejam verificáveis e comparáveis, um passo crucial para o avanço científico na área de Engenharia de Software baseada em IA.

Em resumo, o SWE-rebench V2 fornece a infraestrutura de dados necessária para treinar a próxima geração de agentes de software capazes de operar de forma autônoma e eficaz em repositórios reais e diversos.