Resumo Técnico: ROADMAPBENCH

Declaração do Problema

Os benchmarks atuais para agentes de codificação, como o SWE-bench e suas variantes, concentram-se predominantemente em correções de bugs de curto alcance e de problema único, com métricas de avaliação grosseiras de aprovação/reprovação. Esses benchmarks tipicamente envolvem commits isolados com soluções oráculo variando de 33 a 107 linhas de código (LOC). Consequentemente, eles falham em capturar a complexidade da engenharia de software do mundo real, que frequentemente exige desenvolvimento sustentado e multi-alvo, abrangendo semanas ou meses, envolvendo mudanças coordenadas em numerosos arquivos e módulos. Além disso, os benchmarks existentes estão fortemente concentrados em repositórios Python, aumentando o risco de contaminação de dados a partir de corpora de pré-treinamento. Existe uma lacuna crítica na avaliação de agentes em tarefas de evolução de software de longo alcance e multi-alvo que reflitam a escala e a estrutura de atualizações de versão reais.

Metodologia

Os autores introduzem o ROADMAPBENCH, um benchmark projetado para avaliar agentes de codificação em tarefas de desenvolvimento de software de longo alcance e multi-alvo fundamentadas em atualizações de versão reais de código aberto.

Construção do Conjunto de Dados

• Escopo: O benchmark compreende 115 tarefas derivadas de 17 repositórios de código aberto em 5 linguagens de programação (Python, TypeScript, C++, Go, Rust).
• Definição da Tarefa: Cada tarefa apresenta ao agente um instantâneo de código da versão de origem e uma instrução de roteiro multi-alvo. O agente deve implementar a funcionalidade introduzida em uma versão de destino. O roteiro especifica o que implementar (assinaturas de API, semântica de parâmetros, valores padrão, comportamento de exceção) sem revelar como implementá-lo.
• Escala: As tarefas envolvem uma modificação mediana de 3.700 linhas de código em 51 arquivos, com contagens de subtarefas variando de 3 a 12 (mediana de 5).
• Protocolo de Avaliação:
  • Taxa de Resolução: Uma métrica binária indicando se o agente passa em todas as subtarefas.
  • Pontuação de Conclusão: Uma métrica ponderada que captura progresso parcial. Cada subtarefa possui um peso baseado na complexidade; a pontuação é a fração ponderada das subtarefas aprovadas.
  • Ambiente: As tarefas são executadas em um ambiente Docker fixo (usando o framework Harbor) onde o agente não tem acesso ao código da versão de destino, arquivos de teste ou ao patch oráculo.

Pipeline de Construção

A construção do conjunto de dados segue um pipeline rigoroso de quatro estágios para garantir qualidade e eliminar defeitos do lado da tarefa:

1. Mineração de Repositórios: Seleção de repositórios com altos contadores de estrelas, históricos de lançamento ativos até 2025 e documentação de lançamento de alta qualidade.
2. Construção da Tarefa: Alinhamento de narrativas de lançamento com diffs de código para gerar instruções e suites de teste adaptadas. Patchs oráculo são extraídos e validados.
3. Validação Estática: Verificação da autocontenção da especificação, rastreabilidade da origem e validade dos testes para garantir que não haja vazamento de informações.
4. Controle de Qualidade Baseado em Execução (Rollout): Agentes de três níveis de capacidade tentam as tarefas. Falhas são atribuídas a defeitos do lado da tarefa (por exemplo, especificações ambíguas) ou limitações do modelo. Defeitos do lado da tarefa são iterativamente reparados até que a tarefa esteja "limpa", garantindo que pontuações baixas reflitam limitações genuínas do modelo e não artefatos do benchmark.

Contribuições Principais

1. Criação de Benchmark: Construção do ROADMAPBENCH, o primeiro benchmark especificamente direcionado ao desenvolvimento de software de longo alcance e multi-alvo em 17 repositórios e 5 linguagens, estabelecendo um cenário de avaliação distinto além da resolução de problemas isolados.
2. Inovação no Pipeline: Desenvolvimento de um pipeline de construção que transforma atualizações de versão reais em tarefas estruturadas, combinando validação estática com controle de qualidade baseado em execução para separar defeitos do lado da tarefa de limitações genuínas do modelo.
3. Avaliação Abrangente: Avaliação sistemática de 13 modelos de ponta (incluindo Claude-Opus-4.7, GPT-5.4, Gemini-3.1-Pro e outros), revelando lacunas significativas de desempenho em comparação com benchmarks existentes de correção de bugs.

Resultados

A avaliação de 13 modelos de ponta no ROADMAPBENCH revela que os agentes atuais estão longe de resolver tarefas de desenvolvimento de software de longo alcance:

• Baixas Taxas de Resolução: Mesmo o modelo mais forte, Claude-Opus-4.7, resolve apenas 39,1% das tarefas. O modelo mais fraco, Seed-2.0-Pro, resolve meros 5,2%. Isso contrasta drasticamente com as pontuações acima de 80% que esses sistemas alcançam no SWE-bench Verified.
• Progresso Parcial: A Pontuação de Conclusão (com média de 0,692 para o modelo principal) é consistentemente maior que a taxa de resolução, indicando que os agentes frequentemente completam várias subtarefas antes de estagnar na integração, correção ou em alvos posteriores.
• Variância de Domínio: O desempenho varia significativamente por domínio. As tarefas de ML & Dados são as mais desafiadoras, com seis de treze modelos resolvendo zero tarefas. As tarefas de ORM & Validação são relativamente mais tratáveis. UI & Renderização mostra a separação mais nítida entre modelos de ponta e modelos mais fracos.
• Modos de Falha:
  • Modelos Fortes: As falhas são dominadas por Erros de Implementação (por exemplo, defeitos de código, erros de conexão, mal-entendidos), sugerindo que eles conseguem construir código completo e compilável, mas lutam com precisão comportamental.
  • Modelos Mais Fracos: As falhas são dominadas por Erros de Construção (falhas de compilação/ligação) e Implementações Ausentes, indicando um gargalo na produção de código completo e compilável.
• Eficiência: Modelos de ponta (por exemplo, Claude-Opus-4.7) demonstram maior eficiência de etapas, alcançando taxas de resolução mais altas com menos chamadas de ferramentas em comparação com modelos de nível médio que consomem orçamentos maiores com retornos menores.

Significado

O artigo posiciona o ROADMAPBENCH como um benchmark diagnóstico que revela as limitações atuais dos agentes de codificação no desenvolvimento de software sustentado. Os resultados sugerem que, embora os agentes tenham avançado na correção de bugs de curto alcance, o desenvolvimento de software de longo alcance e multi-alvo permanece um problema amplamente não resolvido. O benchmark destaca que o gargalo de ponta mudou da geração de código para a execução de mudanças precisas e coordenadas em bases de código complexas. Ao fornecer um cenário de avaliação rigoroso, multi-linguagem e multi-alvo, o ROADMAPBENCH oferece uma ferramenta necessária para medir o progresso além da resolução de problemas isolados, orientando pesquisas futuras para melhorar a integração, a correção e a confiabilidade em fluxos de trabalho de engenharia do mundo real.