BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing?

O artigo apresenta o BeyondSWE, um novo benchmark abrangente que revela lacunas significativas na capacidade dos agentes de código atuais para lidar com tarefas além de correções de bugs em repositórios únicos, além de introduzir o framework SearchSWE para investigar os efeitos da busca externa, demonstrando que tal augmentação resulta em ganhos inconsistentes e destaca a dificuldade de emular fluxos de trabalho de desenvolvimento que intercalam busca e raciocínio.

O essencial

Imagine que você está treinando um estagiário de programação superinteligente, feito de inteligência artificial (IA). Até hoje, os testes para ver se esse estagiário é bom eram como dar a ele um quebra-cabeça pequeno e fácil: "Arrume este único erro nesta única sala da casa".

O artigo "BeyondSWE" (que significa "Além do SWE", onde SWE é Engenharia de Software) diz: "E se a gente testar esse estagiário em situações reais, onde ele precisa lidar com a casa inteira, vizinhança e até com manuais de instruções que ele nunca viu?"

Aqui está a explicação do que eles descobriram, usando analogias do dia a dia:

1. O Problema: O Estagiário "Cego"

Os testes antigos (chamados SWE-bench) eram como pedir para o estagiário consertar um vazamento em uma torneira específica, mas proibindo que ele olhasse para fora da cozinha ou consultasse o manual do encanador.

• Na vida real: Um programador nunca trabalha sozinho. Ele consulta fóruns, lê documentação de outras empresas, migra sistemas inteiros quando uma biblioteca muda e cria projetos do zero baseados em um desenho arquitetural.
• O teste novo (BeyondSWE): Eles criaram um "obstáculo de guerra" com 500 desafios reais que exigem:
  • CrossRepo (A Vizinha): "Arrume o vazamento na sua cozinha, mas você precisa olhar como a vizinha resolveu um problema parecido na casa dela."
  • DomainFix (O Especialista): "Conserte um erro em um software de física quântica. Você precisa saber física, não apenas programar."
  • DepMigrate (A Reforma): "A casa inteira foi reformada (uma atualização de sistema), e agora todas as portas e janelas (códigos) não encaixam mais. Você precisa adaptar tudo."
  • Doc2Repo (O Arquiteto): "Aqui está um desenho de uma casa em papel. Construa a casa inteira do zero, sem ter nenhum tijolo pronto."

2. O Resultado: O Choque de Realidade

Quando eles testaram as IAs mais modernas (os "gigantes" da tecnologia) nesses novos desafios, a notícia não foi boa:

• O teto de vidro: Mesmo as IAs mais inteligentes conseguiram resolver menos de 45% dos problemas.
• O especialista falho: Nenhuma IA foi boa em tudo. Uma era ótima em física, mas péssima em construir casas do zero. É como ter um médico que é ótimo em cardiologia, mas não sabe tratar um corte no dedo.
• Conclusão: As IAs atuais são ótimas em "arrumar a torneira" se a peça estiver na mesa, mas travam quando precisam sair da sala, procurar peças em outros lugares ou entender conceitos complexos de outras áreas.

3. A Tentativa de Solução: O "Estagiário com Google" (SearchSWE)

Os pesquisadores pensaram: "E se dermos um celular para o estagiário para ele pesquisar no Google enquanto trabalha?" Eles criaram uma ferramenta chamada SearchSWE.

• A Esperança: A IA pesquisaria a solução, leria o manual e consertaria o problema.
• A Realidade: Funcionou de forma muito inconsistente.
  • Às vezes, a pesquisa ajudava muito (como quando precisava de um manual técnico específico).
  • Outras vezes, piorou a situação. A IA lia informações erradas, confundia versões antigas com novas, ou lia coisas de outros campos (como ler um manual de arquitetura para consertar um motor de carro) e aplicava a solução errada.

A Analogia do "Google Maluco":
Imagine que você pede para um estagiário arrumar um carro. Ele vai ao Google e lê um fórum.

• Cenário A (Bom): Ele lê um fórum de mecânicos e descobre que o parafuso é de um tipo específico. Ele conserta.
• Cenário B (Ruim): Ele lê um fórum de carros antigos e acha que deve usar uma peça de 1980, mas o carro é de 2024. Ele quebra o motor.
• O Problema: A IA não sabe quando pesquisar, o que pesquisar e, principalmente, como filtrar o que é verdade do que é "ruído" na internet. Ela não consegue misturar a pesquisa com o raciocínio de forma inteligente, como um humano faria.

4. O Que Isso Significa para o Futuro?

O artigo nos dá um aviso importante:
Não basta apenas treinar a IA para "escrever código" ou apenas para "pesquisar na internet". O segredo para ter um programador de IA de verdade é ensinar a IA a juntar as duas coisas: saber quando parar de digitar, abrir o navegador, ler com atenção, entender o contexto e aplicar o conhecimento correto.

Resumo em uma frase:
As IAs atuais são como estagiários brilhantes que sabem programar, mas ainda não aprenderam a ser "engenheiros de verdade" que navegam pelo mundo real, consultam especialistas e lidam com imprevistos complexos; e simplesmente dar a elas um acesso à internet não resolve o problema se elas não souberem usar essa informação com sabedoria.

Resumo técnico

Resumo Técnico: BeyondSWE

1. O Problema

Os atuais benchmarks para avaliação de agentes de código (como o SWE-bench) focam predominantemente em correções de bugs localizadas dentro de um único repositório (single-repo). Embora esses benchmarks tenham sido fundamentais para o progresso inicial, eles não refletem a complexidade do desenvolvimento de software no mundo real, onde os engenheiros frequentemente enfrentam desafios que transcendem os limites de um único repositório.

As lacunas críticas identificadas incluem:

• Raciocínio entre repositórios: Necessidade de consultar e integrar soluções de outros projetos.
• Especialização de domínio: Problemas que exigem conhecimento profundo de áreas como bioinformática, física quântica ou otimização convexa.
• Migração de dependências: Refatoração em larga escala para adaptar código a mudanças de API em bibliotecas de terceiros (ex: migração do NumPy 1.x para 2.x).
• Geração de repositórios completos: Construir sistemas funcionais a partir de especificações documentais, sem código base pré-existente.

A pergunta central do trabalho é: Os agentes de código atuais conseguem sobreviver além da simples correção de bugs em repositórios únicos?

2. Metodologia

Os autores propõem duas contribuições principais: um novo benchmark (BeyondSWE) e um framework de avaliação com busca integrada (SearchSWE).

A. BeyondSWE (O Benchmark)
O BeyondSWE expande a avaliação ao longo de dois eixos: Escopo de Resolução (granularidade da tarefa) e Escopo de Conhecimento (necessidade de informações externas). Com base nisso, definem quatro cenários de avaliação distintos, totalizando 500 instâncias reais extraídas de 246 repositórios do GitHub:

1. CrossRepo (Resolução entre Repositórios): O agente deve corrigir um problema no repositório alvo consultando explicitamente código e soluções de repositórios externos relacionados.
2. DomainFix (Resolução Específica de Domínio): Tarefas que exigem conhecimento especializado (ex: química, física) que vai além da programação geral. Envolve repositórios de 11 disciplinas científicas.
3. DepMigrate (Migração Impulsionada por Dependências): O agente deve migrar um códigobase inteiro para se adaptar a mudanças breaking em dependências upstream (ex: Pydantic v1 para v2), exigindo refatoração em múltiplos arquivos.
4. Doc2Repo (Geração de Repositório a partir de Documentos): O agente recebe apenas uma especificação técnica (documento de requisitos) e deve gerar um repositório funcional completo do zero.

Infraestrutura e Controle de Qualidade:

• Ambientes Docker: Utilizam agentes LLM (Gemini 3 Pro) para configurar automaticamente ambientes de execução históricos, lidando com o "apodrecimento" de dependências (dependency decay).
• Validação Rigorosa: Cada instância passa por inspeção ambiental estrita (execução de testes 5 vezes) e revisão humana por especialistas de domínio para garantir que a solução não seja trivial e que o problema seja genuíno.
• Prevenção de Vazamento: Remoção de commits futuros e metadados para evitar que os modelos "leiam" a solução.

B. SearchSWE (O Framework de Avaliação)
Para investigar a integração entre codificação e busca de informações, os autores desenvolveram o SearchSWE.

• Funcionalidade: Integra ferramentas de busca na web (Google Search via SerpAPI) e navegação (Jina Reader) ao fluxo de trabalho do agente (OpenHands).
• Prevenção de "Trapaça" (Cheating): Um mecanismo de blocklist impede que o agente acesse o repositório alvo ou soluções diretas durante a busca, forçando-o a sintetizar respostas a partir de recursos indiretos.
• Objetivo: Avaliar se a capacidade de buscar informações externas melhora o desempenho em tarefas que exigem conhecimento além do código local.

3. Principais Contribuições

1. BeyondSWE: O primeiro benchmark abrangente que avalia agentes de código em cenários realistas de engenharia de software, cobrindo desde a migração de dependências até a geração de sistemas completos.
2. SearchSWE: Um framework unificado para estudar sistematicamente a integração de capacidades de busca profunda (deep search) com raciocínio de codificação.
3. Análise de Lacunas de Capacidade: Evidência empírica de que os modelos atuais, mesmo os mais avançados, têm desempenho significativamente inferior em tarefas complexas e multi-repositório comparado a benchmarks tradicionais.
4. Lançamento Público: Disponibilização do conjunto de dados de avaliação e da implementação do framework para acelerar a pesquisa futura.

4. Resultados Experimentais

Os autores avaliaram vários modelos de ponta (incluindo Gemini 3 Pro, GPT-5.2, DeepSeek-V3.2, Qwen3, etc.) usando o OpenHands e o SearchSWE.

• Desempenho Geral Baixo: Mesmo os modelos mais avançados atingem uma taxa de sucesso média inferior a 45% no BeyondSWE. Isso contrasta drasticamente com as taxas de 80%+ observadas no SWE-bench Verified.
• Falta de Dominância Universal: Nenhum modelo se destaca em todas as categorias. Por exemplo, o Gemini 3 Pro lidera em migração de dependências, enquanto o Seed-Coder performa melhor em tarefas entre repositórios, mas falha em outros.
• Desafios Específicos:
  • DomainFix: É a tarefa mais difícil, com taxas de resolução raramente superando 36%, indicando que o raciocínio científico especializado é um gargalo crítico.
  • Doc2Repo: Embora as taxas de aprovação de testes pareçam moderadas (45-55%), a quantidade de repositórios completamente corretos é extremamente baixa (máximo de 2 instâncias), sugerindo que os agentes conseguem criar componentes isolados, mas falham em arquiteturas coerentes.
• Impacto da Busca (SearchSWE):
  • Ganhos Inconsistentes: A adição de busca não melhora o desempenho de forma consistente. Em alguns casos (ex: CrossRepo para o modelo Seed-Coder), a busca degradou o desempenho.
  • Desconexão Busa-Código: Os resultados revelam uma desconexão crítica. Modelos especializados em código tendem a ter dificuldade em integrar a busca, enquanto modelos gerais mostram ganhos mais estáveis.
  • Qualidade vs. Quantidade: Modelos que buscam com mais frequência não necessariamente performam melhor. O Gemini 3 Pro, que busca menos vezes, obteve os maiores ganhos consistentes, sugerindo que a capacidade de identificar quando e o que buscar é mais importante do que a frequência da busca.

5. Significado e Conclusão

O trabalho BeyondSWE demonstra que o estado da arte em agentes de código ainda está longe de ser capaz de lidar com o espectro completo de desafios da engenharia de software real.

• Limitações Atuais: Os modelos atuais são proficientes em correções locais, mas falham em raciocínio contextual amplo, integração de conhecimento externo e arquitetura de sistemas complexos.
• O Desafio da Integração: A simples adição de ferramentas de busca não resolve o problema. Existe uma necessidade urgente de desenvolver modelos que saibam integrar fluentemente a busca de informações externas com o raciocínio lógico de codificação, evitando ruído e alucinações causadas por informações desatualizadas ou irrelevantes.
• Futuro: O BeyondSWE e o SearchSWE fornecem a base necessária para guiar a próxima geração de agentes de IA, focando não apenas em "escrever código", mas em "resolver problemas de engenharia" de forma holística, simulando o fluxo de trabalho de um desenvolvedor humano experiente.

Em suma, o artigo alerta que, para que os agentes de código sejam verdadeiramente úteis na indústria, eles devem evoluir de ferramentas de correção de bugs locais para assistentes de engenharia de software capazes de navegar em ecossistemas complexos e especializados.