Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports

Imagine um mundo onde o software é como uma cidade gigante e movimentada, construída por milhões de pessoas. Às vezes, um edifício tem uma rachadura oculta, uma ponte tem um parafuso solto ou um semáforo fica travado no verde quando deveria estar no vermelho. No mundo real, geralmente esperamos que alguém grite: "Ei, a ponte está quebrada!" antes de enviarmos uma equipe de reparos. No mundo digital, esse "grito" é chamado de relatório de problema (ou issue report). É uma nota detalhada de um humano descrevendo exatamente onde o erro está, qual mensagem de erro apareceu e como o software deveria se comportar.

Por muito tempo, cientistas da computação têm treinado assistentes de IA superinteligentes, conhecidos como agentes de codificação. Esses agentes usam modelos poderosos semelhantes ao cérebro (chamados de Modelos de Linguagem de Grande Escala ou LLMs) para ler código e corrigir problemas. Mas aqui está o detalhe: a maior parte do treinamento e dos testes que esses agentes realizaram até agora assume que um "grito" perfeito e detalhado (o relatório de problema) está sempre esperando por eles. É como treinar um mecânico apenas em carros que já foram rebocados para a oficina com uma nota dizendo: "O motor está fazendo um barulho de batida".

Mas no mundo real, as coisas nem sempre correm tão suavemente. Às vezes, os bugs são tão sorrateiros que escapam para o produto final sem que ninguém perceba até que seja tarde demais, causando um caos massivo. Outras vezes, as notas deixadas pelos humanos são vagas, confusas ou carecem de detalhes cruciais. Isso levanta uma questão grande e emocionante: será que esses agentes de reparo de IA conseguem encontrar e consertar as partes quebradas da cidade antes mesmo de alguém saber que elas estão quebradas? Eles podem agir como detetives proativos, escaneando o código por conta própria, detectando as rachaduras e corrigindo-as sem um único manual de instruções?

É exatamente isso que o artigo "Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports" se propõe a explorar. Os autores, uma equipe de pesquisadores de universidades e laboratórios independentes, introduzem um novo desafio chamado Active-SWE. Pense nisso como um nível de um videogame gigante e de alto risco, projetado para testar se os agentes de IA podem ser verdadeiros detetives em vez de apenas mecânicos obedientes.

Em vez de dar à IA uma lista de "coisas quebradas" para consertar, os pesquisadores entregaram a ela uma biblioteca massiva de código — 1.663 tarefas diferentes abrangendo seis tipos de bugs e oito linguagens de programação distintas — e disseram: "Vão, encontrem os problemas e consertem-nos. Boa sorte, sem dicas permitidas".

Os pesquisadores construíram este desafio de duas maneiras. Primeiro, criaram uma "Configuração Simples" (Simple Setting), onde a IA tinha que encontrar e consertar um único bug escondido em uma base de código, muito parecido com encontrar um erro de digitação específico em um romance. Em seguida, aumentaram a dificuldade com uma "Configuração Difícil" (Hard Setting), onde a IA tinha que caçar múltiplos bugs ao mesmo tempo, como um detetive tentando resolver uma série inteira de crimes em uma única noite. Eles também testaram a IA em "Bugs Potenciais", cenários onde a IA poderia encontrar um problema que nem sequer estava na lista original de problemas conhecidos, essencialmente perguntando: "Você encontrou algo novo que está realmente quebrado?"

Para garantir que a IA não estivesse apenas adivinhando, os pesquisadores utilizaram um sistema de pontuação "de via dupla" muito inteligente. Uma via verificava se a IA encontrava os bugs que eles sabiam que estavam lá (Bugs Registrados). A outra era mais difícil: se a IA afirmasse ter encontrado um novo bug, o sistema forçava a IA a escrever um teste para provar que ele existia. Se a IA não conseguisse provar a existência do bug por meio de um teste, a descoberta não contava. É como um detetive alegando ter encontrado um cofre escondido; ele tem que mostrar a chave e abri-lo para provar que é real.

E os resultados? Acontece que até os agentes de IA mais inteligentes e avançados de hoje ainda estão lutando com esse trabalho de detetive proativo. Quando os pesquisadores testaram modelos de alto nível (como Claude Opus 4.8, GPT-5.5 e outros), descobriram que a maioria deles conseguia consertar apenas cerca de 20% dos bugs conhecidos quando deixados sem um guia. Isso é uma queda enorme em comparação a quando recebem um relatório de problema detalhado.

O estudo sugere que, embora esses agentes de IA estejam ficando melhores em seguir instruções, eles ainda são bastante ruins em olhar ao redor de uma sala bagunçada e entender o que está quebrado por conta própria. Eles frequentemente se perdem no código, não conseguem localizar exatamente onde está o problema (uma habilidade chamada de "localização") e têm dificuldade em consertar múltiplos problemas simultaneamente. Curiosamente, a IA foi ligeiramente melhor em encontrar certos tipos de bugs, como aqueles relacionados à lógica ou fluxo de dados, mas foi quase totalmente incapaz quando se tratava de bugs envolvendo o "estado" do sistema (como um semáforo que fica travado).

Talvez o mais importante seja que o artigo mostra que encontrar o bug é apenas metade da batalha. Os dados sugerem que, se a IA não conseguir localizar com precisão a parte quebrada do código, ela quase nunca a consertará corretamente. É como tentar consertar um cano com vazamento sem saber qual cano está vazando; você pode acabar apertando o cano errado.

Em resumo, este artigo não afirma que a IA resolveu o reparo de software. Em vez disso, ele soa um alarme de que a geração atual de agentes de codificação ainda é muito dependente de humanos para apontar os problemas. O sonho "proativo" — onde a IA escaneia o código e corrige problemas antes que causem um colapso — ainda é um trabalho em progresso. Os pesquisadores concluem que, embora esses agentes sejam poderosos, eles precisam se tornar muito melhores em serem detetives independentes antes que possamos confiar neles para manter nossas cidades digitais seguras sem uma rede de segurança.