SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?
O artigo apresenta o SWE Refactor Bench, um benchmark rigoroso que apresenta 20 migrações de repositórios inteiros e um protocolo de avaliação de três estágios para expor as limitações atuais dos agentes de codificação, que alcançam apenas uma taxa de sucesso de 5,4% ao completar autonomamente migrações de stack complexas e de longo horizonte sem depender de truques comportamentais.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Sistemas de software modernos são como cidades antigas, com camadas de décadas de construção. Com o tempo, os materiais e métodos originais tornam-se obsoletos, caros para manter ou simplesmente incompatíveis com novas ferramentas. Quando uma equipe decide reconstruir uma parte desta cidade — talvez mudando de uma linguagem de construção para outra, ou alterando toda a fundação — elas enfrentam um empreendimento massivo e manual. O objetivo é substituir a estrutura antiga por uma nova, garantindo que o edifício ainda funcione exatamente como antes. Durante anos, pesquisadores têm desenvolvido agentes de inteligência artificial capazes de corrigir pequenos erros no código, atuando como equipes de reparo digitais. Uma questão natural surgiu: se esses agentes conseguem consertar uma janela quebrada, eles também podem reconstruir um arranha-céu inteiro, substituindo sua estrutura de aço por um novo material sem que o edifício desabe?
Esta questão parecia direta, mas testá-la provou ser surpreendentemente difícil. Testes tradicionais para esses agentes de IA funcionam como um exame simples de aprovado ou reprovado: eles verificam se um programa produz a saída correta após uma mudança. Se a saída estiver correta, o agente recebe uma pontuação perfeita. No entanto, este método possui uma falha fatal quando aplicado a reformas totais de sistemas. Se um agente for solicitado a reescrever um programa do zero, mas simplesmente entregar de volta o código original, inalterado, os testes ainda passarão porque o código original já estava funcionando. O teste vê um resultado correto e assume que o trabalho foi feito, não percebendo que o agente não fez nada de novo. Este ponto cego significa que uma pontuação "perfeita" poderia ser concedida a um agente que não fez nenhuma alteração.
Para resolver isso, pesquisadores do Naver Labs e da Universidade de Tsinghua criaram um novo teste muito mais rigoroso chamado SWE Refactor Bench. Eles reuniram vinte projetos de software do mundo real, incluindo infraestruturas críticas como o banco de dados SQLite e a biblioteca de compressão zlib, e incumbiram agentes de IA de migrá-los inteiramente para diferentes stacks tecnológicas. Essas tarefas envolveram quatro tipos distintos de trabalhos difíceis: reescrever a própria linguagem de programação, trocar os frameworks de software que organizam o código, mover o software para um ambiente operacional diferente ou alterar as ferramentas usadas para construir o produto final. Os pesquisadores deram aos agentes entre seis e trinta horas para concluir cada tarefa, trabalhando de forma autônoma, sem ajuda humana.
Os pesquisadores projetaram um processo de avaliação em três estágios para garantir que os agentes realmente fizessem o trabalho e o fizessem corretamente. Primeiro, uma auditoria rigorosa verificou se a tecnologia antiga havia realmente desaparecido do código. Se o agente tivesse simplesmente copiado os arquivos originais ou adicionado uma camada superficial ao redor deles sem reescrever a lógica central, a tentativa era imediatamente rejeitada. Segundo, o sistema executou mais de 130.000 verificações específicas para garantir que o software se comportasse exatamente como antes da mudança. Por fim, uma equipe de seis agentes de IA independentes atuou como auditores, dedicando uma hora cada para caçar quaisquer diferenças sutis que os testes automatizados pudessem ter perdido. Esses auditores tinham que produzir um exemplo funcional de uma falha para provar que a migração era imperfeita.
Os resultados foram drásticos. Entre 520 tentativas realizadas por oito dos modelos de IA mais avançados disponíveis, apenas 28 execuções, ou 5,4 por cento, passaram pelos três estágios. De fato, treze das vinte tarefas nunca foram concluídas com sucesso por nenhum modelo. O melhor modelo, o Claude Opus 5, alcançou uma pontuação de 47 de 100. As falhas revelaram um padrão claro: a habilidade de manter o software funcionando e a habilidade de realmente realizar a migração eram duas habilidades distintas que os agentes tinham dificuldade em combinar. Trinta tentativas preservaram o comportamento do software perfeitamente, mas falharam porque os agentes pularam a migração inteira, entregando o código original. Por outro lado, 252 tentativas reescreveram o código com sucesso, mas quebraram o comportamento no processo. Mesmo entre as poucas tentativas que passaram nas verificações iniciais, os agentes lutaram para atingir a perfeição; embora 58 por cento das reescritas bem-sucedidas tenham passado por 99 por cento das verificações de comportamento, apenas 26 por cento passaram em todas elas.
A dificuldade variou significavelmente dependendo do tipo de migração. Os agentes foram relativamente bem-sucedidos ao reescrever cadeias de ferramentas de construção (build toolchains), que envolvem mudar como o software é empacotado, pontuando 31,4 de 100 nessas tarefas. No entanto, tiveram um desempenho terrível em reescritas de linguagem, onde a lógica central deve ser traduzida de uma linguagem de programação para outra, pontuando apenas 5,6. O estudo concluiu que os atuais agentes de IA ainda não são confiáveis o suficiente para realizar autonomamente migrações de repositórios inteiros a longo prazo. Embora possam lidar com correções localizadas, a tarefa complexa de reconstruir um sistema do zero enquanto preserva seu comportamento exato continua sendo um desafio significativo. A pesquisa estabelece que, para que esses agentes sejam verdadeiramente úteis na manutenção de sistemas, eles devem aprender a realizar tanto o trabalho pesado da reescrita quanto a precisão de preservar a função, uma combinação que ainda não dominaram.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.