A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents
Este artigo apresenta o SWE-RPG, um benchmark unificado para agentes de codificação que avalia não apenas o sucesso do patch final, mas também etapas intermediárias de raciocínio, como esclarecimento de requisitos e planejamento de implementação, revelando que a recuperação implícita de requisitos é o principal gargalo que limita o desempenho dos agentes atuais em tarefas de nível de repositório.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde você tem um assistente robô superinteligente que consegue escrever código de computador. Você dá a ele uma instrução simples como, "Corrija o erro neste jogo" ou "Adicione um novo nível", e ele começa a trabalhar. Este é o sonho dos agentes de codificação de IA. Por muito tempo, cientistas têm testado esses robôs dando-lhes uma tarefa e vendo se o resultado final funciona. Se o jogo rodar sem travar, o robô ganha uma estrela de ouro. Se ele travar, o robô ganha um X vermelho.
Mas aqui está o problema: um X vermelho não te diz por que o robô falhou. Ele entendeu mal as suas instruções? Ele criou um plano ruim? Ou ele apenas digitou o código errado? É como um aluno reprovando em uma prova de matemática e recebendo apenas uma nota "0/10" sem ver as anotações do professor sobre onde ele errou. Para realmente tornar esses robôs melhores, precisamos ver seu processo de pensamento, não apenas a resposta final. Esta é a grande questão que o artigo aborda: Como deixamos de apenas avaliar o patch final e começamos a diagnosticar o cérebro do robô?
Apresentamos o SWE-RPG, um teste superdetalhado projetado para espiar dentro da mente do robô. Os pesquisadores construíram um benchmark (um teste padronizado) usando 163 tarefas de codificação do mundo real de 31 diferentes projetos de software. Em vez de apenas verificar se o código funciona ao final, eles criaram referências de "Verdade de Ouro" para cada etapa da jornada do robô. Pense nisso como ter o livro de receitas de um mestre chef que não mostra apenas o prato final, mas também lista cada ingrediente oculto que o chef teve que adivinhar, cada etapa do plano de cozimento e o momento exato em que o robô pode ter saído do caminho.
Os pesquisadores colocaram três agentes de codificação populares (chamados Claude Code, Codex e OpenCode) à prova, combinando-os com seis modelos de "cérebro" (LLMs) diferentes. Os resultados foram um pouco um choque de realidade. Mesmo os melhores robôs resolveram apenas cerca de 31,5% das tarefas. Isso significa que eles falharam em quase dois terços das vezes! Mas a verdadeira magia do SWE-RPG foi descobrir onde eles falharam. O estudo descobriu que o maior gargalo não era, na verdade, escrever o código; era entender as regras ocultas. Cerca de 24,5% a 46,0% das falhas aconteceram porque os robôs não conseguiram entender os "requisitos implícitos" — as coisas que você não disse, mas que o robô precisava saber para fazer o trabalho corretamente.
Por exemplo, se você pedisse a um robô para "corrigir a importação de TSV", ele poderia corrigir o código, mas acidentalmente quebrar a importação de CSV porque não percebeu que os dois estavam relacionados. O estudo sugere que, para tornar esses agentes verdadeiramente úteis, precisamos parar de focar apenas em fazê-los escrever código mais rápido e começar a ensiná-los a serem melhores detetives, capazes de ler nas entrelinhas de um pedido do usuário. O artigo conclui que, embora esses agentes sejam impressionantes, eles ainda lutam com o lado humano e complexo do desenvolvimento de software, e o SWE-RPG é o novo mapa que precisamos para ajudá-los a navegar por esses complicados requisitos ocultos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.