Do These Violent Delights Have Violent Ends? Measuring the Post-Merge Fate of Agentic Code
Este estudo longitudinal de 182 repositórios revela que, embora as contribuições de código agênticas alcancem taxas de mesclagem comparáveis às do código humano, elas incorrem subsequentemente em encargos de manutenção corretiva significativamente maiores e introduzem mais vulnerabilidades de segurança, particularmente em projetos com baixas taxas de revisão.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você acabou de contratar uma frota de assistentes robôs incansáveis e supervelozes para ajudar você a construir uma cidade massiva e vasta de código. Esses robôs, movidos pela mais recente IA "agêntica", podem criar bairros inteiros de software num piscar de olhos. Os gigantes da tecnologia estão comemorando, dizendo que os robôs estão escrevendo de 30% a 75% do código em suas cidades. As métricas parecem incríveis: os robôs estão produzindo pull requests (permissões de construção) mais rápido do que se pode contar, e a maioria deles é aprovada e integrada ao plano da cidade.
Mas aqui está a reviravolta: o que acontece depois que o alvará é assinado e o edifício passa a fazer parte oficialmente da cidade?
Foi exatamente isso que este estudo investigou. Em vez de apenas contar quantos edifícios os robôs construíram, os pesquisadores acompanharam o código por um ano inteiro (de maio de 2025 a maio de 2026) em 182 projetos do mundo real. Eles rastrearam cada linha de código como um detetive seguindo um suspeito, perguntando: Esta linha sobrevive ou é demolida e reconstruída? Quem a conserta quando ela quebra? E ela esconde armadilhas perigosas?
A Grande Surpresa: Não é Sobre "Quanto", é Sobre "O Quão Ruim"
Você poderia esperar que o código construído por robôs fosse um desastre total, desmoronando imediatamente. Ou poderia pensar que é perfeito. A verdade é um pouco mais sutil.
O artigo descobriu que, no geral, o código construído por robôs não é "demolido" (encerrado) em uma taxa significativamente diferente do código humano. Se você olhar apenas para os números brutos de quanto tempo um pedaço de código dura, os robôs e os humanos parecem estar em pé de igualdade.
No entanto, quando você olha mais de perto para o porquê de esse código ser alterado, o cenário muda dramaticamente.
- O Ímã de "Correção de Bugs": O código de robôs é um ímã para correções. O estudo descobriu que o código agêntico recebe 46% mais manutenção corretiva (consertar coisas que estão quebradas) do que o código humano.
- As Especificidades da "Correção de Bugs": Especificamente, o código de robôs recebe 45% mais correções de bugs. Embora o código humano também receba muitas correções, os robôs parecem estar introduzindo mais delas.
- O Fator "Armadilha": O código de robôs também tem maior probabilidade de trazer vulnerabilidades de segurança e dependências perigosas. O estudo mediu isso usando ferramentas como Semgrep e OSV-Scanner. O código de robôs introduziu achados de segurança a uma taxa de 1,14 vezes a do código humano, e achados de alta severidade (muito graves) a uma taxa de 1,51 vezes.
Pense nisso desta forma: os robôs são ótimos em construir as paredes, mas frequentemente esquecem de instalar os alarmes de incêndio ou usam tinta inflamável. O edifício fica de pé, mas precisa de muito mais inspeções de segurança contra incêndio e reparos posteriormente.
A Zona de Perigo do "Sem Revisão"
Uma das descobertas mais críticas diz respeito a como o código é aprovado. Os pesquisadores observaram o que acontece quando projetos mesclam código sem uma revisão humana prévia.
Eles encontraram uma ligação direta: quanto mais código um projeto mescla sem revisão humana, maior se torna o fardo de manutenção.
- Especificamente, para cada aumento de 10 pontos percentuais na "taxa de não revisão" de um projeto, o fardo de manutenção no código agêntico aumenta em aproximadamente 6%.
Isso sugere que os robôs não estão apenas cometendo erros; eles estão cometendo erros que apenas um revisor humano teria detectado. Quando você pula a revisão, você está deixando os robôs correrem soltos, e a conta para consertar os erros deles chega mais tarde.
O Problema da "Assimetria de Velocidade"
O artigo argumenta que criamos um desequilíbrio perigoso, que eles chamam de "assimetria de geração-revisão".
- Geração (Escrita): Os robôs podem escrever código infinitamente rápido, sem limites impostos pela fadiga humana.
- Revisão (Checagem): Os humanos ainda são os responsáveis por verificar o trabalho. Eles cansam, ficam ocupados e só conseguem ler a uma certa velocidade.
O estudo sugere que tentar resolver isso apenas "revisando mais rápido" ou "automatizando a revisão" não é a solução. Se você deixar os robôs escreverem código mais rápido do que os humanos conseguem checar, você acabará acumulando um enorme passivo de defeitos ocultos. O artigo argumenta que a solução não é esticar o processo de revisão, mas sim consertar as próprias ferramentas para que produzam código que seja realmente seguro e sustentável desde o início.
O Que o Artigo Descarta
É importante saber o que este estudo não encontrou também:
- Não encontrou que o código de robôs seja universalmente "pior" em todos os aspectos. A taxa de sobrevivência geral (quanto tempo o código dura antes de ser alterado) é estatisticamente semelhante à do código humano. A diferença está no tipo de mudanças (mais correções de bugs, não mais adições de funcionalidades).
- Não encontrou que o problema seja aleatório. O fardo de manutenção não é apenas má sorte; ele está ligado a características específicas do projeto, como quanto código é mesclado sem revisão.
- Não provou que os robôs são "maus" ou "inúteis". Ele simplesmente mediu que eles atualmente introduzem mais bugs e falhas de segurança que exigem limpeza humana.
A Conclusão Final
O estudo conclui que, embora os robôs sejam impressionantes em fazer código, eles são atualmente menos confiáveis em permanecer como código. O "sucesso" dessas ferramentas não deve ser medido por quanto código elas geram ou quantos pull requests são mesclados. Em vez disso, o teste real é: O código permanece seguro e estável após ser mesclado?
O artigo sugere que, à medida que dependemos mais desses agentes, precisamos parar de celebrar a velocidade de geração e começar a nos preocupar com o custo da limpeza. Os robôs são rápidos, mas se deixarem um rastro de bugs e falhas de segurança, os humanos que terão que limpá-los trabalharão horas extras. O objetivo não deve ser construir uma cidade que pareça ótima no primeiro dia; deve ser construir uma cidade que não precise de reparos de emergência constantes um ano depois.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.