On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Este estudo empírico de 567 pull requests do GitHub gerados pelo agente Claude Code em 157 projetos de código aberto revela que, embora 83,8% das contribuições assistidas por agentes sejam aceitas — frequentemente sem modificação —, elas ainda exigem frequentemente supervisão humana para correções de bugs, documentação e adesão aos padrões do projeto.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine o desenvolvimento de software como um canteiro de obras massivo e movimentado, onde milhares de equipes estão construindo arranha-céus digitais (projetos de código aberto). Durante anos, os trabalhadores (desenvolvedores) têm feito todo o trabalho pesado, elaborando plantas e assentando tijolos por conta própria.
Recentemente, um novo tipo de assistente robô superinteligente chamado "Agentic Coding" (especificamente uma ferramenta chamada Claude Code) chegou ao canteiro de obras. Diferente de uma simples calculadora que apenas responde perguntas, este robô pode pegar uma chave inglesa, olhar para as plantas, consertar um cano com vazamento, escrever um novo manual de instruções e até mesmo protocolar a papelada para obter a aprovação do trabalho — tudo por conta própria.
Este artigo é um boletim de notas sobre o quão bem esses robôs estão realmente fazendo seus trabalhos no mundo real. Os pesquisadores analisaram 567 projetos de construção (Pull Requests) onde este robô realizou o trabalho, comparando-os com projetos feitos por humanos, e fizeram quatro grandes perguntas.
Aqui está o que eles descobriram, explicado com analogias simples:
1. Que tipo de trabalho os robôs fazem? (RQ1)
A Descoberta: Humanos e robôs tanto consertam coisas quebradas (bugs) quanto constroem novos cômodos (features). No entanto, os robôs têm um talento especial para reformas e limpeza.
- A Analogia: Se um trabalhador humano é solicitado a "consertar a casa", ele pode consertar o telhado ou construir uma nova garagem. Se você pedir ao robô para "consertar a casa", ele adora reorganizar os móveis (refatoração), escrever etiquetas melhores nos armários (documentação) e adicionar mais câmeras de segurança (testes).
- O Resultado: Os robôs são surpreendentemente bons no trabalho de limpeza tedioso e baseado em regras que os humanos costumam achar entediante. Eles também tendem a escrever "ordens de serviço" (descrições de PR) muito mais longas e detalhadas, explicando exatamente o que fizeram.
2. Os chefes (mantenedores) aceitam o trabalho dos robôs? (RQ2)
A Descoberta: Sim, na maioria das vezes! Mas não tão frequentemente quanto aceitam o trabalho humano.
- As Estatísticas: Cerca de 84% do trabalho do robô é aprovado e integrado (merged). Para comparação, cerca de 91% do trabalho humano é aprovado.
- Por que são rejeitados? Raramente é porque o robô construiu uma "parede ruim". Geralmente, o trabalho é rejeitado porque:
- Tempo: Outro membro da equipe já consertou o problema de uma forma diferente.
- Tamanho: O robô tentou consertar a casa inteira de uma só vez, tornando a planta grande demais para revisão.
- Obsolescência: O projeto mudou de direção enquanto o robô estava trabalhando.
- A Conclusão: Os robôs são geralmente confiáveis, mas às vezes perdem o contexto do "quadro geral" do que a equipe realmente quer agora.
3. Os robôs precisam de ajuda para terminar o trabalho? (RQ3)
A Descoberta: Surpreendentemente, robôs e humanos precisam de quase a mesma quantidade de "polimento" antes que seu trabalho esteja perfeito.
- A Analogia: Imagine que você encomenda um bolo personalizado. Às vezes, o confeiteiro (robô) acerta 100% de primeira. Às vezes, ele acerta 90% e você só precisa ajustar a cobertura.
- As Estatísticas: Cerca-se de 55% dos bolos dos robôs estão perfeitos como estão. Isso é quase o mesmo que os confeiteiros humanos (58,5%).
- O Esforço: Quando o bolo realmente precisa de ajustes, a quantidade de trabalho necessária para consertar um bolo de robô é estatisticamente a mesma para consertar um bolo de humano. Os robôs não estão cometendo mais erros que exijam mais trabalho; eles apenas cometem tipos diferentes de pequenos erros.
4. O que exatamente os humanos precisam consertar? (RQ4)
A Descoberta: Quando os humanos precisam intervir e consertar o trabalho do robô, eles estão principalmente corrigindo verificações de segurança, instruções e estilo.
- Correção de Bugs (48%): Às vezes, o robô tenta ser otimista demais. Ele assume que uma porta nunca quebrará, então não constrói um plano de contingência. Os humanos têm que adicionar esse plano de reserva.
- Documentação (29%): O robô pode construir um ótimo novo cômodo, mas esquecer de atualizar o mapa da casa. Os humanos têm que atualizar o "README" (o manual de instruções).
- Refatoração (27%): O robô pode construir uma parede que funciona, mas ela está em um lugar estranho que torna o resto da casa difícil de navegar. Os humanos têm que movê-la para se ajustar ao estilo da casa.
- Estilo (23%): O robô pode usar a cor de tinta errada ou a fonte errada. Os humanos têm que fazer com que pareça com o resto do edifício.
O Panorama Geral
Pense no Agentic Coding como um aprendiz muito talentoso, rápido e entusiasta.
- Prós: Pode realizar uma enorme quantidade do trabalho pesado, especialmente as tarefas tediosas de limpeza e testes. Produz um trabalho que muitas vezes é bom o suficiente para ser usado imediatamente.
- Contras: Às vezes perde a "vibe" do projeto, escreve instruções que são longas demais ou curtas demais e ocasionalmente precisa de um supervisor humano para verificar a segurança e o estilo.
A Conclusão: O robô ainda não está substituindo o mestre de obras humano. Em vez disso, é uma ferramenta poderosa que faz o trabalho braçal, permitindo que o humano intervenha, revise os planos e tome a decisão final para garantir que tudo seja seguro, elegante e se ajuste perfeitamente ao projeto. O artigo sugere que, embora o robô seja um ótimo ponto de partida, a supervisão humana ainda é essencial para transformar um "bom rascunho" em uma "obra-prima finalizada".
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.