Why Are Agentic Pull Requests Merged or Rejected? An Empirical Study
Este estudo empírico de mais de 11.000 solicitações de pull autônomas revela que confiar exclusivamente em resultados de fusão ou rejeição para avaliar agentes de codificação de IA é enganoso, pois uma parcela significativa de rejeições decorre de restrições de fluxo de trabalho e não de erros do agente, e muitas fusões exigem intervenção humana substancial, tornando assim necessárias métricas de avaliação conscientes da interação fundamentadas no comportamento de revisão.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine uma cozinha movimentada e de alta tecnologia, onde robôs (agentes de codificação com IA) estão constantemente tentando preparar novos pratos (alterações de código) e servi-los ao chef principal (o revisor humano) para aprovação. O objetivo é fazer com que esses pratos sejam adicionados ao cardápio do restaurante (mesclados no software).
Por muito tempo, as pessoas avaliaram o quão bons esses chefs robôs eram simplesmente observando o resultado final: O prato foi servido (Mesclado) ou enviado de volta para o lixo (Rejeitado)?
Este novo estudo argumenta que olhar apenas para o resultado final é como julgar um chef apenas pelo fato de o prato ter saído da cozinha, sem perguntar por quê. Os pesquisadores descobriram que o rótulo "Sim/Não" conta uma história muito incompleta.
Aqui está o que eles descobriram, dividido em analogias simples:
1. O "Lixo" Nem Sempre é Culpa do Chef
Quando o prato de um robô é rejeitado, muitas vezes assumimos que o robô preparou algo impróprio para consumo (um erro de codificação). No entanto, o estudo descobriu que apenas cerca de 36% das rejeições ocorreram realmente porque o robô estragou a receita.
Os outros dois terços foram rejeitados por motivos que nada tinham a ver com as habilidades culinárias do robô:
- O Problema do "Dia Errado" (31%): O prato estava perfeito, mas a cozinha já estava fechada, ou o chef já havia encomendado um prato diferente para aquela noite. Em termos de tecnologia, o código estava bom, mas o fluxo de trabalho do projeto não o necessitava, ou era uma duplicata.
- O "Tratamento Silencioso" (33%): O prato foi devolvido, mas o chef não disse uma palavra. Não havia nenhuma nota no prato explicando o motivo. É impossível dizer se o robô falhou ou se o chef simplesmente o ignorou.
A Lição: Se você contar apenas as rejeições como "falhas", está culpando injustamente o robô por coisas que eram, na verdade, apenas má sincronização ou silêncio.
2. O Prato "Servido" Nem Sempre é Apenas do Robô
Quando um prato é servido (mesclado), assumimos que o robô o preparou perfeitamente do início ao fim. Mas o estudo descobriu que cerca de 15% desses "sucessos" realmente exigiram que o chef humano interviesse e consertasse as coisas antes que o prato pudesse ser enviado.
- O "Teste de Paladar" (Ciclos de Feedback): O robô preparou o prato principal, mas o chef provou, disse: "Precisa de mais sal", e o robô corrigiu.
- O "Empratamento" (Intervenção Humana): O robô cozinhou a comida, mas o chef teve que reorganizar a guarnição ou corrigir a apresentação antes de servir.
Na verdade, para alguns robôs (como Copilot e Devin), o chef humano esteve envolvido no processo com muito mais frequência do que para outros (como Codex e Cursor), que pareciam ter seus pratos servidos com quase nenhuma interação.
A Lição: Um rótulo de "Mesclado" nem sempre significa que o robô fez todo o trabalho sozinho. Às vezes, o humano fez o trabalho pesado no final para fazer funcionar.
3. Robôs Diferentes, Cozinhas Diferentes
O estudo notou que diferentes robôs se comportavam de maneira diferente dependendo de qual "cozinha" (projeto de software) estavam inseridos.
- Alguns robôs foram enviados para cozinhas com regras estritas e chefs ocupados que constantemente davam feedback. Esses robôs tiveram mais rejeições e mais ajuda humana.
- Outros robôs foram enviados para cozinhas onde os chefs eram mais desapegados, levando a mais aprovações ou rejeições "silenciosas".
A Grande Conclusão
O artigo conclui que não podemos julgar a habilidade de um chef robô apenas olhando para o carimbo "Servido" ou "Rejeitado" no pedido.
- Rejeições são frequentemente apenas problemas de fluxo de trabalho ou silêncio, não má culinária.
- Mesclagens frequentemente envolvem chefs humanos consertando o prato antes de servir.
Para entender verdadeiramente quão bons esses agentes de IA são, precisamos olhar para a conversa entre o robô e o humano — os comentários, os consertos e as razões por trás das decisões — em vez de apenas o resultado final. Se não fizermos isso, estamos julgando o chef com base em um cardápio que não conta a história completa.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.