AI Writes Faster Than Humans Can Review: A Longitudinal Study of an Enterprise 2x Mandate

Resumo Técnico: A IA Escreve Mais Rápido do que os Humanos Conseguem Revisar

Definição do Problema
As empresas estão aumentando cada vez mais a obrigatoriedade da adoção de ferramentas de codificação com IA, com a expectativa de dobrar a produtividade da engenharia. No entanto, evidências longitudinais sobre como esses mandatos se desenrolam, os mecanismos que impulsionam os ganhos de produtividade e os custos organizacionais são escassos. Estudos de campo existentes relatam resultados conflitantes, variando de uma desaceleração de 19% a um ganho de 40%, enquanto a imprensa especializada afirma ganhos de produtividade multiplicativos sem dados públicos robustos. Além disso, a maioria dos estudos mede efeitos pontuais em vez da evolução de uma implementação, deixando questões em aberto sobre se grandes ganhos são alcançáveis, como eles se distribuem entre desenvolvedores e bases de código, e como as organizações absorvem esse aumento de vazão sem comprometer a qualidade ou a capacidade de revisão.

Metodologia
Este artigo apresenta um estudo de caso quantitativo longitudinal de uma empresa de software B2B de médio porte, voltada para IA, que implementou um "mandato de 2×" documentado em junho de 2025, visando dobrar o número de pull requests (PRs) mesclados por engenheiro dentro de doze meses. O estudo utiliza um conjunto de dados em painel de 802 desenvolvedores e 196.212 PRs abrangendo de janeiro de 2024 a abril de 2026.

• Fontes de Dados: Os autores mineraram telemetria interna de ferramentas comerciais de IA (Cursor e Claude Code), histórico de PRs (incluindo carimbos de data/hora, tamanhos e estados) e dados de cargos de RH. Eles identificaram PRs gerados por IA usando um rótulo interno created-by-ai e bots automatizados por meio de sinais léxicos e comportamentais.
• Design: A análise central utiliza um design de diferença em diferenças (DiD) escalonado. Ao alinhar os desenvolvedores em seu mês específico de adoção da IA, em vez da data do mandato, o estudo isola as mudanças de produção dentro do próprio desenvolvedor. Essa abordagem trata o mandato como um catalisador para a adoção, em vez de um driver direto, permitindo a separação do efeito imediato de adoção dos ganhos que se acumulam ao longo do tempo.
• Estimadores: Para abordar potenciais vieses de adoção não aleatória (onde adotantes precoces podem ter sido mais produtivos), os autores utilizam efeitos fixos de desenvolvedor, agrupam erros padrão por desenvolvedor e validam os resultados com múltiplos estimadores (Callaway–Sant'Anna e imputação de Borusyak) que comparam adotantes apenas com aqueles que ainda não adotaram.
• Decomposição: O estudo decompõe os ganhos de produtividade em dois canais: um "salto de adoção" imediato e um efeito de "uso cumulativo" (dose-resposta), controlando tendências de calendário e lançamentos de modelos (Sonnet 4.5, Opus 4.5, Opus 4.6).

Principais Resultados

1. Ganhos de Produtividade: A vazão de PRs por pessoa aumentou 2,09× em relação à linha de base pré-mandato até abril de 2026. No entanto, esse ganho agregado é impulsionado quase inteiramente por melhorias dentro do próprio desenvolvedor.

   • Adoção vs. Acúmulo: O ganho não é um impulso instantâneo. A decomposição revela que, embora o salto inicial de adoção seja significativo, a maior parte do ganho vem do uso acumulado. A produção de um desenvolvedor cresce conforme seu uso cumulativo de IA aumenta, atingindo um ganho de 1,46× a 1,72× (dependendo do rigor do modelo) após nove meses de uso da ferramenta.
   • Heterogeneidade: O ganho é amplamente compartilhado entre níveis de senioridade (Contribuintes Individuais a Principais), mas está concentrado em novos repositórios (pós-2022) e é negligenciável em código legado. O ganho não é separável por gerações específicas de modelos; a rampa de uso organizacional coincide com os lançamentos de modelos, tornando impossível isolar as melhorias de capacidade do modelo das melhorias da experiência do usuário acumulada.
   • Impacto na Gestão: O ganho proporcional foi maior para a gestão (+86%), sugerindo que a IA reduz a barreira para que gestores se reengajem na codificação prática.

2. Reestruturação do Processo de Revisão: O surto de produção de código sobrecarregou o sistema de revisão.

   • Mudança de Carga: A carga por revisor aproximadamente dobrou. Para absorver isso, a organização mudou pesadamente para a revisão automatizada. A parcela de PRs recebendo revisão humana caiu de 89% para 68%, enquanto a cobertura de revisão automatizada subiu de ~19% para ~84%, ultrapassando a revisão humana.
   • Qualidade da Revisão Humana: A revisão humana substantiva (comentários) diminuiu, enquanto aprovações "silenciosas" aumentaram. A atividade de revisão humana restante tornou-se mais superficial, focando em aprovação em vez de engajamento profundo.
   • Latência: PRs gerados por IA experimentaram um tempo de ciclo ~20% maior da primeira revisão humana até a mesclagem em comparação com PRs gerados por humanos, apesar de taxas de mesclagem e reversão semelhantes. Essa latência é atribuída a um gargalo onde a capacidade de revisão humana não conseguiu acompanhar a velocidade de autoria, levando ao acúmulo na fila de revisão.

3. Proxies de Qualidade: As taxas de mesclagem permaneceram estáveis e as taxas de reversão diminuíram ligeiramente. No entanto, os autores alertam que as taxas de mesclagem/reversão são proxies grosseiros e de curto horizonte que não capturam dívida técnica, manutenibilidade ou dívida cognitiva.

Significância e Alegações
O artigo afirma fornecer um dos maiores ganhos de campo relatados de ferramentas de codificação com IA (aproximando-se do alvo de "2×"), mas com ressalvas críticas em relação ao mecanismo e à sustentabilidade desses ganhos:

• Redesenho de Processo, Não Apenas Ferramental: O estudo conclui que um mandato de IA empresarial é um problema de redesenho de processo. O ganho de produtividade não é uma chave ligada por um mandato, mas um acúmulo gradual de habilidade e intensidade de uso. O mandato atuou como um catalisador para a adoção, mas o retorno é impulsionado pela "dose-resposta" do uso acumulado.
• Mudança do Gargalo: A principal consequência da implementação não foi o envio mais rápido, mas uma mudança fundamental na divisão do trabalho. A organização absorveu o aumento de volume ao transferir a revisão para a automação, efetivamente movendo o gargalo da geração de código para a revisão de código.
• Validade Contextual: Os autores posicionam seus achados como um "melhor cenário possível" (uma empresa jovem, permissiva e voltada para IA, com orçamentos ilimitados). Eles declaram explicitamente que esses resultados não devem ser interpretados como uma média típica da indústria ou um ganho imediato e gratuito.
• Limitações: O estudo reconhece que a implementação não foi randomizada, o que significa que a magnitude causal exata é limitada em vez de ser ponto-identificada. O efeito de "uso acumulado" é uma associação que pode refletir desenvolvedores de alta produtividade escolhendo usar a IA de forma mais intensa, em vez de a IA causar exclusivamente o aumento de produtividade. Além disso, o estudo mede a vazão até o ponto de mesclagem, deixando não medidos os custos subsequentes (dívida técnica, manutenção).

Em resumo, o artigo argumenta que, embora a quase duplicação da vazão seja alcançável sob condições favoráveis, ela requer um longo horizonte para acúmulo de habilidades e resulta em uma mudança estrutural onde a automação substitui a revisão humana, potencialmente criando novos riscos em relação à qualidade do código e à dívida cognitiva que não são capturados por métricas padrão de vazão.