GitHub Copilot and Developer Productivity: An Observational Dose-Response Analysis

Resumo Técnico: GitHub Copilot e Produtividade do Desenvolvedor

Declaração do Problema
O artigo aborda o desafio de medir o impacto causal de assistentes de codificação baseados em Grandes Modelos de Linguagem (LLMs), especificamente o GitHub Copilot (GHCP), na produtividade do desenvolvedor. Embora a literatura existente inclua experimentos controlados e quase-experimentos, estender essas descobertas para a produtividade de "estado estacionário" de uma ferramenta onipresente é difícil. Os autores identificam duas camadas primárias de confusão que obscurecem a inferência causal em dados observacionais:

1. Seleção entre engenheiros: Engenheiros que utilizam o GHCP com mais frequência podem diferir sistematicamente daqueles que o utilizam menos (ex: habilidade, função, equipe ou receptividade a novas ferramentas).
2. Confusão variante no tempo, dentro do mesmo engenheiro: Mesmo para um único engenheiro, semanas com alto uso de GHCP podem coincidir com semanas "ocupadas" (ex: períodos de pressão, entregas de funcionalidades principais) onde o alto rendimento é impulsionado pelo esforço, e não pela contribuição marginal da ferramenta.

Comparações transversais padrão confundem essas diferenças com o efeito da ferramenta, enquanto testes A/B randomizados são considerados inviáveis devido às implicações éticas e práticas de remover uma ferramenta estabelecida de um subconjunto de engenheiros.

Metodologia
O estudo utiliza 43 semanas de dados observacionais de 16.223 engenheiros de software da organização Cloud+AI da Microsoft. Os autores empregam uma análise de dose-resposta dentro do mesmo engenheiro utilizando um modelo de Máxima Verossimilhança Pseudo-Poisson (PPML) com efeitos fixos de duas vias.

• Estratégia de Identificação:
  • Efeitos Fixos de Engenheiro ($\alpha_i$): Estes absorvem todas as diferenças invariantes no tempo entre os engenheiros (habilidade, função, equipe, estilo de codificação), comparando efetivamente cada engenheiro consigo mesmo, em vez de compará-lo com seus pares.
  • Efeitos Fixos de Semana ($\delta_t$): Estes absorvem choques populacionais (prazos, feriados, reorganizações).
  • Controles de Esforço: O modelo inclui tempo de codificação ativa e tempo de navegador como covariáveis. Isso define o estimando não como um "efeito total" (que incluiria economia de tempo), mas como um efeito de eficiência: a mudança na produção de PRs por unidade de esforço de desenvolvimento mensurado. Esta abordagem é conservadora; se o GHCP economiza tempo, esse canal é absorvido pelos controles, o que significa que o coeficiente estimado representa um limite inferior para o impacto total de produtividade.
• Operacionalização do Tratamento: O uso do GHCP é medido como "profundidade de interação" (total de sugestões, prompts e aceites por semana), categorizado em quatro níveis: Zero, Baixo, Moderado e Alto.
• Variável de Resultado: O número de Pull Requests (PRs) concluídos atribuídos à semana de criação, com uma janela de conclusão de 28 dias.

Resultos Principais
A análise revela uma relação monotônica e positiva entre a intensidade de uso do GHCP e a produção de PRs, mantendo constantes o tempo de codificação e o tempo de navegador:

• Magnitude: Os engenheiros completam 40,5% mais PRs em suas semanas de maior uso de GHCP em comparação com suas semanas de uso zero.
• Gradiente: O efeito é monotônico, mas apresenta retornos decrescentes em alta intensidade:
  • Uso baixo: +21,0%
  • Uso moderado: +39,4%
  • Uso alto: +40,5%
• Controles: O tempo de codificação e o tempo de navegador estão positivamente associados à produção de PRs, confirmando a capacidade do modelo de capturar a produtividade baseada no esforço.

Robustez e Falsificação
Para abordar a suposição não testável de independência condicional (que fatores não observados não impulsionam simultaneamente o uso do GHpp e a produção de PR), os autores realizam uma bateria de sete testes de falsificação:

1. Tratamento Placebo (IA não voltada para codificação): O uso do M365 Copilot (não voltado para codificação) como tratamento resulta em um gradiente plano, descartando que "semanas engajadas com IA" genéricas sejam o motor do efeito.
2. Resultado Placebo (PRs de Colegas): O uso de GHCP de um engenheiro não prevê a produção de PRs de seus colegas de equipe, descartando choques ao nível da equipe.
3. Mudança no Mix de Tarefas (Autoria vs. Revisão): Tanto os PRs autorados quanto as revisões de PR aumentam com o uso do GHCP, contradizendo a hipótese de que os engenheiros simplesmente deslocam o tempo da revisão para a autoria.
4. Testes de Tempo: Variáveis de uso de GHCP defasadas (lagged) e antecedentes (leading) não apresentam poder preditivo, indicando que a associação é contemporânea e não impulsionada por estados não observados persistentes.
5. Decomposição do Tamanho do PR: A dose-resposta é mais acentuada para PRs grandes (7+ arquivos), contradizendo a hipótese de "fatiamento" (que engenheiros dividem o trabalho em PRs menores e triviais).
6. Decomposição por Tipo de PR: O gradiente é mais acentuado para "outros" PRs (excluindo arquivos de configuração/documentação) do que para arquivos apenas de configuração/documentação, descartando um deslocamento para tipos de tarefas mais fáceis.
7. Alternativa de Operacionalização: Utilizar "amplitude" (dias por semana com uso) em vez de "profundidade" (depth) produz um gradiente monotônico semelhante (+54% para alta amplitude), confirmando que o resultado não é um artefato de categorização.

Significância e Alegações
O artigo afirma fornecer uma estimativa observacional rigorosa do efeito de eficiência do GitHub Copilot. Ao alavancar a variação dentro do mesmo engenheiro e uma bateria robusta de testes de falsificação, os autores estreitam o espaço de explicações alternativas plausíveis. Eles concluem que o aumento observado de 40,5% na vazão de PRs é consistente com um efeito genuíno de produtividade, e não com confusão mecânica ou realocação de tarefas.

Os autores enquadram explicitamente suas descobertas como um efeito de eficiência (mais saída por hora) em vez de um efeito total, reconhecendo que, se o GHCP reduz o tempo necessário para completar tarefas, o ganho total de produtividade seria ainda maior. Eles mantêm uma postura modesta, observando que, embora seu design substancialmente reduza o conjunto de confundidores plausíveis, uma alegação causal definitiva exigiria um experimento randomizado, o qual argumentam ser inviável para esta questão de pesquisa específica. O estudo demonstra que dados de painel dentro do mesmo engenheiro, com efeitos fixos e testes de falsificação, podem fornecer evidências credíveis para o impacto de ferramentas de IA onipresentes em ambientes reais.