💻 computer science

Beyond the Commit: Developer Perspectives on Productivity with AI Coding Assistants

Este estudo de métodos mistos na BNY Mellon, envolvendo 2.989 respostas de questionários e 11 entrevistas, argumenta que a avaliação de assistentes de codificação de IA requer uma abordagem holística e multifacetada que incorpore fatores centrados no ser humano de longo prazo, como expertise técnica e propriedade do trabalho, em vez de depender apenas de métricas de produtividade tradicionais de curto prazo.

Autores originais: Valerie Chen, Jasmyn He, Behnjamin Williams, Jason Valentino, Ameet Talwalkar

Publicado 2026-02-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Valerie Chen, Jasmyn He, Behnjamin Williams, Jason Valentino, Ameet Talwalkar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você administra uma empresa de construção massiva. Durante anos, você mediu a produtividade de seus construtores contando quantos tijolos eles assentavam por hora ou quantas paredes terminavam por dia. Mas recentemente, você entregou a cada construtor um robô assistente mágico que pode sugerir instantaneamente o próximo tijolo, escrever as plantas e até corrigir erros.

Agora, você está confuso. Os robôs são populares, mas eles estão realmente tornando a empresa mais rápida? E se estão, "mais rápido" significa a mesma coisa que costumava significar?

Este artigo é como uma investigação profunda realizada por uma equipe de pesquisadores (da Carnegie Mellon University e da BNY Mellon) que foi conversar com quase 3.000 desses "construtores" (desenvolvedores de software) para descobrir como medir o sucesso nesta nova era dos robôs de IA.

Aqui está a história do que eles descobriram, dividida em partes simples:

1. A Grande Confusão: Felicidade vs. Velocidade

Os pesquisadores primeiro fizeram uma pergunta simples: "Você está satisfeito com seu robô assistente?" e "Quanto tempo ele economiza para você?"

O Resultado: A maioria dos desenvolvedores disse: "Sim, eu amo o robô! Ele torna meu dia mais fácil." (86% estavam satisfeitos).
A Reviravolta: Mas ao serem questionados: "Quanto tempo você economizou?", a maioria disse: "Não muito. Talvez 30 minutos por semana."

A Analogia: Imagine que você tem um carro superveloz que te leva ao trabalho em 5 minutos, mas você passa 45 minutos preso no trânsito. Você pode amar o carro porque ele é divertido e confiável, mas você não está de fato chegando ao trabalho mais rápido do que antes. O estudo descobriu que os desenvolvedores amam a sensação de usar a IA, mas isso nem sempre se traduz em grandes blocos de tempo economizado. Isso prova que você não pode usar apenas um número (como "tempo economizado") para julgar se a ferramenta está funcionando.

2. As Seis Novas Regras do Jogo

Como a antiga forma de contar (tijolos por hora) não funciona mais, os pesquisadores entrevistaram 11 desenvolvedores para encontrar novas formas de medir o sucesso. Eles encontraram seis fatores distintos que importam, os quais agruparam em três estágios de um projeto:

Estágio A: Durante a Construção (A Sensação "No Momento")

Autossuficiência (O Superpoder de "Faça Você Mesmo"):
- Antes: Se um construtor não soubesse como consertar um cano com vazamento, ele tinha que parar, chamar um especialista sênior ou procurar em uma biblioteca gigante de manuais.
- Agora: O robô sussurra a resposta diretamente no ouvido dele. Eles se sentem como super-heróis que podem resolver problemas sem sair de suas mesas.
Frustração e Carga Mental (O "Cabo de Guerra Mental"):
- O Problema: O robô não é perfeito. Às vezes, ele sugere uma solução que parece correta, mas que é, na verdade, errada. O desenvolvedor tem que parar, pensar intensamente e checar tudo. Isso pode, na verdade, deixá-los mais cansados e frustrados, mesmo que estejam digitando mais rápido.

Estágio B: Entregando as Chaves (A Verificação da Equipe)

Velocidade de Conclusão de Tarefas (A Verificação de "Capacidade de Processamento"):
- Esta é a métrica da velha guarda: quão rápido terminamos o trabalho? O estudo descobriu que, embora a IA ajude, isso nem sempre significa que o trabalho é concluído mais rápido. Às vezes, significa apenas que o trabalho é feito com menos esforço, mas o tempo economizado é pequeno.
Revisão por Pares (A "Inspeção de Segurança"):
- Antes, um construtor sênior revisava o trabalho de um júnior. Agora, se o júnior usa o robô, o sênior tem que perguntar: "Foi você quem escreveu isso ou foi o robô?". Se o robô escreveu, o sênior tem que gastar um tempo extra entendendo o código para garantir que ele é seguro. Às vezes, o robô faz o código parecer "perfeito demais" ou confuso, tornando a verificação de segurança mais difícil.

Estágio C: O Longo Prazo (O Futuro do Construtor)

Experiência Técnica (A "Curva de Aprendizado"):
- O Risco: Se um construtor júnior depender do robô para fazer todo o pensamento, ele pode nunca aprender como consertar um cano com vazamento por conta própria. Eles podem se tornar ótimos em apertar botões, mas terríveis em entender a encanação. O estudo alerta que, se não tivermos cuidado, podemos criar uma geração de desenvolvedores que não conseguem trabalhar sem o robô.
Propriedade (O "Orgulho da Criação"):
- O Sentimento: Desenvolvedores amam dizer: "Eu construí isso". Se o robô escreveu 90% do código, eles ainda sentem orgulho? Eles se sentem responsáveis se algo quebrar? O estudo descobriu que os desenvolvedores se preocupam que, se não escreveram o código por conta própria, não terão uma conexão profunda com ele e podem ser mais lentos para consertá-lo quando algo falhar mais tarde.

3. Depende do Que Você Está Fazendo

Os pesquisadores também descobriram que a IA ajuda de formas diferentes dependendo da tarefa:

Construindo algo novo: O robô é ótimo para dar um ponto de partida, mas você deve ter cuidado para não apenas copiar e colar cegamente.
Corrigindo código antigo: A IA tem dificuldade aqui porque precisa de muito contexto. É como tentar consertar uma casa de 50 anos com um robô que só conhece a construção de casas novas.
Escrevendo manuais ou testes: É aqui que o robô brilha. É como ter um robô que pode escrever instantaneamente o manual de instruções para a casa que você acabou de construir. Isso economiza o máximo de tempo.

A Conclusão Final

O artigo conclui que precisamos parar de procurar por um único "número mágico" para medir a produtividade.

A Analogia: Imagine tentar julgar a habilidade de um chef apenas contando quantos pratos ele serve. Se ele usa um robô para picar vegetais, ele pode servir mais pratos, mas se o robô deixar a comida com gosto ruim ou se o chef esquecer como cozinhar, o restaurante falhará a longo prazo.

Para entender verdadeiramente se os assistentes de codificação por IA estão ajudando, precisamos olhar para o quadro completo:

Os desenvolvedos estão felizes?
Eles estão aprendendo ou apenas copiando?
Eles se sentem responsáveis pelo código?
A equipe está verificando o trabalho de forma eficaz?

Os autores dizem que precisamos de uma visão "holística" — um placar equilibrado que valorize a experiência humana e o crescimento a longo prazo, não apenas a velocidade da produção.

Resumo Técnico: Além do Commit: Perspectivas de Desenvolvedores sobre Produtividade com Assistentes de Codificação por IA

Declaração do Problema
A integração de assistentes de codificação por IA (ex: GitHub Copilot, Cursor) nos fluxos de trabalho de desenvolvimento de software exige uma reavaliação de como a produtividade do desenvolvedor é medida. Embora frameworks tradicionais como SPACE e DORA ofereçam métricas estabelecidas para engenharia de software, eles foram projetados para ferramentas e fluxos de trabalho determinísticos. Os assistentes de IA, por outro vez, geram outputs não determinísticos e suportam um escopo mais amplo e em evolução de tarefas. A literatura existente apresenta perspectivas conflitantes: alguns estudos baseiam-se na satisfação e no estado de flow autorrelatados, enquanto outros focam em métricas objetivas como frequência de commits ou linhas de código. Essa divergência sugere que as métricas atuais podem ser insuficientes para capturar o impacto multifacetado da IA na produtividade do desenvolvedor, particularmente em relação às trajetórias de carreira de longo prazo e à propriedade do código (code ownership).

Metodologia
Os autores empregaram um design de pesquisa de métodos mistos exploratórios sequenciais realizado na BNY Mellon, envolvendo duas fases distintas:

Pesquisa de Grande Escala: Uma pesquisa quantitativa foi distribuída para aproximadamente 8.000 engenheiros, resultando em 2.989 respostas de desenvolvedores com acesso ao GitHub Copilot. A pesquisa utilizou o framework de Experiência do Desenvolvedor (DX) para medir duas métricas específicas:
- Satisfação Geral: Um índice de satisfação do consumidor (variando de "muito insatisfeito" a "muito satisfeito").
- Tempo Economizado Percebido: Tempo semanal economizado autorrelatado (variando de "nenhum tempo economizado" a "2+ horas").
- O estudo analisou a correlação entre essas duas méticras para determinar se elas se alinham.
Entrevistas Semiestruturadas: Após a pesquisa, foram realizadas 11 entrevistas em profundidade com um grupo de desenvolvedores selecionados por amostragem proposital. Os participantes variaram por senioridade (início de carreira, nível pleno, gestão), função (backend, frontend, full-stack) e departamento (Produtos de Consumo, Engenharia de Plataforma, Dados). As entrevistas exploraram como os desenvolvedores definem produtividade, seus casos de uso para ferramentas de IA e os fatores sutis que influenciam sua experiência ao longo do desenvolvimento, implantação e manutenção de longo prazo.

Principais Descobertas e Resultados

Desalinhamento de Métricas (RQ1): Os resultados da pesquisa revelaram uma correlação positiva fraca ( $r=0.34$ ) entre a satisfação do desenvolvedor e o tempo economizado percebido. Embora 86% dos respondentes estivessem satisfeitos ou muito satisfeitos com o GitHub Copilot, aproximadamente 60% relataram economizar menos de uma hora por semana. Notavelmente, quase 400 desenvolvedores relataram estar "muito satisfeitos" apesar de economizarem apenas 30 minutos semanais, enquanto mais de 100 desenvolvedores que economizaram 2+ horas por semana relataram estar neutros ou insatisfeitos. Isso indica que a alta satisfação não equivale necessariamente a uma economia significativa de tempo, e métricas únicas falham em capturar o quadro completo.
Seis Fatores Distintos de Produtividade (RQ2): Através da análise temática das entrevistas, os autores identificaram seis fatores que os desenvolvedores consideram relevantes ao avaliar a produtividade da IA. Estes são categorizados em três dimensões:
1. Processo de Desenvolvimento:
  - Autossuficiência: O grau em que a IA reduz a necessidade de alternância de contexto (context-switching) para recursos externos (ex: Stack Overflow, documentação) ou colegas.
  - Frustração e Carga Cognitiva: O esforço mental necessário para verificar os outputs da IA, lidar com alucinações e refinar prompts, o que pode anular os ganhos de eficiência.
2. Processo de Implantação:
  - Taxa de Conclusão de Tarefas: A velocidade de conclusão de tarefas bem definidas, embora os participantes tenham observado que "linhas de código" é um proxy insuficiente para valor ou criticidade.
  - Facilidade de Revisão por Pares: O impacto do código gerado por IA no processo de revisão de código, incluindo preocupações de que desenvolvedores juniores estejam otimizando para as métricas erradas ou que revisores tenham dificuldade em confiar no código assistido por IA.
3. Impacto de Longo Prazo no Desenvolvedor:
  - Experiência Técnica: Preocupações de que a dependência precoce ou excessiva da IA possa prejudicar o desenvolvimento de habilidades fundamentais de depuração e arquitetura, particularmente para engenheiros juniores.
  - Propriedade do Trabalho: O senso psicológico de autoria e responsabilidade; os desenvolvedores expressaram que a compreensão profunda do código é crucial para a manutenção e resolução de incidentes, o que pode ser comprometido se o código não for escrito "à mão".
Impacto Dependente de Contexto (RQ3): O estudo descobriu que o impacto desses fatores varia significativamente conforme o caso de uso:
- Implementação de Novas Funcionalidades: A IA frequentemente acelera a conclusão de tarefas e reduz a carga cognitiva, mas levanta preocupações sobre a dependência excessiva e a erosão da experiência técnica.
- Melhoria de Código Existente (Refatoração): A IA é menos eficaz aqui devido aos altos requisitos de contexto; a maior parte do trabalho envolve entender o código legado em vez de escrever novas linhas, limitando a utilidade da ferramenta para aceleração de tarefas.
- Geração de Testes e Documentação: A IA é altamente eficaz para essas tarefas de "boilerplate", reduzindo significativamente o tempo e a frustração, embora os desenvolvedores enfatizem a necessidade de verificar manualmente os cenários de teste para garantir que a expertise seja mantida.

Significância e Contribuições
O artigo argumenta que medir a produtividade da IA requer uma mudança de avaliações de métrica única para um framework multidimensional e holístico. A principal contribuição dos autores é a identificação de seis fatores que se estendem além dos ganhos imediatos de eficiência para incluir considerações de longo prazo, como experiência técnica e propriedade do trabalho, que estão amplamente ausentes em frameworks anteriores como SPACE e DORA.

O estudo destaca que, embora as ferramentas de IA possam nem sempre gerar economias de tempo dramáticas, elas alteram significavelmente a experiência do desenvolvedor ao mudar a forma como o trabalho é abordado, revisado e mantido. Os autores propõem que pesquisas futuras e avaliações da indústria devem incorporar esses fatores centrados no ser humano e de longo prazo para evitar conclusões enganosas sobre o valor da IA. Eles fornecem um conjunto de perguntas operacionalizadas (Tabela 2) para ajudar pesquisadores e organizações a avaliar melhor essas dimensões em estudos empíricos.

Limitações
Os autores observam que o estudo é limitado a uma única organização (BNY Mellon) e foca primordialmente no GitHub Copilot. Embora o grupo de participantes tenha sido diverso em termos de função e senioridade, os achados podem não se generalizar para todas as organizações ou desenvolvedores independentes que utilizam diferentes ferramentas de IA. Adicionalmente, a dependência de economia de tempo autorrelatada na pesquisa é reconhecida como uma limitação potencial em comparação com a telemetria objetiva.