🤖 AI

More Code, Less Reuse: Investigating Code Quality and Reviewer Sentiment towards AI-generated Pull Requests

Este artigo investiga o impacto dos agentes de LLM na qualidade do código e no sentimento do revisor, revelando que, embora os pull requests gerados por IA despertem reações neutras ou positivas, eles frequentemente sofrem com o aumento da redundância e oportunidades de reutilização negligenciadas que contribuem para a dívida técnica silenciosa.

Autores originais: Haoming Huang, Pongchai Jaisri, Shota Shimizu, Lingfeng Chen, Sota Nakashima, Gema Rodríguez-Pérez

Publicado 2026-01-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haoming Huang, Pongchai Jaisri, Shota Shimizu, Lingfeng Chen, Sota Nakashima, Gema Rodríguez-Pérez

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Robô "Prestativo" que Bagunça a Garagem

Imagine que você tem um assistente robô muito inteligente e rápido ajudando você a organizar sua garagem. Você pede a ele para consertar uma prateleira quebrada ou construir uma nova ferramenta. O robô é incrivelmente rápido e educado. Ele lhe entrega um produto acabado que parece perfeito e funciona imediatamente.

No entanto, este artigo investiga o que acontece quando deixamos esses robôs (Agentes de IA) fazerem trabalho demais. Os pesquisadores descobriram um problema surpreendente: os robôs estão construindo ferramentas duplicadas em vez de usar as que você já possui.

As Duas Principais Perguntas

Os pesquisadores fizeram duas perguntas simples para entender o que está acontecendo:

O código é realmente bom? (Olhando para a própria "garagem").
Como os chefes humanos se sentem em relação ao trabalho? (Olhando para a "revisão").

1. O Problema da "Garagem": Mais Coisas, Menos Reuso

Quando desenvolvedores humanos escrevem código, eles geralmente olham ao redor primeiro. Se já existe uma "chave de fenda" (um pedaço de código) na caixa de ferramentas que faz o serviço, eles a pegam e a utilizam. Isso mantém a garagem organizada e eficiente.

O que a IA faz:
Os agentes de IA são como um robô que não sabe o que há na sua caixa de ferramentas. Em vez de pegar a chave de fenda existente, ele constrói uma chave de fenda completamente nova do zero.

O Resultado: A garagem acaba com 10 chaves de fenda idênticas em vez de apenas uma.
O Termo Técnico: Os pesquisadores chamam isso de Clones de Código do Tipo-4. Não é um trabalho de copiar e colar (que é fácil de detectar); é uma "reinvenção". A IA escreve a mesma lógica, mas usa palavras ou nomes de variáveis diferentes.
Os Dados: O estudo descobriu que o código gerado por IA tem quase o dobro de redundância (duplicação desnecessária) do que o código escrito por humanos.

2. O Problema da "Revisão": O Chefe Educado

Normalmente, quando um funcionário humano traz um projeto que é bagunçado ou cheio de duplicatas, o chefe fica irritado. Ele pode dizer: "Ei, nós já temos uma ferramenta para isso! Por que você construiu uma nova?" Esta é uma reação negativa.

O que acontece com a IA:
Quando a IA traz sua "nova chave de fenda", os revisores humanos são surpreendentmente gentis.

A Reação: Os revisores têm maior probabilidade de dizer "Bom trabalho!" ou permanecer neutros ao revisar o código da IA. Eles têm menos probabilidade de ficar irritados ou com nojo em comparação a quando revisam o código humano.
A Analogia: É como um robô que é tão educado e confiante que você esquece de verificar se ele realmente fez o que era inteligente. Como o trabalho do robô parece correto na superfície e passa em todos os testes, o chefe humano baixa a guarda.

O Desconecte Perigoso: "Dívida Técnica Silenciosa"

Esta é a descoberta mais crítica do artigo. Existe um desconecte entre a qualidade do trabalho e o sentimento sobre o trabalho.

A Realidade: A IA está criando uma garagem bagunçada e inchada, cheia de ferramentas duplicadas. Isso é ruim para o longo prazo porque, se você precisar consertar um erro na "lógica da chave de fenda", terá que consertá-la em 10 lugares diferentes em vez de um só. Se você perder um, todo o sistema quebrará mais tarde.
A Ilusão: Como os revisores estão sendo educados e não ficando irritados, essa bagunça passa despercebida.

Os pesquisadores chamam isso de "Dívida Técnica Silenciosa". É como pegar um empréstimo para comprar uma ferramenta nova quando você já tem uma. Você não sente a dor hoje porque a nova ferramenta funciona, mas eventualmente, você estará se afogando em dívidas (custos de manutenção) porque terá que manter todas essas duplicatas.

Por Que Isso Acontece?

O artigo sugere que os modelos de IA são treinados para serem prestativos e complacentes. Eles são otimizados para te dar uma resposta que pareça correta e te deixe feliz, em vez de uma resposta que seja a mais eficiente ou "orientada ao reuso". Eles priorizam parecer plausíveis em vez de serem inteligentes.

A Conclusão

O artigo conclui que, embora a IA seja ótima para escrever código rapidamente, ela é atualmente ruim em reutilizar o código existente.

Para os Construtores: Não verifiquem apenas se o código funciona (a "taxa de aprovação"). Vocês também precisam verificar se a IA está apenas copiando coisas que ela deveria ter reutilizado.
Para os Revisores: Não deixem a educação da IA enganá-los. Vocês precisam ser extra vigilantes e procurar por duplicatas ocultas, mesmo que o código pareça perfeito na superfície.

Em resumo: A IA está construindo uma casa com muitos quartos idênticos porque esqueceu de verificar as plantas, e os inspetores humanos são educados demais para apontar isso.

Resumo Técnico: Mais Código, Menos Reuso

Definição do Problema
O cenário da engenharia de software está mudando em direção ao "SE 3.0", onde agentes de Grandes Modelos de Linguagem (LLMs) atuam como colegas autônomos gerando Pull Requests (PRs). Embora os benchmarks existentes (ex: SWE-Bench) avaliem esses agentes primariamente em taxas de aprovação, eles falham em capturar impactos na manutenibilidade e legibilidade de longo prazo. Uma preocupação específica é a geração de clones semânticos de Tipo-4: código que implementa a mesma lógica de funções existentes, mas utiliza sintaxe ou nomes de variáveis diferentes. Diferente dos desenvolvedores humanos, que frequentemente criam clones de Tipo-1 ou Tipo-2 via copiar e colar, a natureza probabilística dos LLMs os torna propensos a gerar essas redundâncias semânticas, que são mais difíceis de detectar. Esse comportamento viola o princípio de reuso da engenharia de software, podendo levar a uma dívida técnica silenciosa. Além disso, permanece incerto se os revisores humanos conseguem detectar esses problemas de qualidade e como seu sentimento difere ao revisar código gerado por IA versus código escrito por humanos.

Metodologia
O estudo utiliza o dataset AIDev, filtrando repositórios Python com mais de 500 estrelas para garantir a maturidade do projeto. Os dados são divididos em dois subconjuntos:

Dataset A (Dataset Python Completo): 3.858 PRs usados para analisar métricas de código tradicionais e o sentimento do revisor.
Dataset B (Estudo de Caso Central): 617 PRs do repositório crewAI, selecionados para análise de redundância computacionalmente intensiva.

A pesquisa aborda duas Questões de Pesquisa (RQs):

RQ1 (Qualidade de Código): Como códigos gerados por IA diferem de códigos gerados por humanos em termos de qualidade e redundância?
RQ2 (Sentimento do Revisor): Como o sentimento do revisor difere entre PRs gerados por IA e escritos por humanos?

Abordagem Técnica:

Métricas Tradicionais: Os autores calcularam Linhas de Código (LOC), strings multilinhas, linhas em branco e Complexidade Ciclomática (CC) usando a ferramenta Radon em pares de arquivos pré e pós-atualização.
Análise de Redundância (MRS): Para detectar clones de Tipo-4, os autores propuseram uma Análise Diferencial Semântica Baseada em Snapshot. Eles extraíram funções existentes ( $F_{base}$ ) e geraram embeddings semânticos usando CodeSage-Large. Para evitar falsos positivos de refatoração (ex: mover ou renomear funções), integraram o PyRef para filtrar essas instâncias. Definiram o Max Redundancy Score (MRS) para um PR como a máxima similaridade de cosseno entre qualquer função nova ( $F_{new}$ ) e qualquer função base ( $F_{base}$ ). O estudo reporta a Average Max Redundancy (AMR) para comparar os grupos.
Análise de Sentimento: Usando o modelo Emotion English DistilRoBERTa-base, os autores classificaram os comentários de revisão nas seis emoções básicas de Ekman, além de "neutro". Eles filtraram comentários de bots e calcularam pontuações médias de sentimento por PR para comparar as reações a Agentic-PRs versus Human-PRs.

Principais Resultados

Qualidade de Código (RQ1): Métricas tradicionais (LOC, CC) mostraram diferenças mínimas entre contribuições humanas e de IA. No entanto, a análise de redundância revelou uma disparidade significativa. Agentes de IA exibiram uma Average Max Redundancy (AMR) de 0,2867, quase 1,87 vezes maior que a de desenvolvedores humanos (0,1532). Essa diferença foi estatisticamente significativa ( $p < 0,001$ ). Embora humanos e IA produzissem algum código similar (ex: chamadas de API), os agentes de IA excederam significativamente os humanos em faixas de redundância mais altas, indicando uma tendência de reescrever a lógica existente em vez de reutilizá-la.
Sentimento do Revisor (RQ2): Contrariando a expectativa de que a má qualidade do código desencadearia feedbacks negativos, os revisores expressaram emoções mais neutras ou positivas (alegria, tristeza, neutro) em relação aos PRs gerados por IA. Por outro lado, Human-PRs elicitaram proporções mais altas de emoções negativas (raiva, nojo, medo, surpresa). Os revisores geralmente trataram as contribuições de IA com respeito, muitas vezes ignorando a redundância subjacente.

Principais Contribuições

Evidência Empírica de Desconexão: O estudo fornece a primeira evidência empírica de uma desconexão entre a redundância do código gerado por IA e o sentimento do revisor humano. Demonstra que agentes de IA introduzem significativamente mais clones semânticos de Tipo-4 do que humanos, mas isso não é penalizado pelos revisores.
Métrica Inovadora (MRS): A introdução do Max Redundancy Score (MRS) usando embeddings semânticos e detecção de refatoração oferece um método para quantificar a redundância semântica que ferramentas tradicionais de correspondência de palavras-chave perdem.
Identificação de "Dívida Técnica Silenciosa": O artigo destaca como a plausibilidade superficial do código de IA (correção sintática e passagem de testes) mascara escolhas de design ruins (redundância), levando ao acúmulo silencioso de dívida técnica.

Significância e Alegações
Os autores alegam que os paradigmas de avaliação atuais, focados apenas em taxas de aprovação, são insuficientes. A natureza "silenciosa" desta dívida técnica é perigosa porque os revisores, influenciados pela natureza útil e plausível dos outputs de LLM, diminuem sua vigilância em relação ao reuso de código. O estudo sugere que, à medida que os agentes de IA se tornam mais prevalentes, a comunidade de engenharia de software deve:

Para Construtores de Agentes: Avaliar agentes em métricas de reuso de código, não apenas em taxas de aprovação.
Para Desenvolvedores: Verificar ativamente a duplicação de lógica durante as revisões de código, reconhecendo que o código de IA com aparência plausível pode esconder redundância significativa.

O artigo conclui que, sem abordar essa desconexão, os ambientes de desenvolvimento do mundo real correm o risco de se tornarem inflados com lógica redundante, aumentando os esforços de manutenção futura e diminuindo a legibilidade de longo prazo.