An Exploratory Study on LLM-Generated Code and Comments in Code Repositories
Este estudo exploratório analisa código e comentários gerados por LLM em repositórios mantidos por empresas e pela comunidade de 2021 a 2025, revelando que, embora o código detectado como sendo de LLM tenha diminuído ao longo do tempo e seja prevalente em casos de teste com altas taxas de clonagem, os comentários gerados por LLM permanecem estáveis, mas frequentemente apresentam falhas gramaticais, e bugs rotulados por humanos mostram apenas uma pequena associação com código gerado por LLM.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine uma biblioteca imensa e movimentada onde milhões de livros (código de software) estão sendo escritos todos os dias. Recentemente, um novo tipo de "escritor fantasma" entrou em cena: a Inteligência Artificial (LLMs). Esses escritores fantasmas conseguem elaborar frases e histórias (código e comentários) com uma velocidade fulminante.
Este artigo é como uma equipe de bibliotecários que decidiu investigar: "Quanto da escrita em nossa biblioteca é realmente feita por esses escritores fantasmas e como é essa escrita?"
Aqui está o que eles descobriram, dividido em histórias simples:
1. O Mistério da Escrita "Fantasma"
Os bibliotecários usaram "detectores de metais" especiais (ferramentas de software) para escanear os livros. Esses detectores não sabem com certeza se um humano ou um robô escreveu uma página, mas conseguem identificar padrões que parecem escrita de robô.
- O Código (As Instruções): Eles descobriram que a quantidade de código "escrito por robôs" parece estar encolhendo ao longo do tempo. É como se os escritores fantasmas estivessem ficando melhores em soar humanos, ou talvez os bibliotecários humanos estejam editando tanto o trabalho do robô que a digital do robô desaparece. Curiosamente, a maior parte do código escrito por robôs que encontraram estava nos "Casos de Teste" — pense neles como os questionários de prática ou roteiros de ensaio. Os robôs parecem adorar escrever esses exercícios de prática repetitivos.
- Os Comentários (As Notas): Enquanto o código do robô está desaparecendo, as notas escritas por robôs (comentários explicando o que o código faz) permaneceram estáveis. Parece que os robôs ainda são muito bons em escrever os "post-its" que explicam as instruções, mas os humanos estão assumindo o controle da construção real da máquina.
2. Bibliotecas de Empresas vs. Bibliotecas Comunitárias
Os pesquisadores compararam dois tipos de bibliotecas:
- Bibliotecas de Empresas: São geridas por gigantes da tecnologia (como Google ou Meta).
- Bibliotecas Comunitárias: São geridas por grupos de voluntários (projetos de código aberto/open-source).
A Descoberta: As Bibliotecas de Empresas tinham uma porcentagem muito maior de material "escrito por fantasmas". É como se as grandes empresas estivessem usando os escritores fantasmas com muito mais intensidade para manter seus sistemas internos funcionando de forma suave e consistente. As Bibliotecas Comunitárias tinham menos escrita de robô e, quando encontravam algo, as notas eram frequentemente mais limpas gramaticalmente e mais polidas do que as das bibliotecas das empresas.
3. O Problema do "Copiar e Colar"
Os pesquisadores notaram algo estranho sobre o código do robô: Ele era cheio de clones.
Imagine se um escritor fantasma escrevesse uma história e, depois, copiasse e colasse essa mesma história em 70% dos livros da biblioteca. Foi o que aconteceu com o código. Os robôs geraram códigos que pareciam quase idênticos a outros códigos na mesma biblioteca. No entanto, quando compararam isso com um banco de dados de código conhecido como "puro de robô", encontraram pouca sobreposição. Isso sugere que os humanos não estão apenas copiando e colando a saída bruta do robô; eles provavelmente estão fazendo ajustes, o que o faz parecer único, mas ainda deixa para trás esses padrões repetitivos.
4. Será que os Escritores Fantasmas Quebraram Algo?
Uma grande preocupação é que, se os robôs escreverem o código, eles possam introduzir bugs (erros) que quebrem o software.
- A Descoberta: Os pesquisadores olharam para uma lista de livros conhecidos como "quebrados" (bugs) e perguntaram: "O robô escreveu isso?"
- O Resultado: Surpreendentemente, muito poucos dos livros quebrados foram escritos por robôs. Apenas cerca de 5% a 10% dos erros conhecidos pareciam vir dos escritores fantasmas.
- A Metáfora: É como se os escritores fantasmas fossem permitidos escrever o rascunho, mas os editores humanos sejam muito rigorosos. Eles pegam os erros antes de o livro ir para a impressão. Os humanos estão provavelmente corrigindo os erros do robô antes que o código seja salvo.
5. A Grande Ressalva (O "Aviso do Detetive")
Os autores são muito honestos sobre suas limitações. Eles admitem que não possuem um "soro da verdade" para saber com certeza se um humano ou um robô escreveu uma linha específica. Seus "detectores de metais" são apenas suposições baseadas em padrões.
- A Analogia: É como tentar adivinhar se uma pintura foi feita por um humano ou por um robô olhando para as pinceladas. Às vezes, o robô é tão bom que parece humano, e às vezes um humano pinta de uma forma muito repetitiva que parece um robô.
- A Conclusão: Por causa disso, eles chamam suas descobertas de "observações de proxy". Eles não estão dizendo: "Isso é definitivamente código de robô". Eles estão dizendo: "Isso se parece muito com código de robô com base em nossas ferramentas".
Resumo
Em suma, este estudo sugere que, embora a IA esteja ajudando a escrever software, os humanos ainda são os capitães do navio. A IA está fazendo muito do "test drive" repetitivo e da tomada de notas, especialmente em grandes empresas. Mas os humanos estão editando pesadamente o trabalho, corrigindo os erros e garantindo que o produto final não pareça escrito por um robô. A "digital do robô" está, na verdade, ficando mais difícil de encontrar no próprio código, embora os robôs continuem ocupados escrevendo as explicações.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.