CodeTaste: Can LLMs Generate Human-Level Code Refactorings?

O artigo apresenta o CodeTaste, um benchmark que avalia a capacidade de agentes de LLMs em realizar refatorações de código realistas, revelando que, embora os modelos executem bem tarefas detalhadas, eles frequentemente falham em identificar as escolhas humanas de refatoração sem uma decomposição proposta-antes-de-implementar.

O essencial

🍽️ O Que é o CODETASTE? (A Prova de Fogo dos "Cozinheiros" de Código)

Imagine que você tem um robô chef (uma Inteligência Artificial) que é incrível em cozinhar pratos novos. Se você pedir "faça um hambúrguer", ele faz um hambúrguer delicioso e pronto para comer.

O problema é o seguinte: quando esse robô precisa reorganizar a cozinha ou melhorar a receita para que ela dure anos sem estragar, ele costuma fazer bagunça. Ele pode adicionar ingredientes desnecessários, deixar a cozinha suja ou criar uma receita tão complicada que ninguém consegue entender depois.

Os desenvolvedores humanos, quando veem uma cozinha bagunçada, fazem o refatoramento: eles organizam as panelas, jogam fora o que está estragado e reescrevem a receita para ficar mais limpa, sem mudar o sabor do prato.

O artigo CODETASTE pergunta: "Esses robôs chefs conseguem fazer essa limpeza e organização tão bem quanto um humano?"

🔍 O Grande Teste: O "Menu Degustação"

Para descobrir a resposta, os autores criaram um teste chamado CODETASTE. Eles não usaram receitas simples; eles pegaram 100 grandes reformas que humanos reais fizeram em projetos de código gigantes (como o do Google, AWS, etc.).

O teste tem dois tipos de "pedidos" para o robô:

1. O Pedido Detalhado (Track Instruído):

   • A Analogia: Você diz ao robô: "Por favor, tire a panela azul da gaveta e coloque na prateleira, e depois lave a louça".
   • O Resultado: Os robôs mais avançados (como o GPT-5) conseguem fazer isso muito bem. Eles seguem as instruções e organizam a panela.
   • A Pegadinha: Mesmo seguindo as ordens, eles às vezes quebram a panela no processo (o código para de funcionar) ou fazem um trabalho meio "sujo".

2. O Pedido Vago (Track Aberto):

   • A Analogia: Você diz ao robô apenas: "A cozinha está uma bagunça. Melhore a organização."
   • O Resultado: Aqui é onde os robôs travam. Eles não sabem por onde começar.
   • O que acontece: Em vez de reorganizar a cozinha inteira, o robô pode apenas apagar um rótulo de uma garrafa ou pintar a parede de uma cor errada. Eles não conseguem "pensar" como um humano para decidir o que precisa ser consertado. A pontuação deles cai para quase zero.

🧠 O Segredo: Planejar Antes de Agir

Os pesquisadores descobriram uma coisa interessante: se você pedir ao robô para primeiro fazer um plano ("Como vamos organizar a cozinha?") e só depois executar, ele fica muito melhor.

• Sem plano: O robô corre para a cozinha e começa a mexer em tudo, criando caos.
• Com plano: O robô para, olha ao redor, desenha um mapa de como a cozinha deve ficar e só então começa a trabalhar. Isso ajuda a alinhar a mente do robô com a intenção humana.

📊 O Veredito Final

O estudo mostra que:

1. Robôs são ótimos executores, mas péssimos planejadores. Se você disser exatamente o que fazer, eles fazem bem. Se você der apenas um objetivo geral ("arrume isso"), eles se perdem.
2. A qualidade do código cai. Quando os robôs tentam consertar coisas sozinhos, eles tendem a fazer "gambiarras" (soluções rápidas e feias) em vez de reorganizações elegantes.
3. O CODETASTE é um novo padrão. É como um "teste de degustação" que força os robôs a provar se eles realmente entendem o que é um código de alta qualidade, e não apenas se conseguem fazer o código funcionar.

💡 Em Resumo

O artigo diz: "Nossas IAs são ótimas em seguir receitas, mas ainda não são chefs que sabem julgar o sabor e a apresentação sozinhas. Elas precisam de mais ajuda para planejar antes de cozinhar, senão a cozinha (o código) acaba ficando um caos."

O objetivo do CODETASTE é ajudar a treinar esses robôs para que, no futuro, eles não apenas escrevam código, mas também o mantenham limpo, organizado e durável, como um humano faria.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo CODETASTE: Can LLMs Generate Human-Level Code Refactorings? em português:

1. O Problema

Os agentes de codificação baseados em Grandes Modelos de Linguagem (LLMs) demonstraram grande capacidade na geração de código funcional e na resolução de problemas isolados. No entanto, há uma preocupação crescente de que essas soluções acumulem complexidade, duplicação e "dívida técnica" arquitetural ao longo do tempo.

• A Lacuna: Enquanto os humanos utilizam refatoração (transformações que preservam o comportamento, mas melhoram a estrutura e a manutenibilidade) para mitigar esses problemas, os agentes de IA frequentemente falham em identificar oportunidades de refatoração autonomamente ou em executar transformações complexas e multi-arquivo sem degradar a qualidade do código.
• Limitação de Benchmarks Existentes: Benchmarks anteriores (como RefactorBench e SWE-Refactor) focam em tarefas de pequeno escopo (arquivos únicos ou métodos isolados) e geralmente fornecem instruções detalhadas sobre o que fazer, não testando a capacidade do agente de decidir qual refatoração é necessária.

2. Metodologia: O Pipeline CODETASTE

Os autores introduzem o CODETASTE, um benchmark escalável e rigoroso projetado para avaliar agentes de codificação em cenários de refatoração realistas e complexos. O pipeline segue seis etapas principais (ilustradas na Figura 1 do artigo):

1. Descoberta de Commits: Mineração de repositórios open-source do GitHub para identificar commits que realizam grandes refatorações multi-arquivo (filtrando por palavras-chave, tamanho do diff e complexidade).
2. Geração de Tarefas: Criação de descrições de tarefas estruturadas (estilo "Issue" do GitHub) baseadas nas mensagens de commit e PRs originais.
3. Geração de Regras Estáticas: Uso de um agente LLM para gerar regras de análise estática (usando sintaxe OpenGrep com raciocínio de fluxo de dados) que capturam o intento semântico da refatoração (padrões a remover e padrões a introduzir), sem depender apenas de correspondência sintática.
4. Ambiente de Build: Criação de um ambiente de execução containerizado e reprodutível para cada instância, capaz de rodar o suite de testes do repositório.
5. Inferência: O agente de codificação recebe a tarefa e o repositório, gera um patch (correção/refatoração) e o sistema executa os testes.
6. Avaliação: O patch gerado é avaliado com base em duas métricas principais:
   • Correção Funcional: O suite de testes do repositório passa?
   • Alinhamento de Instrução (IFR): As regras de análise estática confirmam que os padrões indesejados foram removidos e os desejados introduzidos?

3. Contribuições Principais

• Novo Benchmark (CODETASTE): Um conjunto de dados com 100 instâncias de refatorações complexas e multi-arquivo (média de 91 arquivos e 2.600 linhas alteradas por tarefa) extraídas de 87 repositórios em 6 linguagens diferentes (Go, Java, Python, JS/TS, Rust, C/C++).
• Duas Tracks de Avaliação:
  1. Instructed Track (Instruída): O agente recebe uma descrição detalhada da refatoração a ser feita. Avalia a capacidade de execução e seguimento de instruções complexas.
  2. Open Track (Aberta): O agente recebe apenas uma área de foco genérica (ex: "melhore a organização interna") e deve descobrir e implementar a refatoração correta. Avalia o julgamento autônomo e o alinhamento com decisões humanas.
• Métricas de Avaliação Híbridas: Combinação de testes de regressão (funcionalidade) com verificação de padrões de código via análise estática semântica, permitindo medir não apenas se o código funciona, mas se a estrutura foi melhorada conforme o esperado.
• Análise de Estratégias: Investigação de diferentes modos de inferência na Open Track: Direct (ação direta), Plan (planejar antes de agir) e Oracle Multiplan (gerar múltiplos planos e selecionar o melhor).

4. Resultados Experimentais

Os resultados revelam uma lacuna significativa entre a capacidade de executar instruções detalhadas e a capacidade de tomar decisões de refatoração autônomas:

• Desempenho na Track Instructed (Instruída):

  • Modelos de ponta (Frontier Models) performam bem quando as instruções são detalhadas. O GPT-5.2 alcançou um Alignment Score (A) de 69.6%, superando significativamente o Sonnet 4.5 (32.4%) e o Qwen3 (11.8%).
  • A precisão (PREC) foi alta para todos os modelos (~57-59%), indicando que, quando sabem o que fazer, eles limitam as alterações ao escopo relevante.
  • No entanto, há uma diferença na manutenção da correção funcional: o GPT-5.2 manteve uma taxa de aprovação de testes (PASS) de 76%, enquanto outros modelos ficaram abaixo de 50%.

• Desempenho na Track Open (Aberta) - O Grande Desafio:

  • O desempenho colapsa quando o agente deve identificar a refatoração sozinho. O melhor modelo (GPT-5.2) atingiu apenas 7.7% de alinhamento no modo Direct.
  • Estratégias de Planejamento: A abordagem "Proponha-Depois-Implemente" (Plan Mode) melhorou o alinhamento para o GPT-5.2 (subindo para 14.1%), sugerindo que o raciocínio explícito ajuda a recuperar intenções arquiteturais humanas.
  • Seleção de Oracle: No modo Oracle Multiplan (onde um juiz LLM seleciona o melhor plano entre vários gerados), o alinhamento do GPT-5.2 subiu para 19.4%. Isso indica que os modelos podem gerar planos alinhados, mas falham em escolher o melhor ou executá-lo corretamente sem ajuda externa.
  • Falhas Comuns: Na Open Track, os agentes tendem a fazer correções superficiais (ex: corrigir um erro de digitação), aplicar "gambiarras" (workarounds) ou realizar substituições de string destrutivas que quebram o repositório.

5. Significado e Conclusão

O estudo conclui que, embora os agentes de codificação atuais sejam competentes em aplicar patches funcionais quando as instruções são explícitas, eles ainda carecem do julgamento autônomo necessário para identificar e executar refatorações que preservem a qualidade a longo prazo em bases de código reais.

• Implicações: A simples capacidade de gerar código não garante a sustentabilidade do software. A "inteligência" necessária para decidir o que refatorar é um gargalo crítico.
• Futuro: O CODETASTE serve como um alvo de avaliação rigoroso e um sinal de preferência para treinar agentes que não apenas escrevem código, mas também o mantêm limpo, modular e extensível, alinhando-se às decisões de desenvolvedores humanos experientes.

Em resumo, o papel dos agentes de IA na engenharia de software precisa evoluir de "executores de tarefas" para "parceiros de arquitetura" capazes de entender e melhorar a estrutura do código sem supervisão detalhada.