Resumo Técnico: SmellBench

Declaração do Problema

Avanços recentes em Grandes Modelos de Linguagem (LLMs) permitiram o desenvolvimento de agentes de código sofisticados capazes de lidar com tarefas complexas de engenharia de software, incluindo geração de código, correção de bugs e raciocínio ao nível de repositório. No entanto, existe uma lacuna crítica na avaliação desses agentes: embora frequentemente produzam código funcionalmente correto, seu uso indevido pode levar a um código inchado e desorganizado que prejudica severamente a legibilidade, a extensibilidade e a robustez.

Os benchmarks existentes focam primariamente na corretude funcional (ex: passar em casos de teste), mas negligenciam amplamente a manutenibilidade de longo prazo e a qualidade do código. Além disso, os benchmarks de refatoração atuais sofrem de limitações significativas:

1. Curadoria Manual: Conjuntos de dados de alta qualidade, curados por humanos, são caros de produzir e carecem de escalabilidade.
2. Mineração de Commits: A extração automática de casos de refatoração do histórico de commits do GitHub frequentemente resulta em dados "ruidosos", onde a refatoração está entrelaçada com implementação de funcionalidades e correções de bugs, tornando difícil isolar cenários de refatoração específicos.
3. Falta de Pureza: Os conjuntos de dados existentes têm dificuldade em fornecer casos de refatoração controlados, diversos e de alta qualidade com verdade fundamental (ground truth) escrita por humanos.

Metodologia: Construção do SmellBench

Para abordar essas limitações, os autores propõem o SmellBench, um benchmark extensível que injeta proativamente "code smells" (maus cheiros de código) em trechos de código limpo de repositórios do mundo real. O pipeline de construção consiste em quatro estágios principais executados dentro de um ambiente Dockerizado:

1. Seleção de Repositórios: Sete repositórios Python populares e de grande escala (ex: click, pandas, numpy) foram selecionados para garantir diretrizes de contribuição maduras e cobertura de testes abrangente.
2. Descoberta de Candidatos: Para evitar viés de localização e garantir validade, o pipeline utiliza um processo de duas etapas:
   • Filtragem Grosseira: Seleciona arquivos de origem com mais de 500 linhas de código para garantir riqueza estrutural.
   • Localização por Agente: Um agente de código identifica métodos ou classes específicos adequados para a injeção de smells baseando-se em restrições específicas do smell, em vez de depender de correspondência baseada em regras.
3. Injeção de Smell: Um agente de código poderoso (OpenHands + Claude Sonnet 4.5) modifica o código limpo para introduzir code smells específicos enquanto preserva a compilabilidade. O benchmark cobre 7 tipos distintos de smells:
   • Feature Envy (Inveja de Atributo)
   • God Classes (Classes Deus)
   • Data Clumps (Agrupamentos de Dados)
   • Shotgun Surgery (Cirurgia de Espingarda)
   • Dead Code (Código Morto)
   • Interface Segregation (Segregação de Interface)
   • Deep Inlining (Inlining Profundo)
   • Configurações: Os casos são estratificados em 3 níveis de dificuldade (Fácil, Médio, Difícil) e 2 configurações de instrução (Guiada vs. Direcionada) para testar diferentes níveis de complexidade de tarefa e autonomia do agente.
4. Validação de Qualidade: O código "com odor" injetado é validado contra as suítes de teste existentes do repositório. Os casos são refinados iterativamente pelo agente para garantir que todos os testes unitários passem, garantindo que a injeção de smell não quebre a corretude funcional. Isso resulta em 294 amostras válidas e pareadas (limpo vs. com odor) com verdade fundamental escrita por humanos.

Estrutura de Avaliação

O SmellBench introduz uma estrutura de avaliação tridimensional especificamente projetada para tarefas de refatoração, indo além de métricas simples de passar/falhar:

1. Taxa de Passagem de Testes (TPR): Mede a corretude funcional verificando se o código refatorado passa na suíte de testes original.
2. Precisão de Localização (LA): Avalia a capacidade do agente de identificar corretamente os locais de código específicos (classes ou métodos) que requerem refatoração.
3. LLM-as-Judge (LLM como Juiz): Um LLM avalia a qualidade da refatoração através de quatro aspectos complementares:
   • Qualidade do Código (CQ): Melhorias na legibilidade e manutenibilidade.
   • Solidez Estrutural (SS): Correção e racionalidade da nova estrutura.
   • Coordenação Entre Arquivos (CC): Consistência e tratamento de dependências entre múltiplos arquivos.
   • Eliminação de Smell (SE): Eficácia na remoção do smell alvo.

Para garantir a estabilidade na avaliação do LLM-as-Judge, uma etapa preliminar de Análise de Smell é introduzida para resumir explicitamente os problemas estruturais e os objetivos de refatoração antes do julgamento final.

Resultados Experimentais

Os autores avaliaram 2 agentes de código de código aberto (OpenHands, Qwen Code) pareados com 6 LLMs representativos (incluindo Qwen3-Coder, DeepSeek-V3.2, GPT-5-Mini, Gemini-2.5-Flash e Claude Sonnet 4.5).

• Desempenho Geral: Mesmo a configuração de melhor desempenho (Qwen Code + Claude Sonnet 4.5) alcançou uma pontuação de Eliminação de Smell (SE) de apenas 50,34%. Isso indica uma lacuna significativa entre as capacidades atuais de geração de código e o raciocínio estrutural profundo necessário para uma refatoração de alta qualidade.
• Corretude Funcional vs. Qualidade: A maioria dos modelos alcançou Taxas de Passagem de Testes (TPR) acima de 80%, demonstrando que os agentes conseguem preservar a funcionalidade. No entanto, uma alta TPR não correlacionou com uma alta qualidade de refatoração, reforçando que a corretude funcional é insuficiente para avaliar a manutenibilidade.
• Desafios Entre Arquivos: A análise revelou que os agentes têm dificuldades significativas com Shotgun Surgery (que exige mudanças coordenadas em muitos arquivos). Enquanto o caso médio de smell envolvia 2,5 arquivos, os casos de Shotgun Surgery envolviam ~5,7 arquivos, mas os agentes modificaram apenas ~2,7 arquivos em média, falhando em abordar todo o escopo do smell.
• Déficits de Localização: Os agentes exibiram capacidades de localização autônoma fracas. Em configurações "Guiadas" (onde o agente deve encontrar o smell), a Precisão de Localização estagnou em torno de 65-67%, enquanto configurações "Direcionadas" (onde a localização é fornecida) elevaram a precisão para mais de 90%.
• Competitividade de Código Aberto: Modelos de alto desempenho de código aberto (ex: Qwen3-Coder-480B) demonstraram competitividade comparável a modelos de código fechado como GPT-5-Mini em tarefas de refatoração complexas.

Principais Contribuições e Significância

O artigo reivindica as seguintes contribuições:

1. Benchmark SmellBench: Um benchmark inovador e extensível que injeta proativamente code smells, alcançando um equilíbrio entre escalabilidade de dados e qualidade. Ele fornece 294 casos de alta qualidade através de 7 tipos de smells, 3 níveis de dificuldade e 2 configurações de instrução, fundamentados em verdade escrita por humanos.
2. Estrutura de Avaliação Tridimensional: Um sistema de avaliação personalizado incorporando Taxa de Passagem de Testes, Precisão de Localização e avaliação de qualidade baseada em LLM (CQ, SS, CC, SE), oferecendo insights matizados além da corretude funcional.
3. Insights Empíricos: Experimentos extensos revelam que os agentes de estado da arte atuais lutam com a identificação de smells entre arquivos e modificações coordenadas. Os resultados destacam que confiar apenas na corretude funcional mascara deficiências significativas nas capacidades de manutenibilidade de software.
4. Descontaminação e Pureza: Ao gerar novos casos em vez de minerar commits existentes, o SmellBench evita o vazamento de dados (data leakage) e garante o isolamento das tarefas de refatoração de outras mudanças de código.

Os autores concluem que, embora os agentes de código tenham feito progressos notáveis, há um espaço substancial para melhorias no raciocínio ao nível de repositório e na capacidade de lidar com refatorações estruturais complexas e de múltiplos arquivos. O SmellBench serve como uma ferramenta de diagnóstico para guiar os desenvolvimentos futuros dos agentes de código em direção a uma melhor manutenibilidade de software.