Beyond Strict Rules: Assessing the Effectiveness of Large Language Models for Code Smell Detection

Resumo Técnico: Além das Regras Estritas: Avaliando a Eficácia de Grandes Modelos de Linguagem para Detecção de Code Smells

Declaração do Problema
Os code smells são indicadores de potencial degradação de qualidade que impactam negativamente a manutenibilidade, a confiabilidade e os custos de desenvolvimento de software. Embora ferramentas de análise estática (ex: JDeodorant, PMD) sejam amplamente utilizadas há muito tempo para detecção automatizada, elas dependem de regras rígidas que muitas vezes carecem da flexibilidade necessária para lidar com a natureza matizada e dependente de contexto de muitos smells. Por outro lado, a inspeção manual é precisa, porém cara e lenta. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa em diversas tarefas de engenharia de software, sua eficácia na detecção de code smells permanece subexplorada, particularmente em relação à sua capacidade de superar ou complementar ferramentas tradicionais em bases de código complexas e reais. Além disso, os benchmarks existentes frequentemente dependem de conjuntos de dados sintéticos pequenos ou carecem de uma verdade fundamental (ground truth) robustamente validada por humanos.

Metodologia
Os autores conduziram um estudo empírico avaliando a eficácia de quatro LLMs — DeepSeek-R1, GPT-5 mini, Llama-3.3 e Qwen2.5-Code — na detecção de nove tipos específicos de code smells (Data Class, Dispersed Coupling, Feature Envy, Intensive Coupling, Long Method, Large Class, Long Parameter List, Refused Bequest e Shotgun Surgery).

• Construção do Dataset: O estudo utilizou um dataset estendido de 30 projetos Java reais, altamente estrelados no GitHub, compreendendo mais de 3,5 milhões de linhas de código. Para estabelecer uma verdade fundamental confiável, os autores amostraram 268 candidatos a code-smell e envolveram 76 estudantes de graduação em Ciência da Computação (com proficiência verificada em Java) para avaliá-los manualmente. Um "smell" foi confirmado se a classificação média humana excedeu 3 de 5.
• Configuração Experimental: Os LLMs foram instruídos utilizando uma estratégia de Cadeia de Pensamento (Chain-of-Thought - CoT), onde os modelos foram solicitados a responder perguntas diagnósticas específicas, baseadas na literatura, antes de concluir se um smell estava presente. A temperatura foi padronizada entre os modelos para garantir a consistência.
• Estratégia de Avaliação: O estudo empregou três abordagens analíticas:
  1. Desempenho Individual dos LLMs: Comparando a Precisão, o Recall e o F1-Score de cada LLM contra a verdade fundamental humana.
  2. LLM vs. Análise Estática: Comparando os LLMs com quatro ferramentas de análise estática estabelecidas (JDeodorant, JSpIRIT, Organic, PMD).
  3. Estratégia Combinada: Propondo e avaliando um método de ensemble baseado em votação que agrega as saídas dos quatro LLMs e das duas ferramentas de análise estática (6 votos no total), sinalizando um smell se este receber pelo menos três votos.

Principais Contribuições

1. Dataset de Verdade Fundamental (Ground Truth): Criação de uma verdade fundamental validada manualmente para 268 instâncias de code-smell em 30 projetos Java reais, servindo como um benchmark para futuras estratégias de detecção.
2. Avaliação Empírica Abrangente: Uma comparação sistemática de quatro LLMs diversos contra ferramentas de análise estática tradicionais através de nove tipos distintos de code smell.
3. Estratégia de Detecção Híbrida: A proposta e validação de uma estratégia de votação combinada que integra LLMs e ferramentas estáticas para melhorar a cobertura de detecção.
4. Pacote de Replicação: Disponibilização de todos os datasets, scripts e modelos de prompt para facilitar a replicação e extensão pela comunidade de pesquisa.

Resultados
O estudo revela que a eficácia das estratégias de detecção é altamente dependente do tipo específico de code smell:

• Smells Estruturalmente Simples: Para smells definidos por métricas estruturais claras (ex: Large Class, Long Method, Data Class), os LLMs apresentaram um desempenho forte, frequentemente igualando ou superando as ferramentas de análise estática. A estratégia de votação combinada alcançou os maiores F1-scores e Recall para essas categorias (ex: F1 de Large Class: 0,93, F1 de Long Method: 0,89).
• Smells Dependentes de Contexto e Subjetivos: Para smells que exigem compreensão semântica profunda ou contexto (ex: Feature Envy, Refused Bequest, Long Parameter List), o desempenho variou significativamente. Nenhuma estratégia única dominou todos os smells. Nesses casos, ferramentas especializadas (ex: Organic para Long Parameter List) ou LLMs específicos (ex: Llama-3.3 para Feature Envy) frequentemente superaram o ensemble combinado.
• Compromissos (Trade-offs): A estratégia combinada maximizou consistentemente o Recall, tornando-a eficaz para minimizar falsos negativos. No entanto, isso ocorreu às custas de um aumento nos Falsos Positivos para smells complexos, sugerindo que a estratégia ideal depende de se o projeto prioriza o Recall (cobertura) ou a Precisão (acurácia).
• Variabilidade dos Modelos: O desempenho variou entre os LLMs; por exemplo, Llama-3.3 e DeepSeek-R1 geralmente superaram os outros em categorias específicas, indicando que a arquitetura do modelo e os dados de treinamento influenciam as capacidades de detecção.

Significância e Alegações
Os autores alegam que, embora os LLMs não sejam um substituto universal para as ferramentas de análise estática, eles representam um complemento poderoso e flexível. O estudo conclui que:

• Os LLMs são particularmente eficazes para detectar smells baseados em padrões sintáticos e tamanho.
• Uma abordagem de "tamanho único" é insuficiente; a escolha da ferramenta de detecção deve ser adaptada ao tipo específico de smell e à tolerância do projeto em relação a falsos positivos versus falsos negativos.
• Uma estratégia combinada oferece uma alternativa robusta para profissionais que buscam alta cobertura, especialmente quando a ferramenta individual ideal é desconhecida, embora possa exigir mais esforço de revisão manual para smells complexos.
• O dataset e os achados fornecidos oferecem uma base para o refinamento de fluxos de trabalho de detecção, melhoria de engenharia de prompt e desenvolvimento de sistemas de detecção híbridos que aproveitam os pontos fortes das abordagens baseadas em regras e baseadas em semântica.