A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Code Smell Detection

Título: Uma Avaliação Abrangente do Ajuste Fino Eficiente em Parâmetros (PEFT) na Detecção de Odores de Código

1. O Problema

A detecção automática de "odores de código" (code smells) — indicadores de design subótimo que prejudicam a qualidade, manutenibilidade e legibilidade do software — permanece um desafio significativo. As abordagens existentes apresentam limitações críticas:

• Ferramentas Baseadas em Heurísticas: (Ex: DesigniteJava, PMD) sofrem de alta sensibilidade à seleção de limiares (thresholds), falta de compreensão semântica profunda e subjetividade inerente, gerando muitos falsos positivos e negativos.
• Modelos de Aprendizado de Máquina (ML) e Deep Learning (DL): Frequentemente falham em capturar relações semânticas e estruturais complexas, resultando em desempenho insatisfatório.
• Grandes Modelos de Linguagem (LLMs): Embora promissores, sua aplicação direta enfrenta dois obstáculos principais:
  1. Falta de Conjuntos de Dados "Prontos para LM": A maioria dos datasets existentes baseia-se em métricas de software (tabelas) em vez de código-fonte bruto, ou possui rótulos ruidosos gerados automaticamente por ferramentas heurísticas (o "Problema do Oráculo"), sem validação humana.
  2. Custo de Ajuste Fino (Fine-Tuning): O ajuste fino completo (Full Fine-Tuning) de LLMs é proibitivamente caro em termos computacionais e de memória de GPU.

2. Metodologia

Os autores propuseram um estudo sistemático composto por duas contribuições principais: a criação de um benchmark de alta qualidade e a avaliação rigorosa de métodos de PEFT.

A. Construção do Benchmark (Dataset)

• Objetivo: Criar um dataset centrado no código-fonte, livre de ruídos e balanceado.
• Processo:
  1. Mineração de repositórios Java recentes e populares do GitHub (2019–2024).
  2. Identificação inicial de odores usando ferramentas heurísticas (DesigniteJava e PMD).
  3. Revisão Manual Rigorosa (Duas Etapas): Dois pesquisadores realizaram uma revisão manual em duas etapas para eliminar falsos positivos e negativos, garantindo a confiabilidade dos rótulos (Ground Truth).
  4. Tipos de Odores Selecionados: Quatro odores não triviais que exigem raciocínio semântico:
     • Complex Conditional (CC) e Complex Method (CM) (Nível de método).
     • Feature Envy (FE) e Data Class (DC) (Nível de classe).
• Resultado: Um dataset balanceado com milhares de amostras de código compilável, prontas para treinamento de LMs.

B. Avaliação Experimental

• Modelos: Foram testados 4 Small Language Models (SLMs, <1B parâmetros) e 5 Large Language Models (LLMs, ≥1B parâmetros), incluindo arquiteturas encoder-only, encoder-decoder e decoder-only.
• Métodos PEFT Avaliados: Quatro técnicas de ajuste fino eficiente em parâmetros:
  1. Prompt Tuning
  2. Prefix Tuning
  3. LoRA (Low-Rank Adaptation)
  4. (IA)³ (Infused Adapter by Inhibiting and Amplifying Inner Activation)
• Comparação: Os modelos ajustados foram comparados contra:
  • Ferramentas heurísticas (DesigniteJava, PMD).
  • Abordagens de DL tradicionais (DeepSmells, AE-Dense).
  • LLMs de propósito geral com In-Context Learning (ICL) (GPT-4o-mini, DeepSeek-v3) em cenários zero-shot, few-shot e informados por critérios.
• Métricas: Precisão, Recall, F1-Score e MCC (Matthews Correlation Coefficient), sendo o MCC crucial para lidar com classes desbalanceadas.

3. Principais Contribuições

1. Benchmark LM-Ready: Criação do primeiro dataset de alta qualidade, baseado em código-fonte bruto e validado manualmente, cobrindo odores complexos de nível de método e classe.
2. Avaliação Sistemática de PEFT: A primeira avaliação abrangente de métodos PEFT para detecção de odores de código em SLMs e LLMs, analisando eficácia, uso de memória de GPU e desempenho em cenários de baixo recurso.
3. Insights Práticos: Diretrizes claras sobre a escolha do método PEFT, modelo base e configuração de hiperparâmetros dependendo dos recursos disponíveis e do tipo de odor.

4. Resultados Chave

• Desempenho vs. Ajuste Fino Completo: Os métodos PEFT alcançaram desempenho igual ou superior ao Full Fine-Tuning, mas com uma fração mínima de parâmetros treináveis e redução drástica no uso de memória de GPU (pico).
• Superioridade sobre Baselines: Os modelos PEFT superaram consistentemente todas as baselines (heurísticas, DL e ICL). As melhorias no MCC variaram de 0,33% a 13,69% em relação às melhores abordagens existentes.
• Método PEFT Ideal:
  • Para LLMs, o (IA)³ foi consistentemente o melhor método em todos os tipos de odores.
  • Para SLMs, tanto (IA)³ quanto Prefix Tuning apresentaram resultados fortes, dependendo do modelo específico.
  • O LoRA, embora popular, mostrou-se instável em alguns casos (ex: degradação severa em certos modelos para detecção de Complex Method).
• Cenários de Baixo Recurso: Em cenários com poucos dados de treinamento (50-500 amostras), o desempenho caiu significativamente, mas aumentou substancialmente com 250-500 amostras. Curiosamente, em cenários de dados muito limitados, o LoRA tendeu a ser o método mais robusto.
• Nível de Compreensão: Os modelos com PEFT demonstraram capacidade de entender tanto o nível de método (CC, CM) quanto o nível de classe (FE, DC), superando expectativas de que LLMs teriam mais dificuldade com o nível de classe.
• ICL vs. PEFT: Embora o In-Context Learning (ICL) com LLMs grandes (como DeepSeek-v3) fosse competitivo para alguns odores (CC e DC), ele ficou significativamente atrás do PEFT para odores que exigem raciocínio estrutural complexo (CM e FE).

5. Significado e Impacto

• Viabilidade Prática: O estudo demonstra que é possível adaptar LLMs para tarefas complexas de engenharia de software (como detecção de odores) sem o custo proibitivo do Full Fine-Tuning, tornando a tecnologia acessível para equipes com recursos computacionais limitados.
• Qualidade de Dados: Sublinha a importância crítica de datasets validados manualmente e baseados em código-fonte, em vez de métricas ou rótulos automáticos, para treinar modelos eficazes.
• Direcionamento Futuro: Fornece um roteiro para pesquisadores e desenvolvedores, indicando que a escolha do método de ajuste fino deve ser guiada pelo modelo específico, pelo tipo de odor e pela disponibilidade de dados, e não apenas por uma preferência genérica por uma técnica (como LoRA).
• Reprodutibilidade: O código, os dados e o pacote de replicação foram disponibilizados publicamente, facilitando futuras extensões e validações na comunidade de Engenharia de Software.

Em resumo, o trabalho valida que o Ajuste Fino Eficiente em Parâmetros (PEFT) é a estratégia mais eficaz e eficiente para habilitar Grandes Modelos de Linguagem na detecção precisa de odores de código, superando as limitações das ferramentas tradicionais e dos modelos de aprendizado profundo convencionais.