A Pilot Study on Detecting Software Design Patterns with Large Language Models: An Empirical Evaluation

Resumo Técnico: Detecção de Padrões de Design com Grandes Modelos de Linguagem (LLMs)

1. Problema e Motivação

Os padrões de design fornecem soluções reutilizáveis para problemas recorrentes no desenvolvimento de software, aumentando a manutenibilidade e a legibilidade do código. No entanto, a implementação incorreta ou a aplicação inadequada desses padrões pode introduzir "anti-padrões" e "code smells", degradando a qualidade do sistema.

• Desafio Atual: A detecção de padrões de design é tradicionalmente realizada manualmente por desenvolvedores experientes, o que é demorado e difícil para novos desenvolvedores.
• Limitações das Abordagens Anteriores: Métodos baseados em análise estática (gráficos) e aprendizado de máquina (ML) enfrentam desafios de escalabilidade, dependência de dados de treinamento específicos e dificuldade em capturar nuances semânticas e comportamentais implícitas no código.
• Objetivo: Avaliar a capacidade de Grandes Modelos de Linguagem (LLMs) em detectar automaticamente padrões de design, comparando diferentes modelos e modalidades de entrada (código fonte, representações PlantUML e descrições textuais).

2. Metodologia

O estudo foi conduzido como uma pesquisa piloto com os seguintes componentes:

• Conjunto de Dados: Utilizou-se o dataset P-MART, contendo arquivos de código Java anotados com instâncias de padrões de design.
  • Padrões Selecionados: 5 padrões (Singleton, Adapter, Bridge, Composite e Decorator).
  • Amostra: 144 arquivos (contendo os padrões) + arquivos de controle (sem os padrões) para balanceamento.
• Modelos de LLM Avaliados:
  • Modelos Especializados em Código (Coder): Qwen2.5 Coder (32B), NextCoder (7B) e NxCode-CQ (7B).
  • Modelo Base (Não-Coder): Gemma 3 (27B).
  • Abordagens de Ensemble (Votação Majoritária):
    • Ensemble 1: Média dos três modelos de código.
    • Ensemble 2: Média dos três melhores modelos (NxCode-CQ, NextCoder e Gemma 3).
• Modalidades de Entrada (Prompts): Os modelos foram testados com três tipos de entrada distintos para cada instância de padrão:
  1. Código Fonte: O código Java original.
  2. Representação PlantUML: Diagramas gerados a partir do código.
  3. Descrição Textual: Descrições geradas por IA (usando Qwen-3-Coder) detalhando métodos e variáveis.
• Métricas de Avaliação: Precisão (Precision), Revocação (Recall), F1-Score e Acurácia. Testes estatísticos (Friedman e Conover) foram aplicados para validar a significância dos resultados.

3. Principais Contribuições

1. Avaliação Empírica de LLMs: Primeira comparação sistemática de múltiplos LLMs (incluindo modelos de código e não-código) na detecção de padrões de design.
2. Análise de Modalidades de Entrada: Investigação inédita sobre o impacto de usar descrições textuais e diagramas PlantUML como entrada, além do código fonte bruto.
3. Validação de Estratégias de Ensemble: Demonstração de que a combinação de múltiplos modelos via votação majoritária pode melhorar a robustez da detecção.
4. Insights sobre Modelos Não-Coder: Evidência de que modelos gerais (como Gemma 3) podem superar modelos especializados em código em certas tarefas de compreensão semântica de descrições.

4. Resultados Chave

• Comparação de Modelos (RQ1):

  • Melhores Desempenhos Individuais: O NextCoder e o Gemma 3 demonstraram as maiores acurácias e F1-scores gerais.
  • Padrões Específicos:
    • Singleton e Decorator: Gemma 3 e NextCoder tiveram desempenho excepcional (F1 > 0.88).
    • Composite: O modelo NxCode-CQ teve o melhor desempenho individual para este padrão complexo.
    • Adapter e Bridge: NextCoder superou os outros, embora com uma estratégia conservadora (alta precisão, menor revocação).
  • Ensembles: As abordagens de ensemble (especialmente o Ensemble 2) alcançaram resultados consistentes, muitas vezes superando ou igualando os melhores modelos individuais, com o Ensemble 2 atingindo o maior F1-score global.
  • Estatística: O teste de Friedman revelou diferenças estatisticamente significativas entre os modelos. O Qwen 2.5 Coder performou significativamente pior em comparação ao Gemma 3 e aos ensembles, principalmente devido à baixa revocação (muitos falsos negativos).

• Comparação de Modalidades de Entrada (RQ2):

  • Sem Diferença Estatística Significativa: O teste ANOVA indicou que não há diferença estatisticamente significativa no desempenho geral (F1-score) entre as três modalidades (Código, PlantUML e Descrição Textual).
  • Nuances:
    • PlantUML: Alcançou alta precisão, mas com revocação mais baixa.
    • Descrição Textual: Alcançou a maior revocação (0.75), sugerindo que a informação textual detalhada ajuda o modelo a identificar mais instâncias corretas, embora com um custo potencial de precisão.
    • Código Fonte: Desempenho equilibrado, mas variável dependendo do modelo.

5. Significância e Conclusão

• Viabilidade dos LLMs: O estudo confirma que LLMs são promissores para a detecção automática de padrões de design, servindo como ferramentas auxiliares para desenvolvedores entenderem arquiteturas complexas e identificarem problemas de qualidade.
• Flexibilidade de Entrada: A descoberta de que descrições textuais e diagramas PlantUML podem ser tão eficazes quanto o código fonte abre novas possibilidades. Isso permite o uso de LLMs em contextos onde o código completo pode não estar disponível ou ser muito complexo para o contexto do modelo, e sugere que modelos não-especializados em código (como o Gemma 3) podem ser altamente eficazes quando alimentados com descrições semânticas.
• Recomendações Futuras:
  • Investigar a combinação de todas as três modalidades (multimodal) como entrada.
  • Expandir para mais padrões de design (GoF) e datasets.
  • Explorar técnicas de prompting avançadas (ex: Chain-of-Thought, few-shot learning) para melhorar a precisão e a explicabilidade das detecções.
  • Considerar a análise de múltiplos arquivos interconectados para lidar com padrões que dependem de contexto global (como o padrão Composite).

Em suma, o trabalho estabelece uma base sólida para o uso de IA generativa na engenharia de software, demonstrando que a escolha do modelo e a estratégia de ensemble são mais críticas do que a modalidade de entrada específica para a detecção de padrões de design.