LLM Code Smells: A Taxonomy and Detection Approach

Título: Odores de Código em LLM: Uma Taxonomia e Abordagem de Detecção

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais integrados a sistemas de software devido à sua versatilidade e capacidades de raciocínio. No entanto, sua natureza não determinística e seus padrões de interação distintos (por exemplo, prompts em linguagem natural, cobrança baseada em tokens) introduzem novos riscos quando integrados ao código-fonte. Práticas de integração deficientes podem comprometer atributos de qualidade do software, como manutenibilidade, confiabilidade, desempenho e robustez. Embora trabalhos anteriores tenham abordado defeitos gerais em sistemas de LLM ou odores em código gerado por LLMs, faltava um conceito dedicado que tratasse de práticas de codificação inadequadas em código-fonte escrito por humanos que orquestra a inferência de LLMs. Este artigo aborda essa lacuna definindo, catalogando e detectando "odores de código em LLM".

Metodologia
O estudo segue uma metodologia de três fases:

1. Construção do Catálogo: Os autores construíram um catálogo de odores de código em LLM triangulando evidências de três fontes:

   • Revisão Sistemática da Literatura: Uma revisão guiada pelo PRISMA de literatura revisada por pares (2017–2025) identificando problemas de integração e usos indevidos.
   • Mineração de Literatura Cinzenta e Empírica: Uso da ferramenta GLiSE para extrair e filtrar relatórios de praticantes, documentação oficial, issues do GitHub e blogs de engenharia para capturar práticas do mundo real ainda não presentes na literatura acadêmica.
   • Síntese: Os odores candidatos foram mantidos se fossem observáveis no nível do código, apoiados por múltiplas fontes e associados a uma estratégia de remediação.

2. Abordagem de Detecção (SpecDetect4LLM):

   • Os autores desenvolveram o SpecDetect4LLM, uma ferramenta de análise estática de código-fonte derivada do framework existente SpecDetect4AI.
   • A ferramenta utiliza uma Linguagem Específica de Domínio (DSL) para definir regras declarativas sobre a Árvore de Sintaxe Abstrata (AST) de arquivos Python.
   • Ela foca na análise intra-arquivo, confiando em evidências localmente recuperáveis (estrutura de chamadas, argumentos, variáveis locais) para detectar odores sem exigir reconstrução complexa de fluxo de dados interprocedural, garantindo escalabilidade.

3. Avaliação Empírica:

   • Corpus: Um conjunto de dados de 692 sistemas de código aberto que integram LLMs, compreendendo 171.194 arquivos de código-fonte Python.
   • Verdade de Referência (Ground Truth): Uma amostra aleatória estratificada de 381 arquivos foi anotada manualmente por sete especialistas para estabelecer uma verdade de referência para validação da detecção.
   • Métricas: A eficácia da ferramenta foi medida usando precisão, revocação (recall) e pontuação F1.

Principais Contribuições

1. Taxonomia e Catálogo: O artigo apresenta uma taxonomia consolidada de nove odores de código em LLM, categorizados em três grupos:

   • Estrutural ou Uso de API: Problemas relacionados à composição de solicitações (por exemplo, Sem Mensagem do Sistema, Chamada de Inferência Anônima).
   • Semântica de Dados: Problemas relacionados à validade e estrutura de entrada/saída (por exemplo, Sem Saída Estruturada, Payload de Visão Bruto).
   • Protocolo: Problemas concernentes a contratos de inferência em todo o sistema e estabilidade (por exemplo, Métricas Máximas Ilimitadas, Temperatura do LLM Não Definida Explicitamente, Sem Fixação de Versão do Modelo, Esforço de Raciocínio Não Definido Explicitamente, Parâmetros de Amostragem Superespecificados).
   • Nota: Cinco odores foram introduzidos neste artigo (marcados com *), expandindo um catálogo preliminar anterior de cinco.

2. Ferramenta de Detecção: O lançamento do SpecDetect4LLM, um analisador estático capaz de detectar esses nove odores em código Python.

3. Estudo Empírico em Grande Escala: Uma avaliação abrangente da prevalência desses odores em 692 projetos e uma avaliação da precisão de detecção da ferramenta.

Resultados

• Eficácia de Detecção: No conjunto anotado de 381 arquivos, o SpecDetect4LLM alcançou uma precisão média macro de 91,3% e uma revocação média macro de 71,8%. A precisão média micro foi de 85,5% e a revocação foi de 76,9%.
  • Alta precisão foi observada para odores como Sem Mensagem do Sistema (100%), Payload de Visão Bruto (100%) e Parâmetros de Amostragem Superespecificados (100%).
  • Revocação mais baixa para alguns odores (por exemplo, Métricas Máximas Ilimitadas em 56,2%) foi atribuída ao escopo intra-arquivo da ferramenta; falsos negativos ocorreram frequentemente quando restrições eram aplicadas por meio de wrappers intermódulos ou configuração em tempo de execução não visíveis no único arquivo sendo analisado.
• Prevalência: Os odores de código em LLM foram encontrados como generalizados.
  • 73,5% dos projetos analisados continham pelo menos um odor de código em LLM.
  • 4,32% do total de arquivos de código-fonte foram sinalizados.
  • O odor mais prevalente foi Sem Fixação de Versão do Modelo (NMVP), afetando 55,06% dos projetos, seguido por Temperatura do LLM Não Definida Explicitamente (43,93%) e Sem Saída Estruturada (43,64%).
  • Odores relacionados a protocolos (NMVP, TNES, UMM, RENES) representaram quase 80% de todas as ocorrências detectadas, indicando que a falta de explicitação nos contratos de invocação em todo o sistema é o risco dominante.

Significado e Alegações
O artigo afirma que os odores de código em LLM representam uma categoria distinta e crítica de problemas de qualidade de software específica à integração de LLMs. Ao fornecer uma taxonomia autossuficiente e uma ferramenta de detecção, os autores visam:

• Ajudar desenvolvedores a reconhecer e mitigar riscos de integração que degradam a confiabilidade e a manutenibilidade do sistema.
• Estabelecer um vocabulário comum para discutir defeitos de integração.
• Demonstrar que, embora esses problemas sejam pervasivos (afetando a maioria dos projetos de código aberto), eles frequentemente se concentram em módulos específicos de integração, sugerindo que remediação direcionada (por exemplo, centralização de fábricas de clientes) pode ser altamente eficaz.

Os autores reconhecem limitações, particularmente quanto à incapacidade da ferramenta de detectar odores que dependem de fluxo de dados interarquivo ou configuração em tempo de execução, e ao potencial de certos odores se tornarem obsoletos à medida que as APIs de LLM evoluem. No entanto, eles argumentam que os princípios subjacentes (por exemplo, a necessidade de versionamento explícito ou saída estruturada) permanecem relevantes mesmo à medida que implementações específicas de API mudam.