Beyond Strict Rules: Assessing the Effectiveness of Large Language Models for Code Smell Detection

Resumen Técnico: Más allá de las reglas estrictas: Evaluación de la efectividad de los Modelos de Lenguaje de Gran Escala para la detección de "code smells"

Planteamiento del problema
Los code smells (olores de código) son indicadores de una posible degradación de la calidad que impactan negativamente en la mantenibilidad, la fiabilidad y los costes de desarrollo del software. Aunque las herramientas de análisis estático (p. ej., JDeodorant, PMD) se han utilizado durante mucho tiempo para la detección automatizada, estas dependen de reglas rígidas que a menudo carecen de la flexibilidad necesaria para manejar la naturaleza matizada y dependiente del contexto de muchos smells. Por el contrario, la inspección manual es precisa pero costosa y lenta. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han mostrado potencial en diversas tareas de ingeniería de software, su efectividad en la detección de code smells sigue siendo poco explorada, particularmente en lo que respecta a su capacidad para superar o complementar a las herramientas tradicionales en bases de código reales y complejas. Además, los benchmarks existentes suelen basarse en conjuntos de datos sintéticos pequeños o carecen de una verdad de referencia (ground truth) validada robustamente por humanos.

Metodología
Los autores llevaron a cabo un estudio empírico evaluando la efectividad de cuatro LLM —DeepSeek-R1, GPT-5 mini, Llama-3.3 y Qwen2.5-Code— en la detección de nueve tipos específicos de code smells (Data Class, Dispersed Coupling, Feature Envy, Intensive Coupling, Long Method, Large Class, Long Parameter List, Refused Bequest y Shotgun Surgery).

• Construcción del conjunto de datos: El estudio utilizó un conjunto de datos extendido de 30 proyectos de Java reales y destacados en GitHub, que comprende más de 3.5 millones de líneas de código. Para establecer una verdad de referencia fiable, los autores muestrearon 268 candidatos a code-smell y contrataron a 76 estudiantes de grado en Ciencias de la Computación (con competencia verificada en Java) para evaluarlos manualmente. Se confirmó un "smell" si la calificación humana promedio superaba 3 de 5.
• Configuración experimental: Los LLM fueron instados mediante una estrategia de Cadena de Pensamiento (CoT, Chain-of-Thought), donde se pidió a los modelos que respondieran preguntas diagnósticas específicas basadas en la literatura antes de concluir si un smell estaba presente. La temperatura se estandarizó entre los modelos para garantizar la consistencia.
• Estrategia de evaluación: El estudio empleó tres enfoques analíticos:
  1. Rendimiento individual de los LLM: Comparación de la Precisión, el Recall y la Puntuación F1 de cada LLM frente a la verdad de referencia humana.
  2. LLM vs. Análisis Estático: Comparación de los LLM con cuatro herramientas de análisis estático establecidas (JDeodorant, JSpIRIT, Organic, PMD).
  3. Estrategia Combinada: Propuesta y evaluación de un método de ensamble basado en votación que agrega las salidas de los cuatro LLM y las dos herramientas de análisis estático (6 votos en total), marcando un smell si recibe al menos tres votos.

Contribuciones Clave

1. Conjunto de datos de Verdad de Referencia: Creación de una verdad de referencia validada manualmente para 268 instancias de code-smell en 30 proyectos de Java del mundo real, sirviendo como un benchmark para futuras estrategias de detección.
2. Evaluación Empírica Exhaustiva: Una comparación sistemática de cuatro LLM diversos frente a herramientas de análisis estático tradicionales a través de nueve tipos distintos de code smells.
3. Estrategia de Detección Híbrida: La propuesta y validación de una estrategia de votación combinada que integra LLM y herramientas estáticas para mejorar la cobertura de detección.
4. Paquete de Replicación: Provisión de todos los conjuntos de datos, scripts y plantillas de prompts para facilitar la replicación y extensión por parte de la comunidad de investigación.

Resultados
El estudio revela que la efectividad de las estrategias de detección depende altamente del tipo específico de code smell:

• Smells estructuralmente simples: Para los smells definidos por métricas estructurales claras (p. ej., Large Class, Long Method, Data Class), los LLM tuvieron un desempeño sólido, igualando o superando a menudo a las herramientas de análisis estático. La estrategia de votación combinada alcanzó los F1-scores y el Recall más altos para estas categorías (p. ej., Large Class F1: 0.93, Long Method F1: 0.89).
• Smells dependientes del contexto y subjetivos: Para los smells que requieren una comprensión semántica profunda o de contexto (p. ej., Feature Envy, Refused Bequest, Long Parameter List), el rendimiento varió significamente. Ninguna estrategia única dominó en todos los smells. En estos casos, herramientas especializadas (p. ej., Organic para Long Parameter List) o LLM específicos (p. ej., Llama-3.3 para Feature Envy) a menudo superaron al ensamble combinado.
• Compromisos (Trade-offs): La estrategia combinada maximizó consistentemente el Recall, lo que la hace efectiva para minimizar los falsos negativos. Sin embargo, esto conllevó un aumento en los Falsos Positivos para smells complejos, sugiriendo que la estrategia óptima depende de si un proyecto prioriza el Recall (cobertura) o la Precisión (exactitud).
• Variabilidad de los modelos: El rendimiento varió entre los LLM; por ejemplo, Llama-3.3 y DeepSeek-R1 generalmente superaron a los demás en categorías específicas, indicando que la arquitectura del modelo y los datos de entrenamiento influyen en las capacidades de detección.

Significancia y Afirmaciones
Los autores afirman que, si bien los LLM no son un reemplazo universal para las herramientas de análisis estático, representan un complemento poderoso y flexible. El estudio concluye que:

• Los LLM son particularmente efectivos para detectar smells basados en patrones sintácticos y tamaño.
• Un enfoque de "talla única" es insuficiente; la elección de la herramienta de detección debe adaptarse al tipo de smell específico y a la tolerancia del proyecto hacia los falsos positivos frente a los falsos negativos.
• Una estrategia combinada ofrece una alternativa robusta para los profesionales que buscan una alta cobertura, especialmente cuando la herramienta individual óptima es desconocida, aunque puede requerir más esfuerzo de revisión manual para smells complejos.
• El conjunto de datos y los hallazgos proporcionados ofrecen una base para refinar los flujos de trabajo de detección, mejorar la ingeniería de prompts y desarrollar sistemas de detección híbridos que aprovechen las fortalezas de los enfoques basados en reglas y los basados en semántica.