A Pilot Study on Detecting Software Design Patterns with Large Language Models: An Empirical Evaluation

Título del Estudio

Un Estudio Piloto sobre la Detección de Patrones de Diseño de Software con Modelos de Lenguaje Grande: Una Evaluación Empírica

1. El Problema

Los patrones de diseño son soluciones reutilizables a problemas recurrentes en el desarrollo de software. Sin embargo, su implementación incorrecta o su detección manual presentan desafíos significativos:

• Complejidad de detección: Los patrones a menudo están implícitos en la estructura y el comportamiento del código, no siendo visibles explícitamente. Su detección manual es laboriosa, propensa a errores y requiere experiencia profunda.
• Limitaciones de métodos tradicionales: Las técnicas basadas en análisis estático (gráficos, ML tradicional) enfrentan dificultades con la escalabilidad, la variabilidad en los estilos de codificación y la necesidad de formalización estructural explícita.
• Brecha en la investigación actual: Aunque existen estudios sobre el uso de Modelos de Lenguaje Grande (LLMs) para este fin, ninguno ha evaluado sistemáticamente el impacto de diferentes modalidades de entrada (código fuente, representaciones gráficas como PlantUML y descripciones textuales) en el rendimiento de la detección.

2. Metodología

El estudio se diseñó como una evaluación empírica para responder a dos preguntas de investigación (RQ):

• RQ1: ¿Qué tan efectivamente detectan patrones de diseño diferentes tipos de LLMs?
• RQ2: ¿Cuál es el impacto de las diferentes modalidades de entrada en el rendimiento de los LLMs?

Datos y Configuración:

• Dataset: Se utilizó el conjunto de datos P-MART, seleccionando 144 archivos de código fuente que contenían instancias de cinco patrones específicos: Singleton, Adapter, Bridge, Composite y Decorator. Se equilibró el dataset añadiendo archivos sin patrones.
• Modelos Evaluados: Se probaron cuatro modelos de LLM:
  1. Qwen2.5 Coder (32B): Modelo especializado en código.
  2. NextCoder (7B): Modelo especializado en código.
  3. Nxcode-CQ (7B): Modelo especializado en código.
  4. Gemma 3 (27B): Modelo base no especializado en código (usado para comparar si la especialización es necesaria).
• Enfoques de Ensamble: Se implementaron dos estrategias de votación mayoritaria:
  • Ensemble 1: Combinación de los tres modelos de código.
  • Ensemble 2: Combinación de los tres modelos con mejor rendimiento individual (Nxcode-CQ, NextCoder y Gemma 3).
• Modalidades de Entrada (Prompts): Los modelos se evaluaron con tres tipos de entradas distintas para cada archivo:
  1. Código Fuente: El código original.
  2. PlantUML: Representación gráfica generada automáticamente del código.
  3. Descripción Textual: Resumen generado por IA de las clases, métodos y variables (sin mostrar el código).
• Métricas: Se calcularon Precisión, Recall, F1-Score y Exactitud (Accuracy). Se realizaron pruebas estadísticas (Friedman y Conover) para validar la significancia de los resultados.

3. Contribuciones Clave

• Evaluación Comparativa de Modalidades: Es el primer estudio que compara sistemáticamente el rendimiento de LLMs al detectar patrones utilizando código, diagramas (PlantUML) y descripciones textuales puras.
• Análisis de Modelos No Especializados: Demuestra que un modelo no especializado en código (Gemma 3) puede igualar o superar a modelos de código en ciertas tareas, especialmente cuando se proporcionan descripciones textuales.
• Validación de Estrategias de Ensamble: Evidencia que combinar las predicciones de múltiples modelos mediante votación mayoritaria mejora la robustez y el rendimiento general, superando a menudo a los modelos individuales.
• Identificación de Patrones Específicos: Proporciona un desglose detallado del rendimiento por tipo de patrón (Singleton, Adapter, etc.), revelando fortalezas y debilidades específicas de cada modelo.

4. Resultados Principales

RQ1: Rendimiento de los Modelos

• Mejores Modelos Individuales: NextCoder y Gemma 3 mostraron el mejor rendimiento general en términos de F1-Score.
  • NextCoder destacó en patrones como Singleton, Adapter y Bridge, mostrando una estrategia conservadora (alta precisión, menor recall).
  • Gemma 3 (modelo no coder) obtuvo resultados excepcionales, superando a otros modelos de código en la detección de patrones a partir de descripciones textuales.
• Rendimiento por Patrón:
  • Los modelos tuvieron mayor éxito en Singleton y Decorator (F1 > 0.80 en muchos casos).
  • El patrón Composite fue el más difícil de detectar para la mayoría, excepto para Nxcode-CQ, que obtuvo el mejor F1 en este caso específico.
• Efectividad del Ensamble: Los enfoques de ensamble (especialmente Ensemble 2) lograron un rendimiento equilibrado, mejorando el recall sin sacrificar excesivamente la precisión, obteniendo el F1-Score más alto globalmente.
• Significancia Estadística: Se encontró una diferencia estadísticamente significativa entre los modelos. Qwen 2.5 Coder tuvo un rendimiento significativamente peor en recall comparado con Gemma 3 y los ensambles.

RQ2: Impacto de las Modalidades de Entrada

• Sin Diferencia Estadística Significativa: A pesar de las diferencias en la densidad de información (código vs. diagrama vs. texto), no hubo una diferencia estadísticamente significativa en el rendimiento general (F1-Score) entre las tres modalidades de entrada (p = 0.50).
• Comportamiento Específico:
  • PlantUML: Logró la precisión más alta, pero con un recall más bajo (el modelo es muy cauteloso al detectar patrones en diagramas).
  • Descripción Textual: Logró el recall más alto (0.75), indicando que las descripciones textuales facilitan la identificación de más instancias verdaderas, aunque con una precisión ligeramente menor.
  • Código Fuente: Mostró un rendimiento intermedio equilibrado.

5. Significancia y Conclusiones

• Viabilidad de los LLMs: El estudio confirma que los LLMs son herramientas prometedoras para la detección automática de patrones de diseño, capaces de complementar o incluso superar a las técnicas de análisis estático tradicionales en ciertos contextos.
• Flexibilidad de Entrada: Los desarrolladores y herramientas de análisis pueden elegir libremente entre código, diagramas o descripciones textuales para alimentar a los LLMs, ya que el rendimiento general es comparable. Esto es crucial para la integración en flujos de trabajo donde el código completo podría no estar disponible o ser demasiado grande.
• Reevaluación de la Especialización: El éxito de un modelo "no coder" (Gemma 3) sugiere que la especialización estricta en código podría no ser estrictamente necesaria para tareas de comprensión arquitectónica de alto nivel, abriendo la puerta al uso de modelos más grandes y generales.
• Futuro: Se recomienda el uso de estrategias de ensamble para maximizar la precisión y el recall. Futuras investigaciones deberían explorar few-shot prompting, razonamiento de cadena de pensamiento (Chain-of-Thought) y la inclusión de múltiples archivos interconectados para mejorar la detección de patrones complejos como Composite.

En resumen, este estudio piloto establece una base sólida para el uso de LLMs en la comprensión de arquitecturas de software, demostrando que la combinación de múltiples modelos y la flexibilidad en el formato de entrada pueden mejorar significativamente la identificación de patrones de diseño.