Reliability of Large Language Models for Design Synthesis: An Empirical Study of Variance, Prompt Sensitivity, and Method Scaffolding

Resumen Técnico: Fiabilidad de los Modelos de Lenguaje Grande (LLM) en la Síntesis de Diseño

1. Planteamiento del Problema

El uso de Modelos de Lenguaje Grande (LLM) para automatizar tareas de ingeniería de software, como la generación de diagramas de clases UML a partir de descripciones en lenguaje natural, ha aumentado significativamente. Sin embargo, el estudio identifica una brecha crítica:

• Traducción vs. Síntesis de Diseño: La mayoría de los LLM actúan como "traductores" superficiales, mapeando sustantivos y verbos del texto a clases y atributos. Esto genera diagramas sintácticamente válidos pero estructuralmente pobres ("basura entra, basura sale").
• Falta de Principios de Diseño: Los modelos a menudo fallan en inferir principios de diseño orientado a objetos (abstracción, encapsulamiento) o patrones de diseño (GoF) que no se mencionan explícitamente en el prompt.
• Inestabilidad Comportamental: Existe una preocupación subexplorada sobre la fiabilidad conductual. Los modelos generativos son inherentemente no deterministas; si los resultados varían significativamente entre ejecuciones repetidas o ante parafraseos del prompt, su utilidad práctica en flujos de trabajo de arquitectura disminuye, independientemente de su rendimiento promedio.

2. Metodología Experimental

Los autores diseñaron un estudio empírico controlado para evaluar la capacidad de síntesis de diseño y la estabilidad de los modelos.

• Modelos Evaluados: Se probaron tres LLMs de vanguardia con diferentes arquitecturas y características de decodificación:
  • ChatGPT 4o-mini
  • Claude 3.5 Sonnet
  • Gemini 2.5 Flash
• Benchmarks (Dominios): Se utilizaron dos escenarios de complejidad variable:
  1. HMS (Hospital Billing System): Complejidad media, comportamiento basado en políticas.
  2. Sensor Network: Complejidad alta, interacciones impulsadas por eventos.
• Estrategias de Prompting (3 enfoques):
  1. Prompting Estándar: Solo la descripción del dominio (línea base).
  2. Inyección de Reglas: Prompting que incluye explícitamente principios de diseño y consejos expertos.
  3. Prompting Basado en Preferencias (Propuesta): Un enfoque few-shot que expone al modelo a ejemplos contrastantes (una solución generada por LLM "mala" vs. una solución experta "buena") para sesgar la generación hacia estructuras arquitectónicas sólidas sin nombrar explícitamente los patrones.
• Diseño del Experimento:
  • 2 dominios × 3 prompts parafraseados × 3 modelos × 3 estrategias × 10 ejecuciones repetidas = 540 experimentos totales.
  • Temperatura fijada en 0.5 para permitir variación controlada.
• Métricas de Evaluación:
  • M1.1: Puntuación de Corrección Estructural: Precisión, Recall y F1 comparando elementos estructurales con un modelo de referencia experto.
  • M1.2: Puntuación de Adherencia a Principios: Evaluación manual de principios OO (abstracción, encapsulamiento).
  • M1.3: Puntuación de Emergencia de Patrones: Detección de patrones implícitos (Estrategia, Observador).
  • M1.4: Índice de Estabilidad (SI): Mide la varianza en los diagramas generados a través de ejecuciones y variaciones de prompts.

3. Contribuciones Clave

1. Distinción Conceptual: Formaliza la diferencia entre la "traducción de diagramas" y la "síntesis de diseño", argumentando que la última requiere inferencia de restricciones latentes.
2. Nueva Técnica de Prompting: Propone y valida un método de alineación basada en preferencias (lightweight) que utiliza ejemplos contrastantes para guiar al modelo hacia principios de diseño sin necesidad de un entrenamiento RLHF completo.
3. Evaluación de Fiabilidad Conductual: Introduce el "Índice de Estabilidad" como una métrica crítica, demostrando que la consistencia entre ejecuciones es tan importante como la calidad del diseño individual.
4. Análisis Comparativo de Modelos: Revela que el comportamiento del modelo (su régimen de estabilidad) es un factor dominante en la fiabilidad del diseño, a menudo más importante que la estrategia de prompting.

4. Resultados Principales

• RQ1 (Calidad de Diseño): El enfoque basado en preferencias superó consistentemente a las estrategias estándar y de inyección de reglas, logrando una mayor alineación con la arquitectura de referencia y una mejor aplicación de principios OO.
  • Hallazgo: La inyección de reglas explícitas a veces aumentó la carga cognitiva del modelo (especialmente en Gemini), provocando alucinaciones y estructuras inconsistentes.
• RQ2 (Emergencia de Patrones): El enfoque de preferencias aumentó la probabilidad de que surgieran patrones de diseño (como Estrategia) sin nombrarlos en el prompt. Sin embargo, los modelos aún lucharon para aplicar restricciones arquitectónicas completas (ej. relaciones de agregación correctas).
• RQ3 (Estabilidad y Variabilidad): Se observaron regímenes de estabilidad muy distintos entre modelos:
  • Claude: Alta estabilidad de decodificación. Generaba soluciones estructuralmente consistentes entre ejecuciones repetidas, aunque a veces omitía relaciones críticas de forma consistente.
  • ChatGPT: Comportamiento predecible una vez establecida la estructura de diseño. Sus errores eran sistemáticos, no estocásticos.
  • Gemini: Alta variabilidad y estocasticidad. Los diagramas cambiaban drásticamente entre ejecuciones y parafraseos (número de clases y relaciones fluctuantes), indicando una falta de estabilidad arquitectónica.
• RQ4 (Complejidad): A medida que aumentaba la complejidad del dominio (red de sensores), el rendimiento de todos los modelos disminuyó. Ningún modelo pudo inferir correctamente el patrón Observador en un contexto de arquitectura impulsada por eventos, sugiriendo un "techo" en la capacidad de razonamiento arquitectónico actual.

5. Significado e Implicaciones

El estudio concluye que la generación de diseño asistida por LLM no es solo un problema de capacidad, sino fundamentalmente un problema de fiabilidad.

• Elección del Modelo: La selección del modelo es tan crítica como la estrategia de prompting. Un modelo que produce un diseño perfecto una vez pero falla en la repetibilidad no es adecuado para entornos profesionales.
• Más allá del Prompting: Las técnicas de prompting (incluso las avanzadas como la alineación por preferencias) mejoran la calidad, pero no eliminan la no determinismo ni resuelven completamente la inferencia de patrones complejos.
• Nueva Métrica de Éxito: La estabilidad conductual debe considerarse un criterio de evaluación de primer nivel junto con la corrección sintáctica.
• Futuro: Se requiere investigar enfoques híbridos que combinen prompting basado en preferencias con módulos de razonamiento arquitectónico explícito y técnicas para reducir la estocasticidad (como decodificación restringida o fine-tuning).

En resumen, el papel de los LLM en la ingeniería de software debe evolucionar de ser meros generadores de texto a colaboradores arquitectónicos fiables, lo cual requiere abordar tanto la calidad del diseño como la consistencia de su comportamiento.