(How) Do Large Language Models Understand High-Level Message Sequence Charts?

Resumen Técnico: ¿Comprenden los Modelos de Lenguaje Grande los Diagramas de Secuencia de Mensajes de Alto Nivel?

Definición del Problema
Los Modelos de Lenguaje Grande (LLMs) se despliegan cada vez más para automatizar tareas a lo largo del ciclo de vida del desarrollo de software. Sin embargo, sigue sin estar claro si estos modelos respetan consistentemente la semántica formal de los artefactos que procesan, particularmente en el dominio del diseño arquitectónico. Este artículo investiga esta brecha utilizando Diagramas de Secuencia de Mensajes de Alto Nivel (HMSCs) como estudio de caso. Los HMSCs son modelos visuales con semántica formal rigurosa, que sirven como base para los Diagramas de Secuencia en el Lenguaje Unificado de Modelado (UML). El problema central es determinar si los LLMs pueden "comprender" (es decir, producir resultados consistentes con un modelo sólido de) la semántica formal de los HMSCs, específicamente en lo que respecta al ordenamiento causal, la abstracción, la composición y la generación de trazas.

Metodología
El estudio emplea una referencia controlada para cuantificar el rendimiento de los LLMs en 129 tareas semánticas derivadas de nueve modelos de sujetos (MSCs y HMSCs) extraídos de apuntes de clase de especificación de software validados. La evaluación se centra en tres LLMs contemporáneos: Gemini-3-Pro, GPT-5.4 y Qwen-3.6.

La metodología se estructura en torno a cinco Preguntas de Investigación (PI) y cinco categorías de tareas:

1. Identificación de Eventos: Reconocer unidades sintácticas y semánticas básicas (envío, recepción, acciones internas).
2. Ordenamiento Causal: Determinar relaciones entre eventos basadas en restricciones de envío-recepción, ordenamiento vertical de instancias y clausura transitiva.
3. Transformaciones Semánticas: Realizar Abstracción (eliminar eventos preservando el comportamiento) y Composición (combinar diagramas mediante operadores de elección, secuencia o paralelismo).
4. Semántica Conductual: Calcular el conjunto de trazas (extensiones lineales de órdenes parciales) y generar Sistemas de Transición Etiquetados (LTS) equivalentes.
5. Análisis de Rendimiento: Evaluar la precisión estratificada por complejidad del modelo, complejidad de la tarea y LLM específico.

El pipeline de evaluación implica el diseño de prompts, la ejecución y la evaluación manual frente a soluciones de referencia, con un enfoque en la corrección semántica en lugar de la mera coincidencia sintáctica.

Contribuciones Clave

• Referencia Semántica para HMSCs: El artículo introduce una referencia novedosa que prueba directamente a los LLMs en conceptos semánticos formales (ordenamiento, trazas, LTS) en lugar de depender de tareas posteriores como la finalización de código o la verificación de equivalencia.
• Métricas de Precisión Estratificadas: Proporciona un análisis granular del rendimiento de los LLMs, distinguiendo entre tareas de reconocimiento básico y tareas de razonamiento complejo.
• Identificación de "Patrones de Dolor": El estudio identifica sistemáticamente conceptos semánticos específicos donde los LLMs fallan consistentemente, particularmente en lo que respecta a las co-regiones (regiones sin ordenamiento de eventos) y las dependencias causales explícitas en composiciones paralelas.
• Observación de la Mitigación mediante Uso de Herramientas: Los autores notan que cuando los LLMs tienen éxito en el razonamiento complejo, a menudo lo hacen generando y ejecutando código Python para codificar la lógica semántica, lo que sugiere una vía para mejorar la fiabilidad mediante la integración de herramientas.

Resultados
El estudio reporta una precisión general de aproximadamente el 52% en todos los modelos y tareas, revelando una variabilidad significativa basada en la complejidad de la tarea:

• Semántica Básica (Alto Rendimiento): Los LLMs demuestran una gran competencia en la identificación de eventos y el ordenamiento causal básico, logrando una precisión de ~88%. Los errores aquí fueron a menudo artefactos visuales (por ejemplo, malinterpretar la posición vertical como orden causal).
• Transformaciones Semánticas (Bajo Rendimiento): El rendimiento cae drásticamente para las tareas de abstracción y composición, con una precisión promedio de ~36%.
  • Abstracción: Los modelos fallaron frecuentemente en preservar el ordenamiento causal después de eliminar eventos o introdujeron órdenes arbitrarios al fusionar instancias.
  • Composición: Los modelos tuvieron dificultades con la composición horizontal, imponiendo incorrectamente un orden a eventos paralelos (fallando en utilizar co-regiones) y malinterpretando la composición vertical.
• Semántica Conductual (Rendimiento Moderado a Bajo): La precisión para la identificación de trazas fue de ~42%, mientras que la generación de LTS equivalentes fue aún menor (~25%).
• Variabilidad del Modelo: No hubo una relación estrictamente monótona entre el "tamaño" o la "profundidad" del modelo y el rendimiento. Gemini-3 logró la precisión general más alta (55.8%), seguido por Qwen-3.6 (48.8%) y GPT-5.4 (46.5%). El éxito en tareas complejas a menudo se correlacionó con la capacidad del modelo para generar y ejecutar código de razonamiento correcto.

Significado y Afirmaciones
El artículo afirma modestamente dar el "primer paso" en la caracterización de los límites de las capacidades de los LLMs en el razonamiento arquitectónico. Concluye que, si bien los LLMs poseen un modelo preciso de constructos básicos de MSC, carecen de una noción sólida de co-regiones y dependencias causales explícitas requeridas para el razonamiento semántico de alto nivel.

Los autores argumentan que las limitaciones actuales sugieren que no se puede confiar aún en los LLMs para una comprensión consistente del diseño arquitectónico sin soporte externo. Los hallazgos indican que interfazar los LLMs con herramientas de razonamiento sólidas (por ejemplo, ejecutar código generado para el cálculo de trazas) es una estrategia viable para mitigar estas brechas semánticas. El estudio también destaca la necesidad de trabajos futuros para abordar los "patrones de dolor" del razonamiento de órdenes parciales y ampliar las referencias más allá del conjunto de datos actual para garantizar la robustez estadística.