(How) Do Large Language Models Understand High-Level Message Sequence Charts?

Resumo Técnico: Modelos de Linguagem de Grande Escala Compreendem Diagramas de Sequência de Mensagens de Alto Nível?

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados para automatizar tarefas em todo o ciclo de vida do desenvolvimento de software. No entanto, permanece incerto se esses modelos respeitam consistentemente a semântica formal dos artefatos que processam, particularmente no domínio do projeto arquitetônico. Este artigo investiga essa lacuna utilizando Diagramas de Sequência de Mensagens de Alto Nível (HMSCs) como estudo de caso. HMSCs são modelos visuais com semântica formal rigorosa, servindo como base para Diagramas de Sequência na Linguagem Unificada de Modelagem (UML). O problema central é determinar se os LLMs podem "compreender" (isto é, produzir saídas consistentes com um modelo correto de) a semântica formal dos HMSCs, especificamente em relação à ordenação causal, abstração, composição e geração de traços.

Metodologia
O estudo emprega um benchmark controlado para quantificar o desempenho dos LLMs em 129 tarefas semânticas derivadas de nove modelos de assunto (MSCs e HMSCs) retirados de anotações de aula de especificação de software validadas. A avaliação foca em três LLMs contemporâneos: Gemini-3-Pro, GPT-5.4 e Qwen-3.6.

A metodologia é estruturada em torno de cinco Questões de Pesquisa (RQs) e cinco categorias de tarefas:

1. Identificação de Eventos: Reconhecimento de unidades sintáticas e semânticas básicas (envio, recebimento, ações internas).
2. Ordenação Causal: Determinação de relações entre eventos com base em restrições de envio-recebimento, ordenação vertical de instâncias e fechamento transitivo.
3. Transformações Semânticas: Realização de Abstração (remoção de eventos preservando o comportamento) e Composição (combinação de diagramas por meio de operadores de escolha, sequência ou paralelismo).
4. Semântica Comportamental: Cálculo do conjunto de traços (extensões lineares de ordens parciais) e geração de Sistemas de Transição Rotulados (LTS) equivalentes.
5. Análise de Desempenho: Avaliação da acurácia estratificada por complexidade do modelo, complexidade da tarefa e LLM específico.

O pipeline de avaliação envolve design de prompts, execução e avaliação manual contra soluções de referência, com foco na correção semântica em vez de mera correspondência sintática.

Principais Contribuições

• Benchmark Semântico para HMSCs: O artigo introduz um novo benchmark que testa diretamente os LLMs em conceitos semânticos formais (ordenação, traços, LTS) em vez de depender de tarefas downstream como conclusão de código ou verificação de equivalência.
• Métricas de Acurácia Estratificadas: Fornece uma análise granular do desempenho dos LLMs, distinguindo entre tarefas de reconhecimento básico e tarefas de raciocínio complexo.
• Identificação de "Padrões de Dor": O estudo identifica sistematicamente conceitos semânticos específicos onde os LLMs falham consistentemente, particularmente em relação a co-regiões (regiões sem ordenação de eventos) e dependências causais explícitas em composições paralelas.
• Observação de Mitigação por Uso de Ferramentas: Os autores observam que, quando os LLMs têm sucesso em raciocínio complexo, frequentemente o fazem gerando e executando código Python para codificar a lógica semântica, sugerindo um caminho para melhorar a confiabilidade por meio da integração de ferramentas.

Resultados
O estudo relata uma acurácia geral de aproximadamente 52% em todos os modelos e tarefas, revelando variabilidade significativa baseada na complexidade da tarefa:

• Semântica Básica (Alto Desempenho): Os LLMs demonstram forte competência na identificação de eventos e ordenação causal básica, alcançando ~88% de acurácia. Os erros aqui foram frequentemente artefatos visuais (por exemplo, interpretar a posição vertical como ordem causal).
• Transformações Semânticas (Baixo Desempenho): O desempenho cai drasticamente para tarefas de abstração e composição, com uma acurácia média de ~36%.
  • Abstração: Os modelos frequentemente falharam em preservar a ordenação causal após a remoção de eventos ou introduziram ordens arbitrárias ao mesclar instâncias.
  • Composição: Os modelos lutaram com a composição horizontal, impondo incorretamente ordem a eventos paralelos (falhando em utilizar co-regiões) e interpretando mal a composição vertical.
• Semântica Comportamental (Desempenho Moderado a Baixo): A acurácia para identificação de traços foi de ~42%, enquanto a geração de LTSs equivalentes foi ainda menor (~25%).
• Variabilidade do Modelo: Não houve relação monotônica estrita entre o "tamanho" ou "profundidade" do modelo e o desempenho. Gemini-3 alcançou a maior acurácia geral (55,8%), seguido por Qwen-3.6 (48,8%) e GPT-5.4 (46,5%). O sucesso em tarefas complexas foi frequentemente correlacionado com a capacidade do modelo de gerar e executar código de raciocínio correto.

Significado e Alegações
O artigo modestamente alega dar o "primeiro passo" na caracterização dos limites das capacidades dos LLMs no raciocínio arquitetônico. Conclui que, embora os LLMs possuam um modelo preciso de construções básicas de MSC, eles carecem de uma noção sólida de co-regiões e dependências causais explícitas necessárias para o raciocínio semântico de nível superior.

Os autores argumentam que as limitações atuais sugerem que os LLMs ainda não podem ser confiados para compreensão consistente de projeto arquitetônico sem suporte externo. As descobertas indicam que interfacer LLMs com ferramentas de raciocínio sólidas (por exemplo, executar código gerado para cálculo de traços) é uma estratégia viável para mitigar essas lacunas semânticas. O estudo também destaca a necessidade de trabalhos futuros para abordar os "padrões de dor" do raciocínio de ordem parcial e expandir os benchmarks além do conjunto de dados atual para garantir robustez estatística.