MermaidSeqBench: An Evaluation Benchmark for NL-to-Mermaid Sequence Diagram Generation

Resumo Técnico: MermaidSeqBench

1. O Problema

Com o avanço dos Grandes Modelos de Linguagem (LLMs), surgiu uma demanda crescente para a geração de diagramas estruturados (como diagramas de sequência UML) a partir de descrições em linguagem natural (NL). O formato Mermaid é amplamente utilizado na engenharia de software por ser baseado em texto e fácil de integrar em documentações.

No entanto, os autores identificam uma lacuna crítica: a falta de benchmarks padronizados para avaliar a precisão desses modelos. Em ambientes de produção (como DevOps e arquitetura de sistemas), erros de sintaxe ou de lógica em diagramas podem ser catastróficos. Atualmente, não existem métricas robustas que garantam que um LLM possa ser confiável para tarefas de missão crítica de modelagem de software.

2. Metodologia

Para resolver essa lacuna, os pesquisadores introduziram o MermaidSeqBench, um framework de avaliação que utiliza uma abordagem híbrida para construção de dados e uma metodologia de "LLM-as-a-Judge" (LLM como juiz).

A. Construção do Dataset (132 amostras):
O dataset não é puramente sintético; ele segue um processo de três estágios para garantir qualidade e diversidade:

1. Sementes Manuais (Seeds): 10 fluxos criados e verificados manualmente por especialistas (SMEs) para garantir a base de "verdade fundamental" (ground truth).
2. Expansão Sintética: Utilização do framework Scalable Synthetic Data Generation (SDG) com o modelo Mistral-Large-Instruct para gerar novos fluxos, seguidos de verificação manual e renderização no Mermaid Live Editor.
3. Aumentação Baseada em Regras: Aplicação de transformações determinísticas (como reordenação de blocos condicionais alt/else e normalização de identificadores de participantes) para aumentar a cobertura sem alterar a semântica.

B. Método de Avaliação (LLM-as-a-Judge):
Em vez de apenas verificar se o código "roda", o benchmark utiliza modelos de larga escala (DeepSeek-V3 e GPT-OSS) para avaliar seis dimensões granulares:

• Sintaxe: Correção das regras do MermaidJS.
• Mermaid Only: Se a saída contém apenas o código, sem explicações textuais desnecessárias.
• Lógica: Se o fluxo de mensagens e decisões faz sentido.
• Completude: Se todos os componentes e interações descritos no prompt foram incluídos.
• Tratamento de Ativação: Uso correto de comandos activate e deactivate.
• Rastreamento de Erros e Status: Capacidade de representar fluxos de erro e mudanças de estado.

3. Principais Contribuições

• O primeiro benchmark público e sistemático dedicado especificamente à geração de diagramas de sequência Mermaid a partir de linguagem natural.
• Um framework de avaliação multidimensional que vai além da simples correção sintática, focando na utilidade prática para engenharia de software.
• Um pipeline de criação de dados híbrido (humano + sintético + regras) que é escalável e reprodutível.

4. Resultados

Os experimentos realizados em diferentes famílias de modelos (Llama, Qwen e Granite) revelaram conclusões importantes:

• Efeito de Escala: Existe uma correlação clara entre o tamanho do modelo e o desempenho. Modelos maiores (ex: Qwen-2.5-72B) superam consistentemente os menores em lógica e tratamento de erros.
• Lacunas de Capacidade: Modelos menores (como Llama-3.2-1B) apresentam quedas drásticas em dimensões complexas como "Tratamento de Ativação" e "Lógica", mesmo que consigam manter uma sintaxe básica.
• Variabilidade dos Juízes: O estudo mostrou que diferentes modelos usados como "juízes" (DeepSeek vs. GPT-OSS) possuem diferentes níveis de rigor, o que destaca a importância de usar múltiplos juízes para mitigar vieses.
• Diferenças de Família: Modelos como o Granite mostraram força em sintaxe estrita, mas dificuldade em lidar com fluxos de erro complexos em comparação ao Llama e Qwen.

5. Significância

O MermaidSeqBench estabelece um novo padrão de qualidade para a geração de diagramas estruturados. Ele fornece a base necessária para que desenvolvedores de IA possam treinar e validar modelos que sejam realmente confiáveis para uso em fluxos de trabalho de engenharia de software profissional. Ao abrir o código e o dataset, os autores incentivam a comunidade a expandir essa avaliação para outros tipos de diagramas (fluxogramas, Gantt, etc.), promovendo a confiabilidade da IA na documentação técnica.