Resumo Técnico: Avaliando as Competências de Modelagem de Processos de Negócio de Grandes Modelos de Linguagem

Declaração do Problema

A criação de modelos BPMN (Business Process Model and Notation) é uma tarefa cognitivamente exigente que requer conhecimento especializado tanto em domínio quanto em convenções de modelagem. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado potencial na geração de artefatos estruturados a partir de linguagem natural, há uma carência de avaliação sistemática sobre sua capacidade de produzir modelos BPMN de alta qualidade. As avaliações existentes frequentemente dependem de abordagens de "LLM-como-juiz" ou falham em considerar dimensões estabelecidas da qualidade do modelo de processo, como correção sintática, pragmática e semântica. Além disso, a validade dos arquivos XML gerados — um requisito crítico para implantação prática — não foi rigorosamente testada em termos de benchmark entre LLMs de código aberto.

Metodologia

O Framework BEF4LLM

Os autores introduzem o BEF4LLM (BPMN Evaluation Framework for LLMs), um novo framework de avaliação que estende o framework SIQ (Qualidade Sintática, Pragmática e Semântica). Diferente de abordagens anteriores, o BEF4LLM incorpora uma quarta dimensão: Validade. O framework compreende 39 métricas em quatro dimensões:

1. Validade ($Q_{val}$): Uma medida binária (0 ou 1) que verifica se o arquivo BPMN-XML gerado é analisável (parsable) e adere ao esquema XSD do BPMN 2.0.
2. Qualidade Sintática ($Q_{syn}$): 16 métricas que avaliam a adesão às regras de modelagem BPMN (ex: existência de eventos de início/fim, correspondência correta de gateways, regras de fluxo de sequência).
3. Qualidade Pragmática ($Q_{prag}$): 15 métricas que avaliam a compreensibilidade e a complexidade, incluindo tamanho, densidade, interação de conectores, particionabilidade e concorrência. Estas são normalizadas usando limiares validados empiricamente.
4. Qualidade Semântica ($Q_{sem}$): 7 métricas que medem a similaridade entre o modelo gerado e um modelo de referência (ground-truth) através de linguagem natural (similaridade de rótulos), estrutura de grafo (distância de edição) e comportamento (pegadas causais).

As pontuações para cada dimensão são agregadas em uma pontuação total de qualidade de processo ($Q_{qual}$) e uma pontuação total ($Q_{total}$) que inclui a validade.

Configuração Experimental

• Dataset: Um conjunto de dados curado de 105 pares texto-BPMN derivados de cinco conjuntos de dados públicos (Camunda, LRE, etc.), garantindo referências (ground truths) de alta qualidade.
• Modelos: 17 LLMs de código aberto de famílias que incluem Llama 3, Qwen 2.5/3, Deepseek R1, Phi 4 e Falcon 3. Os modelos foram categorizados por tamanho (Pequeno $\le$7B, Médio 7B–14B, Grande >14B).
• Procedimento:
  1. Prompting: Um prompt de sistema (exemplo de disparo único/one-shot) e um prompt de modelagem foram usados para instruir o LLM a gerar BPMN-XML.
  2. Refinamento: Se a saída inicial fosse inválida, um prompt de refinamento era enviado para corrigir erros específicos de XML.
  3. Execução: Cinco execuções por amostra foram realizadas com uma temperatura de 0.1 para permitir pequenas variações mantendo a adesão às instruções.
  4. Filtragem: LLMs que geravam menos de 30 BPMN-XMLs válidos em média foram excluídos da análise final para garantir robustez estatística.
• Análise Estatística: O estudo empregou testes não paramétricos (Skillings-Mack para diferenças globais, Wilcoxon signed-rank para comparações pareadas) com correção de Bonferroni para lidar com dados ausentes e pontuações ordinais.
• Benchmark Humano: Um subconjunto de 9 descrições textuais foi modelado por 5 especialistas humanos para estabelecer uma linha de base para comparação.

Principais Contribuições

1. Framework BEF4LLM: O primeiro framework especificamente projetado para avaliar LLMs em modelagem BPMN, integrando a validade como uma dimensão crítica ao lado da qualidade sintática, pragmática e semântica.
2. Benchmark de Larga Escala: Uma avaliação extensa de 17 LLMs de código aberto através de 105 pares texto-BPMN, fornecendo a primeira visão abrangente do atual cenário de LLMs em modelagem de processos.
3. Insights Estatísticos: Uma análise detalhada das diferenças de desempenho entre famílias e tamanhos de LLMs, revelando que a contagem de parâmetros não se correlaciona linearmente com a qualidade geral de modelagem.
4. Comparação Humana: Um benchmarking direto dos LLMs de alto desempenho contra especialistas humanos em modelagem, destacando áreas de convergência e divergência.

Resultados

Desempenho Comparativo

• Qualidade Sintática: Os LLMs tiveram um bom desempenho geral, com pontuações consistentemente acima de 0.75. O Falcon 3 10b alcançou a maior pontuação sintática (0.9082), embora o Llama 3.3 70b tenha sido o performer mais consistente entre as dimensões.
• Qualidade Pragmática: As pontuações foram altas (maioria >0.8), indicando que os modelos gerados são frequentemente fáceis de entender. O Qwen 2.5 14b obteve a maior pontuação (0.8907).
• Qualidade Semântica: Esta permaneceu como a dimensão mais fraca para todos os modelos (pontuações ~0.5–0.57). O Qwen 2.5 32b e o Llama 3.3 70b lideraram esta categoria.
• Validade: Um grande gargalo. Apenas o Llama 3.3 70b alcançou uma taxa de validade acima de 90% (97.33%). Muitos modelos menores falharam frequentemente em gerar XMLs válidos.
• Geral: Ao excluir a validade, o Llama 3.3 70b alcançou a maior qualidade de processo total ($Q_{qual}$ = 0.8143). Ao incluir a validade ($Q_{total}$), ele permaneceu como o líder (0.8143), enquanto outros caíram significativamente.

Influência do Tamanho do Modelo

O estudo descobriu que "maior nem sempre é melhor".

• Efeitos de Escala: O aumento da contagem de parâmetros geralmente melhorou a qualidade sintática e semântica (em 3 a 5 pontos percentuais), mas frequentemente degradou a qualidade pragmática (em ~2 pontos). Modelos maiores tenderam a gerar processos mais complexos e menos organizados.
• Dependência de Arquitetura: A família Qwen 3 mostrou resultados oscilantes onde o aumento de tamanho de 14B para 30B prejudicou a qualidade semântica, enquanto um salto para 235B a restaurou, mas prejudicou ainda mais a qualidade pragmática.
• Conclusão: A contagem de parâmetros é um mau indicador para a qualidade geral de BPM; modelos menores (ex: Llama 3 8b, Qwen 2.5 14b) frequentemente oferecem um melhor equilíbrio entre qualidade e custo computacional.

Comparação com Especialistas Humanos

• Pontuações Comparáveis: LLMs e especialistas humanos atingiram faixas de pontuação semelhantes.
• Forças/Fraquezas: Os LLMs superaram os humanos em qualidade sintática e pragmática (menos erros estruturais, melhor formatação). No entanto, os humanos superaram significativamente os LLMs em qualidade semântica (0.5152 vs. ~0.50 para os melhores LLMs), indicando melhor alinhamento com o significado pretendido do texto.
• Consistência: Os modelos humanos exibiram menor variância nas pontuações de qualidade em comparação com a alta variância observada nos outputs dos LLMs.

Significância e Alegações

O artigo afirma que o BEF4LLM fornece um procedimento padronizado para avaliar LLMs em modelagem BPMN, indo além de simples métricas de "LLM-como-juiz". Os achados sugerem que, embora os atuais LLMs de código aberto tenham alcançado um nível de competência comparável aos especialistas humanos em aspectos estruturais e de legibilidade, eles ainda lutam com o alinhamento semântico profundo e, crucialmente, com a geração de arquivos XML válidos e analisáveis.

Os autores enfatizam que a validade é o principal obstáculo para a implantação prática. Eles argumentam que variantes ajustadas por instrução (instruction-tuned) são essenciais para esta tarefa e que o desenvolvimento futuro deve focar no ajuste fino para precisão semântica e na redução do uso de tokens através de representações mais compactas. O estudo conclui que o design de processos impulsionado por IA pode baixar as barreiras de entrada para a modelagem de processos, mas desafios significativos permanecem antes que a modelagem BPM automatizada e contextualizada via LLMs se torne uma realidade.