🤖 AI

Assessing the Business Process Modeling Competences of Large Language Models

Cet article introduit le cadre BEF4LLM pour évaluer systématiquement les grands modèles de langage sur la génération de BPMN à travers quatre dimensions de qualité, révélant que si les LLM excellent dans les aspects syntaxiques et pragmatiques, ils accusent encore un léger retard par rapport aux experts humains en termes de qualité sémantique et de validité, tout en démontrant un potentiel compétitif pour les futures applications de modélisation de processus métier.

Auteurs originaux : Chantale Lauer, Peter Pfeiffer, Alexander Rombach, Nijat Mehdiyev

Publié 2026-01-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chantale Lauer, Peter Pfeiffer, Alexander Rombach, Nijat Mehdiyev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de donner une recette à un robot chef très intelligent, mais légèrement littéral. Vous voulez que le robot dessine une carte de la façon dont une entreprise fonctionne (comme le diagramme d'une usine ou d'une banque) en se basant sur vos instructions écrites. Cette carte s'appelle un modèle BPMN.

Pendant des années, dessiner ces cartes a été le travail d'experts coûteux qui connaissent à la fois l'entreprise et les règles strictes du langage de dessin. Mais maintenant, nous avons des Modèles de Langage de Grande Taille (LLM) — le même type d'IA qui écrit des e-mails et des histoires. La grande question est : ces chefs IA peuvent-ils dessiner ces cartes commerciales complexes aussi bien que des experts humains ?

Ce document est une immense « compétition de cuisine » pour le découvrir. Voici ce qu'ils ont fait et ce qu'ils ont trouvé, expliqué simplement.

Le Concours : Le cadre BEF4LLM

Les chercheurs ont construit un nouveau système de notation appelé BEF4LLM. Voyez cela comme une fiche d'évaluation de juge avec quatre catégories spécifiques :

Validité (Le test « Est-ce réel ? ») : L'IA a-t-elle réellement produit un fichier que l'ordinateur peut ouvrir et lire ? Si l'IA écrit des charabia ou casse le format du fichier, elle obtient un zéro ici. C'est l'obstacle le plus basique.
Qualité Syntaxique (Le test de la « Grammaire ») : L'IA a-t-elle suivi les règles strictes du langage de dessin ? (ex. : « Chaque boucle doit avoir un début et une fin », « Les flèches doivent pointer dans le bon sens »).
Qualité Pragmatique (Le test de la « Lisibilité ») : La carte est-elle facile à regarder et à comprendre pour un humain ? Est-elle trop encombrée ? Les lignes s'entrecroisent-elles partout ? Une carte à la grammaire parfaite qui ressemble à une toile d'araignée est inutile.
Qualité Sémantique (Le test du « Sens ») : La carte raconte-t-elle vraiment la bonne histoire ? Si vous avez dit « Le client paie, puis l'article est expédié », est-ce que la carte montre cet ordre, ou l'IA s'est-elle trompée et a-t-elle inversé les étapes ?

Les Participants

Ils ont testé 17 modèles d'IA open-source différents de tailles diverses.

Petits modèles : Comme une calculatrice intelligente.
Modèles moyens : Comme un bibliothécaire bien instruit.
Grands modèles : Comme un super-ordinateur doté d'un cerveau massif.

Ils ont donné à ces IA 105 descriptions commerciales différentes (comme « Un client commande une pizza, paie, et attend la livraison ») et leur ont demandé de dessiner les cartes.

Les Grandes Surprises (Les Résultats)

1. Plus gros n'est pas toujours meilleur.
Vous pourriez penser que la plus grosse IA, la plus chère, gagnerait à chaque fois. Mais le document a révélé que les modèles plus gros ne rendaient pas nécessairement de meilleures cartes.

L'analogie : Imaginez un chef géant et trop enthousiaste (la grosse IA) qui ajoute tellement d'ingrédients et d'étapes supplémentaires à la recette que le plat devient un désordre, même si les saveurs sont techniquement correctes. Parfois, un chef plus petit et plus concentré (une IA moyenne) créait une carte plus propre et plus facile à lire.
Le bémol : Les plus gros modèles étaient meilleurs pour suivre les règles strictes (Grammaire) et pour raconter l'histoire (Sens), mais ils rendaient souvent les cartes trop compliquées à lire (Lisibilité).

2. Le problème du « Fichier Valide ».
C'était l'obstacle le plus important. Beaucoup d'IA, surtout les plus petites, n'ont pas réussi à produire un fichier que l'ordinateur pouvait réellement ouvrir.

L'analogie : C'est comme si l'IA avait écrit une lettre magnifique, mais qu'elle avait oublié de la mettre dans une enveloppe, ou que l'enveloppe était scellée avec une colle que le facteur ne pouvait pas ouvrir. Même si la lettre à l'intérieur était parfaite, elle est inutile si elle ne peut pas être livrée. Seuls quelques modèles de haut niveau pouvaient produire de manière constante des fichiers « ouvrables ».

3. IA contre Experts Humains.
Les chercheurs ont également demandé à des experts humains de dessiner des cartes pour les mêmes descriptions.

Le résultat : L'IA et les humains étaient étonnamment proches en termes de compétences globales.
- Forces de l'IA : L'IA était en fait meilleure pour suivre les règles de grammaire strictes et pour rendre les cartes propres et organisées.
- Forces des Humains : Les humains étaient légèrement meilleurs pour capturer le sens profond et la logique de l'histoire.
- Le verdict : L'IA n'est plus un débutant maladroit ; elle a atteint un niveau où elle peut rivaliser avec un professionnel humain, bien qu'elle lutte encore avec les nuances les plus profondes de l'histoire.

4. La boucle de « Raffinement ».
Les chercheurs ont donné une seconde chance à l'IA. Si l'IA faisait une erreur, ils lui disaient : « Hé, ton fichier est cassé, répare-le », et la laissaient réessayer. Cela a beaucoup aidé, mais ce n'était pas un remède miracle.

L'Essentiel

Ce document nous indique que l'IA est prête à aider à la modélisation des processus métier, mais nous devons faire attention au choix de l'IA.

Ne choisissez pas simplement le plus gros modèle : Parfois, un modèle de taille moyenne est le choix « Goldilocks » — juste ce qu'il faut pour le travail.
La validité est la clé : Si l'IA ne peut même pas générer un fichier qui s'ouvre, peu importe si la carte à l'intérieur est intelligente.
L'avenir : Nous devons apprendre à ces IA à être plus cohérentes et à mieux comprendre l'« histoire » derrière le processus métier.

En bref, l'IA est un apprenti très talentueux qui connaît parfaitement les règles et dessine des lignes nettes, mais il a encore besoin d'un superviseur humain pour s'assurer que l'histoire qu'il raconte a réellement du sens.

Résumé technique : Évaluation des compétences de modélisation des processus métier des grands modèles de langage

Problématique

La création de modèles BPMN (Business Process Model and Notation) est une tâche cognitivement exigeante qui nécessite une expertise tant en connaissances métier qu'en conventions de modélisation. Bien que les grands modèles de langage (LLM) aient démontré un potentiel pour générer des artefacts structurés à partir du langage naturel, il existe un manque d'évaluation systématique concernant leur capacité à produire des modèles BPMN de haute qualité. Les évaluations existantes reposent souvent sur des approches de type « LLM-as-a-judge » (le LLM comme juge) ou ne parviennent pas à prendre en compte les dimensions établies de la qualité d'un modèle de processus, telles que la correction syntaxique, pragmatique et sémantique. De plus, la validité des fichiers XML générés — une exigence critique pour un déploiement pratique — n'a pas été rigoureusement testée à travers les LLM open-source.

Méthodologie

Le cadre BEF4LLM

Les auteurs introduisent BEF4LLM (BPMN Evaluation Framework for LLMs), un nouveau cadre d'évaluation étendant le cadre SIQ (Qualité Syntactique, Pragmatique et Sémantique). Contrairement aux approches précédentes, BEF4LLM intègre une quatrième dimension : la Validité. Le cadre comprend 39 métriques réparties en quatre dimensions :

Validité ( $Q_{val}$ ): Une mesure binaire (0 ou 1) vérifiant si le fichier BPMN-XML généré est analysable (parsable) et respecte le schéma XSD BPMN 2.0.
Qualité Syntactique ( $Q_{syn}$ ): 16 métriques évaluant l'adhérence aux règles de modélisation BPMN (ex: existence d'événements de début/fin, correspondance correcte des passerelles, règles de flux de séquence).
Qualité Pragmatique ( $Q_{prag}$ ): 15 métriques évaluant la compréhensibilité et la complexité, incluant la taille, la densité, l'interaction des connecteurs, la partitionnabilité et la concurrence. Celles-ci sont normalisées à l'aide de seuils validés empiriquement.
Qualité Sémantique ( $Q_{sem}$ ): 7 métriques mesurant la similitude entre le modèle généré et un modèle de référence (ground-truth) à travers le langage naturel (similitude des étiquettes), la structure de graphe (distance d'édition) et le comportement (empreintes causales).
Les scores pour chaque dimension sont agrégés en un score de qualité de processus total ( $Q_{qual}$ ) et un score total ( $Q_{total}$ ) qui inclut la validité.

Configuration Expérimentale

Jeu de données : Un jeu de données organisé de 105 paires texte-BPMN dérivées de cinq ensembles de données publics (Camunda, LRE, etc.), garantissant des références de haute qualité.
Modèles : 17 LLM open-source issus de familles incluant Llama 3, Qwen 2.5/3, Deepseek R1, Phi 4 et Falcon 3. Les modèles ont été catégorisés par taille (Petit $\le$ 7B, Moyen 7B–14B, Grand >14B).
Procédure :
1. Prompting : Un prompt système (exemple en un coup/one-shot) et un prompt de modélisation ont été utilisés pour instruire le LLM de générer du BPMN-XML.
2. Raffinement : Si la sortie initiale était invalide, un prompt de raffinement était envoyé pour corriger des erreurs XML spécifiques.
3. Exécution : Cinq exécutions par échantillon ont été menées avec une température de 0,1 pour permettre de légères variations tout en maintenant l'adhérence aux instructions.
4. Filtrage : Les LLM générant moins de 30 BPMN-XML valides en moyenne ont été exclus de l'analyse finale pour garantir la robustesse statistique.
Analyse Statistique : L'étude a employé des tests non paramétriques (Skillings-Mack pour les différences globales, Wilcoxon signed-rank pour les comparaisons par paires) avec correction de Bonferroni pour gérer les données manquantes et les scores ordinaux.
Référence Humaine : Un sous-ensemble de 9 descriptions textuelles a été modélisé par 5 experts humains pour établir une base de comparaison.

Principales Contributions

Cadre BEF4LLM : Le premier cadre spécifiquement conçu pour évaluer les LLM dans la modélisation BPMN, intégrant la validité comme une dimension critique aux côtés de la qualité syntaxique, pragmatique et sémantique.
Benchmark à grande échelle : Une évaluation étendue de 17 LLM open-source à travers 105 paires texte-BPMN, fournissant la première vue complète du paysage actuel des LLM dans la modélisation de processus.
Aperçus statistiques : Une analyse détaillée des différences de performance entre les familles et les tailles de LLM, révélant que le nombre de paramètres ne corrèle pas linéairement avec la qualité globale de modélisation.
Comparaison humaine : Un benchmarking direct des LLM les plus performants contre des experts en modélisation humaine, mettant en évidence les zones de convergence et de divergence.

Résultats

Performance Comparative

Qualité Syntactique : Les LLM ont généralement bien performé, avec des scores systématiquement supérieurs à 0,75. Falcon 3 10b a obtenu le score syntaxique le plus élevé (0,9082), bien que Llama 3.3 70b soit le performeur le plus constant à travers les dimensions.
Qualité Pragmatique : Les scores étaient élevés (majoritairement >0,8), indiquant que les modèles générés sont souvent faciles à comprendre. Qwen 2.5 14b a obtenu le score le plus élevé (0,8907).
Qualité Sémantique : Cette dimension est restée la plus faible pour tous les modèles (scores ~0,5–0,57). Qwen 2.5 32b et Llama 3.3 70b ont dominé cette catégorie.
Validité : Un goulot d'étranglement majeur. Seul Llama 3.3 70b a atteint un taux de validité supérieur à 90 % (97,33 %). De nombreux modèles plus petits ont échoué à générer fréquemment des XML valides.
Global : En excluant la validité, Llama 3.3 70b a obtenu la qualité de processus totale la plus élevée ( $Q_{qual}$ = 0,8143). En incluant la validité ( $Q_{total}$ ), il reste le leader (0,8143), tandis que les autres chutent significativement.

Influence de la Taille du Modèle

L'étude a constaté que « plus grand n'est pas toujours mieux ».

Effets d'échelle : L'augmentation du nombre de paramètres a généralement amélioré la qualité syntaxique et sémantique (de 3 à 5 points de pourcentage) mais a souvent dégradé la qualité pragmatique (d'environ 2 points). Les modèles plus grands ont tendance à générer des processus plus complexes et moins organisés.
Dépendance à l'architecture : La famille Qwen a montré des résultats oscillants où l'augmentation de la taille de 14B à 30B a nui à la qualité sémantique, tandis qu'un passage à 235B a restauré celle-ci mais a davantage dégradé la qualité pragmatique.
Conclusion : Le nombre de paramètres est un mauvais indicateur de la qualité globale du BPMN ; les modèles plus petits (ex: Llama 3 8b, Qwen 2.5 14b) offrent souvent un meilleur équilibre entre qualité et coût computationnel.

Comparaison avec les Experts Humains

Scores comparables : Les LLM et les experts humains ont obtenu des scores dans des plages similaires.
Forces/Faiblesses : Les LLM ont surpassé les humains en qualité syntaxique et pragmatique (moins d'erreurs structurelles, meilleur formatage). Cependant, les humains ont nettement surpassé les LLM en qualité sémantique (0,5152 contre ~0,50 pour les meilleurs LLM), indiquant une meilleure adéquation avec le sens voulu du texte.
Cohérence : Les modèles humains présentaient une variance plus faible dans les scores de qualité par rapport à la haute variance observée dans les sorties des LLM.

Signification et Revendications

L'article affirme que BEF4LLM fournit une procédure standardisée pour évaluer les LLM dans la modélisation BPMN, allant au-delà des simples métriques de type « LLM-as-a-judge ». Les conclusions suggèrent que, bien que les LLM open-source actuels aient atteint un niveau de compétence comparable aux experts humains pour les aspects structurels et de lisibilité, ils luttent encore avec l'alignement sémantique profond et, surtout, avec la génération de fichiers XML valides et analysables.

Les auteurs soulignent que la validité est l'obstacle principal pour le déploiement pratique. Ils soutiennent que les variantes ajustées par instruction (instruction-tuned) sont essentielles pour cette tâche et que le développement futur devrait se concentrer sur l'ajustement fin pour la précision sémantique et la réduction de l'utilisation des tokens via des représentations plus compactes. L'étude conclut que la conception de processus pilotée par l'IA peut abaisser les barrières à l'entrée pour la modélisation de processus, mais que des défis importants subsistent avant qu'une modélisation BPM entièrement automatisée et contextuelle pilotée par les LLM ne devienne une réalité.