Technische Samenvatting: Beoordeling van de competenties voor procesmodellering van Large Language Models

Probleemstelling

Het creëren van BPMN-modellen (Business Process Model and Notation) is een cognitief veeleisende taak die expertise vereist in zowel domeinkennis als modelleringsconventies. Hoewel Large Language Models (LLM's) potentie hebben getoond in het genereren van gestructureerde artefacten vanuit natuurlijke taal, is er een gebrek aan systematische evaluatie met betrekking tot hun vermogen om hoogwaardige BPMN-modellen te produceren. Bestaande evaluaties vertrouwen vaak op "LLM-as-a-judge"-benaderingen of verzuimen dimensies van procesmodelkwaliteit te overwegen, zoals syntactische, pragmatische en semantische correctheid. Bovendien is de validiteit van gegenereerde XML-bestanden—een cruciale vereiste voor praktische implementatie—niet rigoureus getest over open-source LLM's.

Methodologie

Het BEF4LLM-framework

De auteurs introduceren BEF4LLM (BPMN Evaluation Framework for LLMs), een nieuw evaluatieframework dat het SIQ-framework (Syntactic, Pragmatic, and Semantic Quality) uitbreidt. In tegenstelling tot eerdere benaderingen bevat BEF4LLM een vierde dimensie: Validiteit. Het framework bestaat uit 39 metrieken verdeeld over vier dimensies:

1. Validiteit ($Q_{val}$): Een binaire maatstaf (0 of 1) die controleert of het gegenereerde BPMN-XML-bestand parseerbaar is en voldoet aan het BPMN 2.0 XSD-schema.
2. Syntactische Kwaliteit ($Q_{syn}$): 16 metrieken die de naleving van BPMN-modelleringsregels evalueren (bijv. aanwezigheid van start/eind-events, correcte gateway-matching, regels voor sequentiele flows).
3. Pragmatische Kwaliteit ($Q_{prag}$): 15 metrieken die begrijpelijkheid en complexiteit beoordelen, inclus\u0020bij de grootte, dichtheid, interactie tussen verbindingen, partitioneerbaarheid en concurrentie. Deze worden genormaliseerd met behulp van empirisch gevalideerde drempelwaarden.
4. Semantische Kwaliteit ($Q_{sem}$): 7 metrieken die de gelijkenis meten tussen het gegenereerde model en een grondwaarheid-model (ground-truth) op basis van natuurlijke taal (labelgelijkenis), grafische structuur (edit distance) en gedrag (causale voetafdrukken).

Scores voor elke dimensie worden geaggregeerd in een totale proceskwaliteitsscore ($Q_{qual}$) en een totaalscore ($Q_{total}$) die validiteit bevat.

Experimentele Opzet

• Dataset: Een gecureerde dataset van 105 tekst-BPMN paren afgeleid van vijf publieke datasets (Camunda, LRE, etc.), wat zorgt voor hoogwaardige grondwaarheden.
• Modellen: 17 open-source LLM's uit families waaronder Llama 3, Qwen 2.5/3, Deepseek R1, Phi 4 en Falcon 3. Modellen werden gecategoriseerd op grootte (Small $\le$7B, Medium 7B\u201314B, Large >14B).
• Procedure:
  1. Prompting: Een systeemprompt (one-shot voorbeeld) en een modelleringsprompt werden gebruikt om de LLM aan te sturen om BPMN-XML te genereren.
  2. Verfijning: Als de initiële output ongeldig was, werd een verfijningsprompt verzonden om specifieke XML-fouten te corrigeren.
  3. Executie: Vijf runs per sample werden uitgevoerd met een temperatuur van 0.1 om kleine variaties toe te staan terwijl de instructie-naleving behouden bleef.
  4. Filtering: LLM's die gemiddeld minder dan 30 geldige BPMN-XML's genereerden, werden uitgesloten van de definitieve analyse om statistische robuustheid te garanderen.
• Statistische Analyse: De studie maakte gebruik van non-parametrische toetsen (Skillings-Mack voor globale verschillen, Wilcoxon signed-rank voor paarwijze vergelijkingen) met Bonferroni-correctie om te gaan met ontbrekende gegevens en ordinale scores.
• Menselijke Benchmark: Een subset van 9 tekstbeschrijvingen werd gemodelleerd door 5 menselijke experts om een baseline voor vergelijking vast te stellen.

Belangrijkste Bijdragen

1. BEF4LLM Framework: Het eerste framework dat specifiek is ontworpen om LLM's in BPMN-modellering te evalueren, waarbij validiteit als een kritische dimensie wordt geïntegreerd naast syntactische, pragmatische en semantische kwaliteit.
2. Grootschalige Benchmark: Een uitgebreide evaluatie van 17 open-source LLM's over 105 tekst-BPMN paren, wat het eerste uitgebreide beeld geeft van het huidige LLM-landschap in procesmodellering.
3. Statistische Inzichten: Een gedetailleerde analyse van de prestatieverschillen tussen LLM-families en -groottes, waaruit blijkt dat het aantal parameters niet lineair correleert met de algehele modelleringskwaliteit.
4. Menselijke Vergelijking: Een directe benchmarking van de best presterende LLM's tegenover menselijke modelleringsdeskundigen, waarbij gebieden van convergentie en divergentie worden belicht.

Resultaten

Vergelijkende Prestaties

• Syntactische Kwaliteit: LLM's presteerden over het algemeen goed, met scores consequent boven de 0.75. Falcon 3 10b behaalde de hoogste syntactische score (0.9082), hoewel Llama 3.3 70b de meest consistente top performer was over alle dimensies.
• Pragmatische Kwaliteit: De scores waren hoog (meestal >0.8), wat aangeeft dat gegenereerde modellen vaak gemakkelijk te begrijpen zijn. Qwen 2.5 14b scoorde het hoogst (0.8907).
• Semantische Kwaliteit: Dit bleef de zwakste dimensie voor alle modellen (scores ~0.5\u20130.57). Qwen 2.5 32b en Llama 3.3 70b leidden deze categorie.
• Validiteit: Een grote flessenhals. Alleen Llama 3.3 70b bereikte een validiteitspercentage boven de 90% (97.33%). Veel kleinere modellen faalden er vaak in om geldige XML's te genereren.
• Totaal: Wanneer validiteit wordt uitgesloten, behaalde Llama 3.3 70b de hoogste totale proceskwaliteit ($Q_{qual}$ = 0.8143). Wanneer validiteit wordt meegerekend ($Q_{total}$), bleef het de leider (0.8143), terwijl anderen aanzienlijk daalden.

Invloed van Modelgrootte

De studie vond dat "groter niet altijd beter is".

• Schaalbareffecten: Het verhogen van het aantal parameters verbeterde over het algemeen de syntactische en semantische kwaliteit (met 3\u20135 procentpunten), maar verslechterde vaak de pragmatische kwaliteit (met ~2 punten). Grotere modellen hadden de neiging om complexere, minder georganiseerde processen te genereren.
• Architectuurafhankelijkheid: De Qwen 3-familie vertoonde oscillerende resultaten waarbij het vergroten van de omvang van 14B naar 30B de semantische kwaliteit schaadde, terwijl een sprong naar 235B deze herstelde maar de pragmatische kwaliteit verder verslechterde.
• Conclusie: Het aantal parameters is een slechte indicator voor de algehele BPMN-kwaliteit; kleinere modellen (bijv. Llama 3 8b, Qwen 2.5 14b) bieden vaak een betere balans tussen kwaliteit en computationele kosten.

Vergelijking met Menselijke Experts

• Vergelijkbare Scores: LLM's en menselijke experts behaalden scores in vergelijkbare bereiken.
• Sterktes/Zwaktes: LLM's presteerden beter dan mensen op het gebied van syntactische en pragmatische kwaliteit (minder structurele fouten, betere formattering). Echter, mensen presteerden aanzienlijk beter dan LLM's op het gebied van semantische kwaliteit (0.5152 vs. ~0.50 voor top LLM's), wat duidt op een betere afstemming met de beoogde betekenis van de tekst.
• Consistentie: Menselijke modellen vertoonden een lagere variantie in kwaliteitsscores vergeleken met de hoge variantie in LLM-outputs.

Betekenis en Claims

Het artikel claimt dat BEF4LLM een gestandaardiseerde procedure biedt voor het evalueren van LLM's in BPMN-modellering, waarmee verder wordt gegaan dan eenvoudige "LLM-as-a-judge"-metrieken. De bevindingen suggereren dat hoewel huidige open-source LLM's een niveau van competentie hebben bereikt dat vergelijkbaar is met menselijke experts op het gebied van structurele en leesbaarheid aspecten, ze nog steeds worstelen met diepe semantische afstemming en, cruciaal, met het genereren van geldige, parseerbare XML-bestanden.

De auteurs benadrukken dat validiteit de primaire hindernis is voor praktische implementatie. Ze stellen dat instructie-getunede varianten essentieel zijn voor deze taak en dat toekomstige ontwikkeling zich moet richten op fine-tuning voor semantische nauwkeurigheid en het verminderen van tokengebruik door middel van compactere representaties. De studie concludeert dat AI-gestuurd procesontwerp de drempel voor procesmodellering kan verlagen, maar dat er nog aanzienlijke uitdagingen zijn voordat volledig geautomatiseerde, contextbewuste BPM aangedreven door LLM's een realiteit wordt.