Technische Samenvatting: Een Score-gebaseerde Benadering voor Gestructureerdheidsbewuste Business Process Classificatie

Probleemstelling

Bedrijfsprocessen variëren aanzienlijk in hun mate van voorspelbaarheid en flexibiliteit, variërend van zeer gestandaardiseerde workflows tot losjes gestructureerde, kennisintensieve activiteiten. Dit spectrum wordt doorgaans gecategoriseerd in vier klassen: gestructureerd, semi-gestructureerd, losjes gestructureerd en ongestructureerd. Het identificeren van het mate van gestructureerdheid van een proces is cruciaal voor organisaties, aangezien dit de selectie van passende modelleringsparadigma's (bijv. imperatieve versus declaratieve talen) bepaalt en governance en verbeteringsinitiatieven informeert.

Echter, huidige process mining-technieken missen automatische ondersteuning voor het beoordelen van de gestructureerdheid van een proces direct vanuit event logs. Bestaande benaderingen vertrouwen vaak op handmatige analyse van trace-varianten of vereisen dat domeinexperts gedragspatronen interpreteren, wat subjectiviteit en schaalbaarheidsproblemen met zich meebrengt. Bovendien brengen bestaande discovery-algoritmen gedragspatronen vaak in kaart naar specifieke modelleringstalen (bijv. BPMN of Declare) in plaats van een automatische, taalonafhankelijke classificatie van het onderliggende procesgedrag te bieden. De centrale onderzoeksvraag die wordt geadresseerd is: Hoe kunnen we het niveau van gestructureerdheid voor een gegeven proces automatisch classificeren door gedragspatronen in een event log te observeren?

Methodologie

De voorgestelde benadering is een score-gebaseerd classificatiesysteem dat in twee primaire stadia opereert: (1) de automatische ontdekking van fijnmazige activiteitsrelaties uit event logs, en (2) de toepassing van een gewogen scoring-heuristiek om de log in een gestructureerdheidsklasse te classificeren.

1. Uitgebreide Notatie van Activiteitsrelaties

Om het procesgedrag nauwkeuriger vast te leggen dan traditionele Directly Follows Graphs (DFG's), breiden de auteurs de notatie van activiteitsrelaties uit die door Andree et al. [14] is geïntroduceerd. Deze notatie onderscheidt twee dimensies van afhankelijkheid:

• Temporele Afhankelijkheden ($d_{temp}$): De ordening van activiteiten. De auteurs introduceren een "echte uiteindelijke" afhankelijkheid ($\prec_t$) om directe opvolging expliciet uit te sluiten, wat het onderscheidt van standaard uiteindelijke afhankelijkheden. Ze maken ook onderscheid tussen geen geobserveerde ordening ($x$) en bidirectionale ordening ($-$) voor parallelle activiteiten.
• Existentiële Afhankelijkheden ($d_{exist}$): De voorkomstafhankelijkheden tussen activiteiten (bijv. implicatie, co-occurrence, onafhankelijkheid).

Deze tweeledige benadering maakt een meer genuanceerde karakterisering van het procesgedrag mogelijk, waarbij het onderscheid wordt gemaakt tussen wanneer activiteiten plaatsvinden en of ze plaatsvinden.

2. Algoritme voor Relatieontdekking

De auteurs hebben een ontdekkingsalgoritme ontwikkeld (Algoritmen 1 en 2) dat een event log als input neemt en een Activity Relationships Matrix construeert.

• Preprocessing: Het algoritme maakt gebruik van een automatische, trace-niveau ruisfilteringsmechanisme. Het afleidt een minimum frequentiedrempel voor varianten met behulp van een gap-gebaseerde estimator en een grootte-bewuste floor-based estimator om legitieme procesvarianten te scheiden van ruis zonder te vertrouwen op willekeurige tolerantieparameters.
• Temporele Ontdekking: Het algoritme analyseert de volgorde van activiteitsparen over traces heen, waarbij gebruik wordt gemaakt van Strongly Connected Components (SCC's) om lussen af te handelen en onderscheid te maken tussen directe, uiteindelijke en echte uiteindelijke afhankelijkheden.
• Existentiële Ontdekking: Het algoritme classificeert traces op basis van de aanwezigheid of afwezigheid van activiteitsparen om existentiële typen te bepalen (bijv. implicatie, co-occurrence, onafhankelijkheid).
• Validatie: Het algoritme werd gevalideerd op synthetische logs met diverse control-flow patronen (parallellisme, XOR, lussen, nesting). Het behaalde 100% nauwkeurigheid bij het ontdekken van zowel temporele als existentiële afhankelijkheden in ruisvrije logs en behield deze nauwkeurigheid in ruisige logs na toepassing van de trace-niveau filter.

3. Scoring-gebaseerde Classificatie-heuristiek

Zodra de activity relationships matrix is gegenereerd, classificeert een scoring-algoritme de log in een van de vier gestructureerdheidsklassen ($S, SS, LS, US$).

• Pre-filtering: Een specifieke pre-filter identificeert ongestructureerde (US) processen. Als alle activiteitsparen exact hetzelfde temporele en existentiële type delen (specifiek onafhankelijkheid) en er geen direct-follows relaties bestaan, wordt het proces als ongestructureerd geclassificeerd.
• Gewogen Scoring: Voor de overige klassen berekent het algoritme een gewogen score op basis van de distributie van relatietypes.
  • Marginale versus Gezamenlijke Ratio's: Het systeem berekent de ratio van elk relatietype. Het hanteert een dominantie-gebaseerd selectiemechanisme: als een specifieke gezamenlijke combinatie van temporele en existentiële afhankelijkheden (bijv. temporele onafhankelijkheid + existentiële implicatie) een marginale slot domineert (de drempel $\theta = 0.35$ overschrijdt), wordt een specifieke gezamenlijke gewicht toegepast. Anders wordt een marginaal gewicht gebruikt.
  • Klasse-specifieke Gewichten: Gewichten worden toegewezen op basis van de definities van de gestructureerdheidsklassen. Bijvoorbeeld, directe temporele afhankelijkheden en existentiële co-occurrences ontvangen hoge positieve gewichten voor de Gestructureerde klasse, terwijl existentiële onafhankelijkheid hoge positieve gewichten ontvangt voor Losjes Gestructureerd en negatieve gewichten voor Gestructureerd.
• Grensdetectie: Als de scoremarge tussen de top twee klassen onder een drempelwaarde ($\delta = 0.2$) valt, wordt de output gemarkeerd als een grensgeval (bijv. $S/SS$).

Belangrijkste Bijdragen

1. Geautomatiseerde Gestructureerdheid Classificatie: Het artikel stelt de eerste geautomatiseerde benadering voor om event logs te classificeren in gestructureerdheidsklassen ($S, SS, LS, US$) zonder dat handmatige interventie of referentiemodellen nodig zijn.
2. Uitgebreide Notatie en Ontdekkingsalgoritme: De auteurs introduceren een uitbreiding van de activiteitsrelatie-notatie (inclusclusief "echte uiteindelijke" afhankelijkheden) en een bijbehorend ontdekkingsalgoritme dat deze relaties direct uit event logs extraheert, waarmee zij de beperking overwinnen dat eerdere methoden handmatige afleiding uit BPMN-diagrammen vereisten.
3. Synthetische Dataset: Een dataset van 38 gelabelde synthetische event logs is gegenereerd om de classificatie-heuristiek te trainen en te valideren, waarbij het volledige spectrum van gestructureerdheid wordt gedekt.
4. Empirische Validatie: De benadering is geëvalueerd tegen zowel de synthetische dataset als een enquête onder menselijke experts die real-world en synthetische processen classificeerden.

Resultaten

• Algoritmische Nauwkeurigheid: Het ontdekkingsalgoritme behaalde 100% nauwkeurigheid bij het identificeren van temporele en existentiële afhankelijkheden in synthetische logs, zelfs in aanwezigheid van ruis, mits de trace-niveau filtering werd toegepast.
• Classificatieprestaties:
  • In de evaluatie met betrekking tot 8 processen (P1–P8) en 13 deelnemers, kwamen de classificaties van het algoritme in de meeste gevallen overeen met de expertbeoordelingen en de grondwaarheid afgeleid uit de literatuur.
  • Voor Gestructureerde (P3, P4) en Ongestructureerde (P8) processen behaalde het algoritme een hoge overeenstemming met experts.
  • Voor Semi-gestructureerde (P1, P2) processen identificeerde het algoritme correct de dominante kenmerken, wat overeenkwam met de meerderheid van de expertmeningen.
  • Voor Losjes Gestructureerde (P5, P6, P7) processen waren de resultaten gemengd. Bij P5 classificeerde het algoritme het proces als semi-gestructureerd, terwijl de literatuur het beschreef als losjes gestructureerd. De auteurs schrijven dit toe aan de "gedistribueerde flexibiliteit" van real-world logs, waarbij onafhankelijkheid verspreid is over meerdere temporele typen in plaats van geconcentreerd in één dominant gezamenlijk patroon, waardoor de dominantie-gebaseerde scoring terugvalt op marginale gewichten.
• Mens versus Machine: De enquête toonde aan dat handmatige classificatie over het algemeen eenvoudig is voor processen aan de extremen (zeer gestructureerd of ongestructureerd), maar aanzienlijk moeilijker wordt voor de intermediaire niveaus (semi-gestructureerd en losjes gestructureerd). Dit onderstreept de waarde van een geautomatiseerde benadering voor het aanpakken van de cognitieve complexiteit van het onderscheiden van intermediaire gestructureerdheid.

Betekenis en Claims

Het artikel claimt een systematisch en objectief fundament te bieden voor de analyse van procesgestructureerdheid. Door gestructureerdheidsklassen te koppelen aan interpreteerbare activiteitsafhankelijkheidspatronen, biedt de benadering een reproduceerbaar alternatief voor handmatige expertbeoordeling.

De auteurs benadrukken dat hun bijdrage geen "black box" machine learning model is maar een theorie-gedreven, score-gebaseerde benadering die de classificatie-uitkomsten expliciet verbindt met specifieke gedragskenmerken (bijv. de prevalentie van onafhankelijkheid versus directe opvolging). Deze interpreteerbaarheid wordt gepresenteerd als een belangrijk voordeel voor procesanalyse en besluitvorming.

Het artikel erkent bescheiden de beperkingen:

• De classificatie is afhankelijk van de kwaliteit van het onderliggende ontdekkingsalgoritme en de ruisfiltering.
• Het dominantie-gebaseerde mechanisme kan moeite hebben met real-world logs waar flexibiliteit gedistribueerd is in plaats van geconcentreerd, wat potentieel kan leiden tot borderline classificaties voor complexe processen.
• De "Ongestructureerde" klasse wordt behandeld als een theoretisch randgeval, en de empirische aanwezigheid ervan in real-world settings blijft een open vraag.
• De benadering vereist momenteel een duidelijke kloof in de variantfrequentieverdelingen voor optimale ruisfiltering; in zeer variabele logs zonder dergelijke gaten kan het fallback-mechanisme minder precies zijn.

Uiteindelijk beoogt het werk organisaties in staat te stellen om hun processen automatisch te karakteriseren, waardoor zij de selectie van passende modelleringsparadigma's kunnen faciliteren en de beoordeling van procesvolwassenheid kunnen ondersteunen zonder de noodzaak van uitgebreide handmatige analyse of vooraf bestaande referentiemodellen.