Technische Samenvatting: Feature Attribution-gebaseerde Verklarende Analyse in Predictieve Procesmonitoring

1. Probleemstelling

Predictieve Procesmonitoring (PPM) maakt gebruik van deep learning-modellen, zoals Recurrent Neural Networks (RNN's) en Transformers, om de uitkomsten, resterende tijd of toekomstige activiteitssequenties van lopende bedrijfsprocessen te voorspellen. Hoewel deze modellen een hoge voorspellende prestatie bereiken door sequentiële afhankelijkheden in eventlogs te vangen, belemmert hun "black-box"-aard vertrouwen en adoptie in kritieke operationele omgevingen.

Bestaande verklaringsmethoden, met name feature attribution-technieken zoals SHAP (Shapley Additive Explanations) en LIME, kampen met een dilemma wanneer ze op PPM worden toegepast:

• Verklaringen op event-niveau: Het toekennen van belang aan individuele events resulteert vaak in gefragmenteerde inzichten die er niet in slagen betekenisvol procesgedrag of de bredere context van de uitvoering te onthullen.
• Verklaringen op trace-niveau: Het aggregeren van de volledige trace tot één enkele eenheid leidt tot informatieverlies en verduistert welke specifieke delen van de uitvoering de voorspelling drijven.
• Beperkingen van tijdreeksen: Hoewel de tijdreeksliteratuur segmentatiemethoden biedt om aangrenzende observaties te groeperen, schieten deze generieke benaderingen vaak tekort omdat ze geen rekening houden met de specifieke control-flow beperkingen, activiteitsemantiek en de onregelmatige timing die inherent zijn aan eventlogs van bedrijfsprocessen. Ze kunnen coherente procesfasen splitsen of ongerelateerde gedragingen samenvoegen.

Als gevolg hiervan is er behoefte aan een verklarende aanpak die een balans vindt tussen computationele efficiëntie en het behoud van de lokale control-flow context, zodat belanghebbenden kunnen begrijpen welke procesfasen een voorspelling beïnvloeden.

2. Methodologie

De auteurs stellen een lokale post-hoc verklarende methode voor die een control-flow-bewust segmentatie-algoritme integreert met segment-niveau SHAP-waarde berekening.

2.1 Control-Flow-Bewuste Trace Segmentatie

De kern van de methodologie is een algoritme dat een trace partitioneert in coherente subsequenties (segmenten) op basis van verschuivingen in transitiekansen.

• Directly-Follows Relation (DFR): Het algoritme construeert eerst een Directly-Follows Graph (DFG) uit de eventlog om empirische transitiekansen tussen activiteiten af te leiden.
• Kostenfunctie: Voor een gegeven trace wijst het algoritme een kosten toe aan potentiële segmenten. Transities die frequent voorkomen in de log dragen een lage kosten toe, terwijl zeldzame of niet-bestaande transities een straf ($\gamma$) opleggen. De kosten van een segment $s$ zijn gedefinieerd als de som van de negatieve log-kansen van zijn transities:
  $$C(s) = \sum_{i=1}^{m-1} c(a_i, a_{i+1})$$
  waarbij $c(a_i, a_{i+1}) = -\log T[a_i, a_{i+1}]$ als de transitie bestaat, en $\gamma$ anders.
• Change Point Detectie: Het algoritme gebruikt het PELT (Pruned Exact Linear Time) algoritme om veranderpunten te detecteren die een gepenaliseerde objectieve functie minimaliseren. Deze functie balanceert de totale segmentatiekosten tegen een strafterm ($\beta k$) voor het aantal segmenten, wat oversegmentatie voorkomt. De hyperparameter $\beta$ wordt via grid search geselecteerd om het Akaike Information Criterion (AIC) te minimaliseren.
• Resultaat: De trace wordt verdeeld in segmenten waarbij elk segment een fase van consistente lokale control-flow gedrag vertegenwoordigt.

2.2 Segment-Niveau SHAP Berekening

Zodra traces zijn gesegmenteerd, behandelt de methode elk segment als een enkele interpreteerbare eenheid voor de SHAP-waarde berekening, in plaats van individuele events.

• Coalitie Definitie: Een coalitievector $z \in \{0, 1\}^k$ wordt gedefinieerd voor $k$ segmenten. $z_l=1$ geeft aan dat het segment zijn oorspronkelijke waarden behoudt, terwijl $z_l=0$ aangeeft dat het wordt vervangen door een baseline-waarde (afgeleid van de modus van categorische attributen en het gemiddelde van numerieke attributen in de trainingsdata).
• Perturbatie: Het model wordt geëvalueerd op geperturbeerde traces waarbij specifieke segmenten worden gemaskeerd en vervangen door de baseline.
• SHAP Waarden: KernelSHAP wordt toegepast om de Shapley-waarden voor elk segment te berekenen, waarbij voldoet aan de efficiëntie-eigenschap waarbij de som van de segment-attributies gelijk is aan het verschil tussen de modelvoorspelling en de baseline-voorspelling.

3. Experimentele Opstelling

De studie evalueert de voorgestelde methode met behulp van:

• Datasets:
  • Een synthetische dataset gegenereerd door de SimBank simulator, met bekende grondwaarheid change points (annulering versus acceptatie uitkomsten) om de nauwkeurigheid van de segmentatie te valideren.
  • Twee echte benchmarks: BPIC15 (Nederlandse gemeentelijke administratieve processen) en BPIC17 (financiële instellingen leningaanvragen).
• Predictief Model: LSTM-gebaseerde sequentieclassificators getraind op vaste lengte prefixes (30 events) om binaire uitkomsten te voorspellen (bijv. geaccepteerd vs. geannuleerd).
• Baselines:
  • Per-event attributie: Standaard event-niveau SHAP.
  • Distributie-gebaseerde segmentatie: Een methode die events groepeert op basis van tijdsvensters en sessie-definities (geadapteerd uit aanbevelingssystemen).
• Evaluatiemetrieken:
  • Segmentatie Kwaliteit: RandIndex, Precisie, Recall, en F1-score (synthetisch); Entropic Relevance (ER) en patroondekking (echte wereld).
  • Verklarende Getrouwheid (Faithfulness): Relative Prediction Change (RPC) via perturbatie. Dit meet hoeveel de voorspelling verandert wanneer belangrijke segmenten (hoge SHAP) worden geperturbeerd versus onbelangrijke segmenten (lage SHAP).

4. Belangrijkste Resultaten

4.1 Segmentatie Kwaliteit

• Synthetische Data: Het voorgestelde algoritme behaalde een hoge overeenstemming met de grondwaarheid change points, met RandIndex scores boven de 0.9 en F1-scores van 89% (geannuleerde gevallen) en 87,4% (geaccepteerde gevallen).
• Echte Data (BPIC17): De methode identificeerde coherente procesfasen. Voor geaccepteerde gevallen dekten de top 10 segmentatiepatronen 81,4% van de traces, wat duidt op stabiele control-flow structuren. De Entropic Relevance (ER) daalde significant van 37,81 (volledige log) naar 6,68 (gesegmenteerd), wat aangeeft dat de segmenten hoog deterministische, samendrukbare patronen bevatten.
• Echte Data (BPIC15): Vanwege de hoge variabiliteit en lage transitiekansen tussen veel paren van activiteiten, produceerde het algoritme fijnmazige segmenten (gemiddeld 2 events per segment). Dit suggereert dat logs met een hoge control-flow variabiliteit de mogelijkheid om generaliseerbare segmentpatronen te vormen beperken.

4.2 Verklarende Getrouwheid

• Perturbatie Analyse: De segment-niveau SHAP-waarden vertoonden een hoge getrouwheid. Het perturberen van de top-k meest belangrijke segmenten (die ~40% van de trace beslaan) resulteerde in significante voorspellingswijzigingen (hoge RPCI), terwijl het perturberen van onbelangrijke segmenten een minimaal effect had (lage RPCU).
• Vergelijking: Hoewel per-event attributie een iets hogere granulariteit vertoonde, boden segment-niveau methoden (zowel distributie-gebaseerd als control-flow-bewust) een schonere scheiding tussen belangrijke en onbelangrijke delen van de trace. Per-event methoden verstoorden soms lokale afhankelijkheden door geïsoleerde events te perturberen, wat leidde tot onverwachte voorspellingsverschuivingen.

4.3 Kwalitatieve Inzichten

• Geaccepteerde Gevallen (BPIC17): Segmenten met vloeiende transities (bijv. Concept $\to$ Complete application) duwden voorspellingen consistent richting acceptatie (negatieve SHAP-waarden).
• Geannuleerde Gevallen (BPIC17): Segmenten die herhaalde aanbiedingen creëren, ontvingen hoge positieve SHAP-waarden, wat sterk richting annulering duwde. Dit identificeerde een specifieke bottleneck (herhaalde aanbieding genereren) die geassocieerd is met falen.
• Interpreteerbaarheid: De methode slaagde erin modelvoorspellingen te koppelen aan concrete procesfasen (bijv. "aanvraag voltooiing" versus "aanbieding creatie") in plaats van aan geïsoleerde events.

5. Betekenis en Claims

Het artikel claimt dat de voorgestelde methode een nuttig middenpad biedt tussen fijnmazige event-niveau en grove trace-niveau verklaringen.

• Contextbehoud: Door activiteiten te groeperen op basis van control-flow dynamiek, behoudt de methode de lokale context die nodig is om te interpreteren waarom een activiteit een uitkomst beïnvloedt.
• Begrijpelijkheid: Het vermindert de "interleaving" van belangrijke en onbelangrijke events, waardoor verklaringen begrijpelijker worden voor procesbelanghebbenden.
• Afhankelijkheid van Log-structuur: De auteurs merken bescheiden op dat de effectiviteit van de methode afhankelijk is van de structuur van de eventlog. Logs met matige control-flow variabiliteit (zoals BPIC17) leveren betekenisvolle, vergelijkbare segmenten op, terwijl zeer variabele logs (zoals BPIC15) resulteren in geval-specifieke, fijnmazige segmentatie die generalisatie beperkt.
• Praktisch Nut: De aanpak maakt identificatie van specifieke procesfasen (change points) mogelijk die gevallen naar voorspelde uitkomsten sturen, wat gerichte besluitvorming en bottleneck-detectie ondersteunt zonder dat volledige modeltransparantie vereist is.

De studie concludeert dat hoewel event-niveau attributies vanwege hun granulariteit iets trouwer blijven, segment-niveau verklaringen de interpreteerbaarheid van deep learning-modellen in PPM aanzienlijk verbeteren door ze af te stemmen op de structurele beperkingen van bedrijfsprocessen.