🤖 AI

Learning optimal policies from event logs through reinforcement learning: a comparison of deep and MDP-based approaches

Dit artikel stelt een Reinforcement Learning-framework voor Prescriptive Process Monitoring voor, dat optimale gedragsbeleid direct leert van historische event logs om acties aan te bevelen voor het optimaliseren van Key Performance Indicators, waarbij een model-gebaseerde Markov Decision Process-benadering wordt vergeleken met een model-vrije Deep RL-methode en wordt aangetoond dat beide effectief KPI's verbeteren terwijl de model-gebaseerde benadering een superieure computationele efficiëntie biedt.

Oorspronkelijke auteurs: Stefano Branchi, Andrei Buliga, Chiara Di Francescomarino, Chiara Ghidini, Riccardo Graziosi, Francesca Meneghello, Massimiliano Ronzani

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stefano Branchi, Andrei Buliga, Chiara Di Francescomarino, Chiara Ghidini, Riccardo Graziosi, Francesca Meneghello, Massimiliano Ronzani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een drukke bank. Elke dag vragen klanten een lening aan. Soms wordt de lening goedgekeurd, soms wordt deze afgewezen, en soms loopt de klant gewoon weg. Je doel is simpel: zoveel mogelijk klanten "Ja" laten zeggen tegen je leningaanbod.

Je hebt echter niet de volledige controle. Je beheert de acties van de bank (zoals het versturen van een aanbod of het vragen om meer informatie), maar je beheert niet de acties van de klant (zoals het besluiten om te accepteren, te weigeren of te stoppen). Het is als het spelen van een spellet evenals schaken waarbij je alleen je eigen stukken kunt bewegen, maar je tegenstander (de klant) zijn zetten doet op basis van zijn stemming.

Dit artikel gaat over het leren van een computer om de beste bankmanager te zijn door te kijken naar oude gegevens van hoe de bank het spel in het verleden heeft gespeeld. Het doel is om de perfecte strategie te bepalen om vaker te winnen.

De twee "Coaches"

De onderzoekers testten twee verschillende manieren (of "coaches") om de computer deze strategie te leren met behulp van Reinforcement Learning (een vorm van AI die leert door middel van vallen en opstaan, maar in dit geval leert uit een geschiedenisboek in plaats van live te spelen).

1. De "Kaartenmaker" (MDP-gebaseerde aanpak)

Deze coach kijkt naar de duizenden eerdere leningaanvragen en probeert een gedetailleerde kaart van het spel te maken.

Hoe het werkt: Het groepeert vergelijkbare situaties (zoals "Klant vroeg om $10k en wij stuurden een aanbod") en berekent de kansen op wat er daarna gebeurt. Het creëert een duidelijke regelset: "Als je in Situatie A bent, doe dan Actie B."
De analogie: Stel je een GPS voor die elke weg in een stad heeft in kaart gebracht. Het weet precies welke afslag tot files leidt en welke tot een kortere route. Het bouwt eerst een volledig model van de stad voordat het je vertelt waar je heen moet gaan.
Het nadeel: Het maken van deze kaart kost wat werk, en als de kaart te gedetailleerd is, kan het in de war raken door zeldzame, vreemde gebeurtenissen. Om dit op te lossen, voegden de onderzoekers een "filter" toe om onbetrouwbare, zeldzame paden in het geschiedenisboek te negeren.

2. De "Diepe Leerling" (Offline Deep RL)

Deze coach probeert geen kaart te maken. In plaats daarvan gebruikt het een superintelligent neuraal netwerk (zoals een brein met vele lagen) om naar het geschiedenisboek te kijken en direct de beste zet te raden.

Hoe het werkt: Het leest de oude gegevens en probeert verborgen patronen te vinden die een mens of een eenvoudige kaart misschien zou missen. Het leert door de gegevens keer op keer te bekijken.
De analogie: Stel je een grootmeester bij schaken voor die miljoenen partijen heeft bekeken. Ze hebben geen kaart van het bord nodig; ze "voelen" de juiste zet simpelweg op basis van intuïtie die is opgebouwd door ervaring.
Het nadeel: Dit "brein" is erg zwaar. Het duurt lang om te trainen en vereist veel rekenkracht, zoals het proberen op te lossen van een gigantische puzzel met een supercomputer.

Het Experiment: De Simulatie-arena

Omdat je niet zomaar slecht advies aan echte klanten kunt geven om te zien wat er gebeurt (dat zou de bank geld kosten), hebben de onderzoekers een virtuele simulatie gebouwd.

Ze hebben een "videogame"-versie van het leningproces gemaakt.
Ze lieten de computer het spel duizenden keren spelen met behulp van de strategieën die het heeft geleerd.
Ze maten de score: Hoeveel winst maakte de bank? (Winst = ontvangen rente minus de tijd besteed aan het verwerken van de lening).

Wat ze vonden

De resultaten waren interessant:

Beide coaches wonnen: Zowel de "Kaartenmaker" als de "Diepe Leerling" bedachten strategieën die veel beter waren dan de oude, standaard manier van de bank. Ze hielpen de bank beide om meer "Ja"-antwoorden van klanten te krijgen.
De Kaartenmaker was iets beter: De "Kaartenmaker" (MDP) vond consequent iets betere strategieën, vooral in de lastige, zeldzame situaties. Het was betrouwbaarder in het weten wat er precies moest gebeuren.
De Kaartenmaker was veel sneller: Dit was het grootste verschil. De "Kaartenmaker" leerde zijn strategie in een kwestie van minuten. De "Diepe Leerling" deed er uren over (of zelfs dagen, afhankelijk van de omvang van de gegevens) om te trainen.
- Analogie: De Kaartenmaker was als een student die een tekstboek bestudeerde en de toets in 10 minuten haalde. De Diepe Leerling was als een student die de hele encyclopedie 100 keer moest herlezen om hetzelfde cijfer te halen.

De Kern van het Verhaal

De paper concludeert dat als je een computer wilt leren hoe hij een bedrijfsproces (zoals leninggoedkeuringen) moet aansturen met behulp van historische gegevens:

Je hebt niet altijd de meest complexe, zware AI (Deep Learning) nodig.
Een eenvoudigere aanpak die een duidelijk model van het proces bouwt (MDP) werkt even goed, zo niet beter, en is veel sneller en goedkoper in gebruik.

Het is een herinnering dat soms een goede, duidelijke kaart beter is dan een supercomplexe hersenstructuur, vooral wanneer je gewoon efficiënt een taak wilt volbrengen.

Technische Samenvatting: Het leren van optimale beleidsregels uit event logs via Reinforcement Learning

Probleemdefinitie

Het artikel behandelt de uitdaging van Prescriptive Process Monitoring (PPM), met een specifieke focus op het leren van optimale gedragsbeleidsregels direct uit historische event logs. In tegenstelling tot bestaande PPM-benaderingen die vooraf gedefinieerde interventies of specifieke volgende activiteiten aanbevelen op basis van expertregels, streeft dit werk naar het ontdekken van algemene strategieën die bepalen wat de beste sequentie van acties is om een specifieke Key Performance Indicator (KPI) te maximaliseren.

Een cruciale beperking van het probleem is de multi-actor omgeving. In veel reële processen (bijv. leningaanvragen) controleert de proceseigenaar (de agent) slechts een deel van de activiteiten, terwijl andere worden gedreven door externe actoren (bijv. klanten) of exogene factoren. Het doel is om een beleid te leren voor de agent dat de KPI optimaliseert, ondanks het feit dat deze slechts gedeeltelijke controle heeft over de procesuitvoering.

De auteurs identificeren twee primaire uitdagingen bij het toepassen van Reinforcement Learning (RL) in dit domein:

Data-gestuurd leren: Het vermijden van de afhankelijkheid van uitgebreide domeinkennis om handmatig toestandsruimten of interventiesets te definiëren.
Evaluatieveiligheid: De onpraktischeerbaarheid om beleidsregels op live systemen te testen vanwege het risico op verstoring. Daarom is een robuust evaluatiemechanisme vereist vóór implementatie.

Methodologie

Het artikel stelt twee verschillende AI-gebaseerde benaderingen voor en vergelijkt deze voor het leren van optimale beleidsregels uit event data, die beide opereren binnen een multi-actor setting waarbij de agent specifieke activiteiten controleert.

1. Model-gebaseerde benadering (MDP-gebaseerde RL)

Deze benadering construeert een expliciete Markov Decision Process (MDP) vanuit de event log en lost deze op met behulp van Dynamic Programming (DP).

MDP Constructie:
- Acties: Gedefinieerd als activiteiten die door de agent worden gecontroleerd.
- Toestanden: Geconstrueerd door de trace-historie te coderen. De auteurs gebruiken k-means clustering op gecodeerde prefixes (activiteitsfrequenties, posities en genormaliseerde prefix-beloningen) om de dimensionaliteit van de toestandsruimte te beheersen en explosie te voorkomen. Een toestand wordt gedefinieerd als het paar van de laatst uitgevoerde activiteit en de toegewezen cluster.
- Transities & Beloningen: Gebouwd door traces te herafspelen om transitiekansen en gemiddelde beloningen te schatten.
Beleidsleren: De optimale beleidsregel wordt afgeleid met behulp van Value Iteration.
Omgaan met Data-schaarsheid: Om te voorkomen dat de agent zeldzame, hoog-belonende transities exploiteert (overfitting), introduceren de auteurs een schalingsfunctie $h(s, a)$ die wordt toegepast op de Q-waarde. Ze testen stapfuncties en sigmoidfuncties geparametriseerd door de frequentie van state-action paren (gebruikmakend van kwartielen van het aantal voorkomens) om transities met een lage frequentie te bestraffen.

2. Model-vrije benadering (Offline Deep RL)

Deze benadering maakt gebruik van Conservative Q-Learning (CQL), een state-of-the-art Offline Deep RL techniek, die direct leert van historische data zonder interactie met de omgeving.

Architectuur: Een Recurrent Neural Network (RNN) met Long Short-Term Memory (LSTM) cellen wordt gebruikt om de state-action waarde functie te benaderen, wat de sequentiële aard van event logs afhandelt.
Data Preparatie: Transities worden geëxtraheerd uit traces. Cruciaal is dat transities die betrokken zijn bij door de omgeving gecontroleerde acties worden verwijderd, en dat hun beloningen worden overgedragen aan de voorafgaande geldige agent-transitie om de dataset af te stemmen op het perspectief van de agent.
Training: Het model wordt offline getraind met het CQL-algoritme om de overschattingsbias (overestimation bias) die gebruikelijk is bij offline RL te minimaliseren.

Evaluatiekader

Om de geleerde beleidsregels te evalueren zonder de prestaties van live systemen in gevaar te brengen, maken de auteurs gebruik van Business Process Simulation (BPS).

Synthetische Logs: Gegenereerd vanuit een BPMN-model om robuustheid te testen bij variërende log-groottes en succespercentages.
Real-world Logs: De datasets BPIC2012 en BPIC2017 worden gebruikt.
Simulatiemodellen: Twee typen simulatiemodellen worden gehanteerd:
1. Vaste Waarschijnlijkheid ( $M_\pi$ ): Gebruikt standaard waarschijnlijkheden voor beslispunten.
2. Beslissingsboom ( $M^\pi_{DT}$ ): Gebruikt beslissingsbomen die getraind zijn op historische data om de reacties van de omgeving gevoeliger te modelleren op de proceshistorie.
Baselines: Vergelijkingen worden gemaakt met de gebruikelijke beleidsregel (het gedrag inherent aan de originele logs) en een geïnformeerde heuristiek (een sterke baseline met gebruikmakend van geprivilegieerde kennis van de simulatielogica, beschikbaar voor enkel synthetische logs).

Belangrijkste Bijdragen

Direct Beleidsleren: Het artikel demonstreert een methode om algemene gedragsbeleidsregels direct uit event logs te leren met minimale domeinkennis, waarbij onderscheid wordt gemaakt tussen controleerbare en oncontroleerbare activiteiten.
MDP Constructie uit Logs: Het stelt een specifieke pipeline voor om een MDP te construeren uit event logs met behulp van clustering om de toestandsabstractie te beheren, waarmee de moeilijkheid van het handmatig definiëren van MDP-toestanden voor process mining wordt overwonnen.
Scaling Function voor Robuustheid: De introductie van frequentie-gebaseerde schalingsfuncties ( $h$ ) voor de Q-waarde in de MDP-benadering mitigeert effectief overfitting op zeldzame transities, wat de stabiliteit van de beleidsregel aanzienlijk verbetert.
Uitgebreide Vergelijking: Het biedt een systematische vergelijking tussen een klassieke model-gebaseerde DP-benadering en moderne model-vrije Offline Deep RL (CQL) in de context van process mining.
Simulatie-gebaseerde Evaluatie: Het werk past BPS aan om de selectie van de volgende activiteit (next-activity selection policies) te evalueren in multi-actor settings, wat een gecontroleerde omgeving biedt voor A/B-testen van geleerde strategieën.

Resultaten

De evaluatie werd uitgevoerd over acht synthetische logs (variërend in grootte en succespercentages) en twee real-world logs (BPIC2012 en BPIC2017).

Prestaties: Beide methoden leerden succesvol beleidsregels die de doel-KPI (winst) consistent verbeterden ten opzichte van de gebruikelijke beleidsregel.
- In synthetische logs presteerde de MDP-gebaseerde benadering (specifiek met schalingsfuncties zoals $h_{sig}^{Q1}$ en $h_{step}^{Q1}$ ) over het algemeen beter dan de Offline Deep RL-benadering, waarbij KPI's werden bereikt die in de meeste gevallen vergelijkbaar waren met de geïnformeerde heuristiek.
- In real-world logs vertoonden beide methoden een solide prestatie, waarbij de MDP-gebaseerde benadering een licht of vergelijkbaar voordeel liet zien ten opzichte van CQL.
Robuustheid: De MDP-gebaseerde benadering vertoonde een grotere stabiliteit over verschillende log-kenmerken. De naïeve MDP-benadering (zonder schaling) was onstabiel, terwijl de CQL-benadering nooit onder de best presterende beleidsregels verscheen in de synthetische evaluatie.
Computationele Efficiëntie: De MDP-gebaseerde benadering was significant efficiënter. De trainingstijden voor MDP-gebaseerde methoden varieerden van seconden tot enkele minuten, terwijl Offline Deep RL ongeveer 30 minuten per epoch vereiste (totaal uren voor effectieve beleidsregels). De tijd van de MDP-benadering schaalde met de log-grootte door clustering, terwijl de per-epoch tijd van Deep RL constant maar hoog bleef.

Betekenis en Claims

Het artikel claimt dat het leren van optimale gedragsbeleidsregels direct uit event data haalbaar en effectief is, zelfs in complexe multi-actor scenario's waarbij de agent slechts gedeeltelijke controle heeft.

Praktische Bruikbaarheid: De resultaten suggereren dat de MDP-gebaseerde benadering een gunstige balans biedt tussen eenvoud, interpreteerbaarheid, computationele efficiëntie en prestaties. De auteurs stellen dat voor process mining-scenario's, waar data gestructureerd is en beslispunten goed gedefinieerd zijn, complexe deep learning modellen niet strikt noodzakelijk zijn om kwalitatief hoogwaardige beleidsregels te bereiken.
Data-gestuurde Ontdekking: Het werk valideert dat het mogelijk is om effectieve interventies en strategieën uitsluitend uit historische data te ontdekken, zonder de set van mogelijke acties vooraf te definiëren of te vertrouwen op uitgebreide expertkennis van de dynamiek van het domein.
Toekomstig Potentieel: De auteurs positioneren deze geleerde beleidsregels als sterke initialisaties voor bredere optimalisatieframeworks die later online interactie of feedback kunnen incorporeren. Zij erkennen beperkingen met betrekking tot de afhankelijkheid van control-flow informatie en de behoefte aan rijkere state-representaties (bijv. data-attributen) in toekomstig werk.

Het artikel concludeert dat hoewel beide paradigma's levensvatbaar zijn, de klassieke model-gebaseerde benadering, wanneer deze wordt aangevuld met passende data-gestuurde staat-abstractie en regularisatie, momenteel een efficiëntere en robuustere oplossing biedt voor prescriptive process monitoring in de bestudeerde contexten.