🤖 AI

Learning optimal policies from event logs through reinforcement learning: a comparison of deep and MDP-based approaches

Dieses Paper schlägt ein Reinforcement-Learning-Framework für das prescriptive Process Monitoring vor, das optimale Verhaltensstrategien direkt aus historischen Ereignisprotokollen lernt, um Maßnahmen zur Optimierung von Key Performance Indicators zu empfehlen, wobei ein modellbasierter Markov-Entscheidungsprozess-Ansatz mit einer modellfreien Deep-RL-Methode verglichen wird und nachgewiesen wird, dass beide die KPIs effektiv verbessern, während der modellbasierte Ansatz eine überlegene Recheneffizienz bietet.

Ursprüngliche Autoren: Stefano Branchi, Andrei Buliga, Chiara Di Francescomarino, Chiara Ghidini, Riccardo Graziosi, Francesca Meneghello, Massimiliano Ronzani

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stefano Branchi, Andrei Buliga, Chiara Di Francescomarino, Chiara Ghidini, Riccardo Graziosi, Francesca Meneghello, Massimiliano Ronzani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager einer geschäftigen Bank. Jeden Tag beantragen Kunden Kredite. Manchmal wird der Kredit genehmigt, manchmal wird er abgelehnt und manchmal zieht der Kunde einfach die Reißleine. Ihr Ziel ist einfach: So viele Kunden wie möglich dazu zu bringen, mit „Ja“ zu Ihrem Kreditangebot zu sagen.

Sie kontrollieren jedoch nicht alles. Sie kontrollieren die Handlungen der Bank (wie das Versenden eines Angebots oder das Einfordern weiterer Informationen), aber Sie kontrollieren nicht die Handlungen des Kunden (wie die Entscheidung zuzusagen, abzulehnen oder abzubrechen). Es ist wie beim Schachspielen, bei dem man nur seine eigenen Figuren bewegen kann, aber der Gegner (der Kunde) seine Züge basierend auf seiner Laune zufällig macht.

In dieser Arbeit geht es darum, einem Computer beizubringen, der bestmögliche Bankmanager zu sein, indem er sich alte Aufzeichnungen darüber ansieht, wie die Bank das Spiel in der Vergangenheit gespielt hat. Das Ziel ist es, die perfekte Strategie zu finden, um häufiger zu gewinnen.

Die zwei „Trainer“

Die Forscher testeten zwei verschiedene Wege (oder „Trainer“), um den Computer mit Reinforcement Learning (einer Art von KI, die durch Versuch und Irrtum lernt, in diesem Fall aber aus einem Geschichtsbuch lernt, statt live zu spielen) diese Strategie beizubringen.

1. Der „Kartenersteller“ (MDP-basierter Ansatz)

Dieser Trainer betrachtet die tausenden vergangenen Kreditanträge und versucht, eine detaillierte Karte des Spiels zu erstellen.

Wie es funktioniert: Er gruppiert ähnliche Situationen zusammen (wie „Kunde fragte nach 10.000 $ und wir schickten ein Angebot“) und berechnet die Wahrscheinlichkeiten für das, was als Nächstes passiert. Er erstellt ein klares Regelwerk: „Wenn du in Situation A bist, führe Aktion B aus.“
Die Analogie: Stellen Sie sich ein GPS vor, das jede einzelne Straße in einer Stadt kartiert hat. Es weiß genau, welche Abbiegung zu Verkehr führt und welche zu einer Abkürzung. Es erstellt ein vollständiges Modell der Stadt, bevor es Ihnen sagt, wohin Sie fahren sollen.
Der Haken: Das Erstellen dieser Karte erfordert Arbeit, und wenn die Karte zu detailliert ist, könnte sie durch seltene, merkwürdige Ereignisse verwirrt werden. Um dies zu beheben, fügten die Forscher einen „Filter“ hinzu, um unzuverlässige Pfade in der Historie zu ignorieren.

2. Der „Tiefe Lerner“ (Offline Deep RL)

Dieser Trainer versucht keine Karte zu erstellen. Stattdessen nutzt er ein super-intelligentes neuronales Netzwerk (wie ein Gehirn mit vielen Schichten), um das Geschichtsbuch zu betrachten und direkt die beste Bewegung zu erraten.

Wie es funktioniert: Er liest die vergangenen Aufzeichnungen und versucht, verborgene Muster zu finden, die ein Mensch oder eine einfache Karte übersehen könnten. Er lernt, indem er die Daten immer und immer wieder betrachtet.
Die Analogie: Stellen Sie sich einen Großmeister im Schach vor, der Millionen von Partien gesehen hat. Er braucht keine Karte des Bretts; er „fühlt“ einfach die richtige Bewegung basierend auf einer durch Erfahrung aufgebauten Intuition.
Der Haken: Dieses „Gehirn“ ist sehr schwerfällig. Es dauert lange, es zu trainieren, und erfordert viel Rechenleistung, so als würde man versuchen, ein riesiges Puzzle mit einem Supercomputer zu lösen.

Das Experiment: Die Simulations-Arena

Da man nicht einfach damit beginnen kann, echten Kunden schlechte Ratschläge zu geben, um zu sehen, was passiert (das würde die Bank Geld kosten), bauten die Forscher eine virtuelle Simulation.

Sie erstellten eine „Videospiel“-Version des Kreditprozesses.
Sie ließen den Computer das Spiel tausende Male spielen, unter Verwendung der Strategien, die er gelernt hatte.
Sie maßen die Punktzahl: Wie viel Gewinn hat die Bank gemacht? (Gewinn = verdiente Zinsen minus der Zeit, die für die Bearbeitung des Kredits aufgewendet wurde).

Was sie herausfanden

Die Ergebnisse waren interessant:

Beide Trainer gewannen: Sowohl der „Kartenersteller“ als auch der „Tiefe Lerner“ entwickelten Strategien, die viel besser waren als die alte, Standard-Methode der Bank. Beiden halfen dabei, der Bank mehr „Ja“-Antworten von Kunden zu verschaffen.
Der Kartenersteller war etwas besser: Der „Kartenersteller“ (MDP) fand konsistent etwas bessere Strategien, insbesondere in schwierigen, seltenen Situationen. Er war zuverlässiger darin, genau zu wissen, was zu tun ist.
Der Kartenersteller war viel schneller: Dies war der größte Unterschied. Der „Kartenersteller“ lernte seine Strategie in wenigen Minuten. Der „Tiefe Lerner“ brauchte Stunden (oder sogar Tage, je nach Datengröße), um zu trainieren.
- Analogie: Der Kartenersteller war wie ein Schüler, der ein Lehrbuch studierte und die Prüfung in 10 Minuten bestand. Der Tiefe Lerner war wie ein Schüler, der die gesamte Enzyklopädie 100 Mal neu lesen musste, um dieselbe Note zu bekommen.

Das Fazament

Die Arbeit kommt zu dem Schluss, dass, wenn man einem Computer beibringen möchte, wie man einen Geschäftsprozess (wie Kreditbewilligungen) unter Verwendung vergangener Daten steuert:

Man nicht immer die komplexeste, schwergewichtige KI (Deep Learning) benötigt.
Ein einfacherer Ansatz, der ein klares Modell des Prozesses erstellt (MDP), genauso gut oder sogar besser funktioniert und viel schneller und kostengünstiger im Betrieb ist.

Es ist eine Erinnerung daran, dass manchmal eine gute, klare Karte besser ist als ein superkomplexes Gehirn, besonders wenn man einfach nur effizient seine Arbeit erledigen will.

Technisches Resümee: Erlernen optimaler Richtlinien aus Ereignisprotokollen durch Reinforcement Learning

Problemdefinition

Die Arbeit befasst sich mit der Herausforderung des Prescriptive Process Monitoring (PPM), wobei der Schwerpunkt auf dem Erlernen optimaler Verhaltensrichtlinien (Policies) direkt aus historischen Ereignisprotokollen (Event Logs) liegt. Im Gegensatz zu bestehenden PPM-Ansätzen, die vordefinierte Interventionen oder spezifische Folgeaktivitäten basierend auf Expertenregeln empfehlen, zielt diese Arbeit darauf ab, allgemeine Strategien zu entdecken, die die beste Sequenz von Aktionen bestimmen, um eine spezifische Kennzahl (Key Performance Indicator, KPI) zu maximieren.

Eine kritische Einschränkung des Problems ist das Multi-Akteur-Umfeld. In vielen realen Prozessen (z. B. Kreditanträgen) kontrolliert der Prozesseigner (der Agent) nur eine Teilmenge an Aktivitäten, während andere durch externe Akteure (z. B. Kunden) oder exogene Faktoren gesteuert werden. Das Ziel ist es, eine Richtlinie für den Agenten zu erlernen, die die KPI optimiert, obwohl er nur über eine Teilkontrolle über die Prozessexekution verfügt.

Die Autoren identifizieren zwei primäre Herausforderungen bei der Anwendung von Reinforcement Learning (RL) in diesem Bereich:

Datengesteuertes Lernen: Die Vermeidung der Abhängigkeit von umfangreichem Domänenwissen zur manuellen Definition von Zustandsräumen oder Interventionssätzen.
Evaluierungssicherheit: Die Unpraktikabilität, Richtlinien an Live-Systemen zu testen, da dies das Risiko von Störungen birgt. Daher ist ein robuster Evaluierungsmechanismus vor der Implementierung erforderlich.

Methodik

Die Arbeit schlägt zwei unterschiedliche KI-basierte Ansätze vor und vergleicht diese, um optimale Richtlinien aus Ereignisdaten in einem Multi-Akteur-Szenario zu erlernen, in dem der Agent bestimmte Aktivitäten kontrolliert.

1. Modellbasierter Ansatz (MDP-basiertes RL)

Dieser Ansatz konstruiert einen expliziten Markov-Entscheidungsprozess (MDP) aus dem Ereignisprotokoll und löst diesen mittels Dynamischer Programmierung (DP).

MDP-Konstruktion:
- Aktionen: Definiert als die vom Agenten kontrollierten Aktivitäten.
- Zustände: Konstruiert durch die Kodierung der Trace-Historie. Die Autoren verwenden k-Means-Clustering auf kodierten Präfixen (Aktivitätshäufigkeiten, Positionen und normalisierte Präfix-Belohnungen), um die Dimensionalität des Zustandsraums zu bewältigen und eine Explosion zu verhindern. Ein Zustand wird als das Paar aus der zuletzt ausgeführten Aktivität und dem zugewiesenen Cluster definiert.
- Transitionen & Belohnungen: Erstellt durch das Replay von Traces, um Übergangswahrscheinlichkeiten und durchschnittliche Belohnungen zu schätzen.
Richtlinien-Lernen: Die optimale Richtlinie wird mittels Value Iteration abgeleitet.
Umgang mit Datensparsamkeit: Um zu verhindern, dass der Agent seltene, hochbelohnte Transitionen ausnutzt (Overfitting), führen die Autoren eine Skalierungsfunktion $h(s, a)$ ein, die auf den Q-Wert angewendet wird. Sie testen Sprungfunktionen und Sigmoid-Funktionen, die durch die Häufigkeit von Zustands-Aktions-Paaren (unter Verwendung von Quartilen der Vorkommenshäufigkeiten) parametrisiert sind, um seltene Transitionen zu sanktionieren.

2. Modellfreier Ansatz (Offline Deep RL)

Dieser Ansatz verwendet Conservative Q-Learning (CQL), eine hochmoderne Offline Deep RL-Technik, die direkt aus historischen Daten lernt, ohne mit der Umgebung zu interagieren.

Architektur: Ein rekurrentes neuronales Netz (RNN) mit Long Short-Term Memory (LSTM) Zellen wird verwendet, um die Zustands-Aktions-Wertfunktion zu approximieren, um die sequentielle Natur der Ereignisprotokolle zu handhaben.
Datenaufbereitung: Transitionen werden aus den Traces extrahiert. Entscheidend ist, dass Transitionen, die durch die Umgebung kontrollierte Aktionen beinhalten, entfernt und deren Belohnungen auf die vorangehende gültige Agenten-Transition übertragen werden, um den Datensatz an die Perspektive des Agenten anzupassen.
Training: Das Modell wird offline unter Verwendung des CQL-Algorithmus trainiert, um den in Offline RL üblichen Überschätzungsfehler (Overestimation Bias) zu minimieren.

Evaluierungsrahmen

Um die gelernten Richtlinien zu evaluieren, ohne die Leistung von Live-Systemen zu gefährden, nutzen die Autoren die Business Process Simulation (BPS).

Synthetische Logs: Generiert aus einem BPMN-Modell, um die Robustheit gegenüber variierenden Log-Größen und Erfolgsraten zu testen.
Reale Logs: Die Datensätze BPIC2012 und BPIC2017 werden verwendet.
Simulationsmodelle: Es werden zwei Arten von Simulationsmodellen eingesetzt:
1. Feste Wahrscheinlichkeit ( $M_\pi$ ): Verwendet Standardwahrscheinlichkeiten für Entscheidungspunkte.
2. Entscheidungsbaum ( $M^\pi_{DT}$ ): Verwendet Entscheidungsbäume, die auf historischen Daten trainiert wurden, um die Reaktionen der Umgebung sensibler auf die Prozesshistorie abzubilden.
Baselines: Vergleiche werden mit der gewöhnlichen Richtlinie (dem in den ursprünglichen Logs inhärenten Verhalten) und einer informierten Heuristik (einer starken Baseline mit privilegiertem Wissen über die Simulationslogik, die nur für synthetische Logs verfügbar ist) durchgeführt.

Zentrale Beiträge

Direktes Richtlinien-Lernen: Die Arbeit demonstriert eine Methode, um allgemeine Verhaltensrichtlinien direkt aus Ereignisprotokollen mit minimalem Domänenwissen zu erlernen, wobei zwischen kontrollierbaren und unkontrollierbaren Aktivitäten unterschieden wird.
MDP-Konstruktion aus Logs: Es wird eine spezifische Pipeline vorgeschlagen, um einen MDP aus Ereignisprotokollen unter Verwendung von Clustering zur Handhabung der Zustandsabstraktion zu konstruieren, wodurch die Schwierigkeit der manuellen Definition von MDP-Zuständen im Process Mining überwunden wird.
Skalierungsfunktion für Robustheit: Die Einführung von frequenzbasierter Skalierungsfunktion ( $h$ ) für den Q-Wert im MDP-Ansatz mildert Overfitting auf seltene Transitionen effektiv ab und verbessert die Stabilität der Richtlinie erheblich.
Umfassender Vergleich: Es bietet einen systematischen Vergleich zwischen einem klassischen modellbasierten DP-Ansatz und modernem modellfreiem Offline Deep RL (CQL) im Kontext von Process Mining.
Simulationsbasierte Evaluierung: Die Arbeit passt BPS an, um Next-Activity-Selection-Richtlinien in Multi-Akteur-Umgebungen zu evaluieren, und bietet eine kontrollierte Umgebung für A/B-Tests gelernter Strategien.

Ergebnisse

Die Evaluierung wurde über acht synthetische Logs (mit variierenden Größen und Erfolgsraten) und zwei reale Logs (BPIC2012 und BPIC2017) durchgeführt.

Leistung: Beide Methoden lernten erfolgreich Richtlinien, die die Ziel-KPI (Profit) im Vergleich zur gewöhnlichen Richtlinie konsistent verbesserten.
- In synthetischen Logs übertraf der MDP-basierte Ansatz (insbesondere mit Skalierungsfunktionen wie $h_{sig}^{Q1}$ und $h_{step}^{Q1}$ ) im Allgemeinen den Offline Deep RL-Ansatz und erreichte in den meisten Fällen KPIs, die mit der informierten Heuristik vergleichbar waren.
- In realen Logs zeigten beide Methoden eine solide Leistung, wobei der MDP-basierte Ansatz einen leichten oder vergleichbaren Vorteil gegenüber CQL aufwies.
Robustheit: Der MDP-basierte Ansatz zeigte eine größere Stabilität über verschiedene Log-Charakteristika hinweg. Der naive MDP-Ansatz (oh-ne Skalierung) war instabil, während der CQL-Ansatz in der synthetischen Evaluierung nie unter den leistungsfähigsten Richtlinien zu finden war.
Recheneffizienz: Der MDP-basierte Ansatz war signifikant effizienter. Die Trainingszeiten für MDP-basierte Methoden reichten von Sekunden bis zu wenigen Minuten, während Offline Deep RL etwa 30 Minuten pro Epoche benötigte (was insgesamt Stunden dauerte, um effektive Richtlinien zu erhalten). Die Zeit des MDP-Ansatzes skalierte mit der Log-Größe aufgrund des Clusterings, während die Zeit pro Epoche beim Deep RL hoch blieb, aber konstant war.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das Erlernen optimaler Verhaltensrichtlinien direkt aus Ereignisdaten selbst in komplexen Multi-Akteur-Szenarien, in denen der Agent nur eine Teilkontrolle hat, machbar und effektiv ist.

Praktikabilität: Die Ergebnisse legen nahe, dass der MDP-basierte Ansatz ein günstiges Gleichgewicht zwischen Einfachheit, Interpretierbarkeit, Recheneffizienz und Leistung bietet. Die Autoren argumentieren, dass für Process-Mining-Szenarien, in denen Daten strukturiert sind und Entscheidungspunkte gut definiert sind, komplexe Deep-Learning-Modelle nicht zwingend erforderlich sind, um hochwertige Richtlinien zu erzielen.
Datengesteuerte Entdeckung: Die Arbeit validiert, dass es möglich ist, effektive Interventionen und Strategien ausschließlich aus historischen Daten zu entdecken, ohne die Menge der möglichen Aktionen vorab zu definieren oder auf umfangreiches Expertenwissen über die Dynamik der Domäne zurückzugreifen.
Zukünftiges Potenzial: Die Autoren positionieren diese gelernten Richtlinien als starke Initialisierungen für breitere Optimierungsframeworks, die später eine Online-Interaktion oder Feedback integrieren könnten. Sie räumen Einschränkungen hinsichtlich der Abhängigkeit von Control-Flow-Informationen und der Notwendigkeit reichhaltigerer Zustandsrepräsentationen (z. B. Datenattribute) für zukünftige Arbeiten ein.

Die Arbeit kommt zu dem Schluss, dass zwar beide Paradigmen lebensfähig sind, der klassische modellbasierte Ansatz bei entsprechender datengesteuerter Zustandsabstraktion und Regularisierung derzeit eine effizientere und robustere Lösung für das prescriptive Process Monitoring in den untersuchten Kontexten bietet.