Compliance-Aware Predictive Process Monitoring: A Neuro-Symbolic Approach

Diese Arbeit stellt einen neuro-symbolischen Ansatz für die prädiktive Prozessüberwachung vor, der mittels Logic Tensor Networks domänenspezifisches Compliance-Wissen in Vorhersagemodelle integriert, um sowohl die Einhaltung von Regeln als auch die Vorhersagegenauigkeit im Vergleich zu rein sub-symbolischen Methoden zu verbessern.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein erfahrener Chefkoch in einer großen Küche. Ihre Aufgabe ist es, vorherzusagen, ob ein bestimmtes Gericht (ein Prozess) am Ende erfolgreich wird oder ob es schiefgeht (z. B. ein Patient Komplikationen bekommt oder ein Kreditantrag abgelehnt wird).

Bisher haben Computer versucht, diese Vorhersage zu treffen, indem sie einfach Millionen von alten Rezepten (Daten) durchgesehen haben. Sie haben Muster gelernt: „Wenn A passiert, folgt oft B." Das funktioniert gut, solange die Vergangenheit die Zukunft perfekt widerspiegelt. Aber was passiert, wenn es eine feste Regel gibt, die der Computer nicht kennt? Zum Beispiel: „Man darf niemals Fleisch servieren, bevor das Gemüse gekocht ist."

Ein reiner Daten-Computer würde vielleicht trotzdem Fleisch servieren, nur weil er in 90 % der alten Rezepte gesehen hat, dass Fleisch und Gemüse zusammen auf den Teller kamen. Er ignoriert die wichtige Regel, weil sie in den Daten nicht explizit als „Gesetz" codiert war.

Diese Paper stellt eine neue Methode vor, die neuro-symbolische KI genannt wird. Hier ist die einfache Erklärung, wie das funktioniert:

1. Das Problem: Der blinde Daten-Detektiv

Die alten Methoden (wie LSTM oder Transformer) sind wie blinde Detektive. Sie sehen nur die Spuren (Daten) und raten basierend auf Wahrscheinlichkeiten. Wenn die Daten verrückt sind oder eine neue Regel eingeführt wird (z. B. „Surgery nur, wenn der Patient seit einer Woche entlassen wurde"), versagen diese Detektive. Sie halten sich nicht an die Regeln und machen falsche Vorhersagen.

2. Die Lösung: Der kluge Assistent mit einem Regelbuch

Die Autoren bauen einen neuen Assistenten, der zwei Gehirne hat:

• Gehirn 1 (Das neuronale Netz): Das ist der blinde Detektiv. Er lernt aus den Daten, wie die Dinge normalerweise laufen.
• Gehirn 2 (Das symbolische System): Das ist der erfahrene Koch, der das Regelbuch (Logik) kennt. Er weiß genau: „Wenn X passiert, MUSS Y folgen."

Diese beiden Gehirne arbeiten zusammen. Das ist die neuro-symbolische KI.

3. Wie funktioniert das? (Die drei Tricks)

Der Assistent nutzt drei verschiedene Tricks, um das Regelbuch in seine Vorhersagen zu integrieren:

• Trick A: Der Feature-Erweiterer (Das Vorfeld)

  • Analogie: Stellen Sie sich vor, Sie geben dem Koch nicht nur die Zutaten, sondern auch eine Checkliste dazu. „Achtung: Dieser Kunde ist älter als 60 und hat Diabetes."
  • In der Technik: Das System wandelt Regeln in neue Datenpunkte um, bevor die Vorhersage beginnt. Es sagt dem Modell: „Beachte diesen Umstand extra!"

• Trick B: Der Ergebnis-Verfeinerer (Der Korrekturstrich)

  • Analogie: Der Koch hat ein Gericht zubereitet und sagt: „Das schmeckt gut!" Aber der Regelbuch-Koch schaut nach und sagt: „Moment! Du hast das Fleisch vor dem Gemüse serviert. Das ist verboten!" Er korrigiert das Ergebnis sofort.
  • In der Technik: Wenn das Modell eine Vorhersage trifft (z. B. „Komplikation wahrscheinlich"), prüft es sofort gegen die Regeln. Wenn die Regel sagt „Keine Komplikation, wenn Antibiotika rechtzeitig gegeben wurden", wird die Vorhersage direkt angepasst.

• Trick C: Der Parallel-Lerner (Der strenge Prüfer)

  • Analogie: Der Koch lernt parallel dazu, wie man den Tisch deckt. Auch wenn das Tische-Decken nichts mit dem Essen zu tun hat, hilft es ihm, disziplinierter zu kochen. Wenn er gegen die Tisch-Regeln verstößt, bekommt er eine Strafe, auch wenn das Essen gut schmeckt.
  • In der Technik: Das System lernt gleichzeitig, die Hauptaufgabe zu lösen UND die strukturellen Regeln einzuhalten. Es wird bestraft, wenn es gegen die Grundregeln des Prozesses verstößt, selbst wenn die Daten es suggerieren würden.

4. Das Ergebnis: Besser und sicherer

Die Autoren haben das an echten Daten getestet (z. B. bei Krankenhausdaten zu Sepsis oder Bankanträgen). Das Ergebnis ist beeindruckend:

• Genauigkeit: Der neue Assistent macht weniger Fehler als der alte blinde Detektiv.
• Regeltreue: Er hält sich zu 100 % an die Regeln, auch wenn die Trainingsdaten nur wenige Beispiele dafür hatten.
• Robustheit: Selbst wenn die Daten chaotisch sind oder neue Regeln eingeführt werden, die noch nie gesehen wurden, findet der Assistent den richtigen Weg, weil er das Regelbuch im Kopf hat.

Zusammenfassung

Stellen Sie sich vor, Sie bauen eine KI, die nicht nur lernt, was passiert ist, sondern auch versteht, was passieren sollte.

• Alte KI: „Ich habe gesehen, dass in 90 % der Fälle A vor B kam. Also werde ich A vor B setzen." (Fehlerhaft, wenn es eine Regel gibt, die B vor A verlangt).
• Neue KI (Neuro-Symbolisch): „Ich habe gesehen, dass A oft vor B kam. ABER ich weiß aus dem Regelbuch, dass B vor A kommen MUSS. Also setze ich B vor A."

Diese Methode macht KI in sensiblen Bereichen wie Medizin oder Finanzen viel verlässlicher, weil sie nicht nur auf Wahrscheinlichkeiten, sondern auch auf Wissen und Logik setzt.

Technische Zusammenfassung

1. Problemstellung

Im Bereich des Predictive Process Monitoring (PPM) zielen bestehende Ansätze darauf ab, Prozessergebnisse (z. B. Komplikationen, Ablehnung von Krediten) basierend auf historischen Ereignisdaten vorherzusagen. Die aktuellen State-of-the-Art-Methoden sind rein sub-symbolisch (datengetrieben) und nutzen tiefe neuronale Netze wie LSTMs oder Transformer.

Hauptprobleme dieser Ansätze:

• Fehlende Integration von Domänenwissen: Diese Modelle lernen Korrelationen ausschließlich aus den Daten und können formale Prozessregeln oder geschäftliche Zwänge (Compliance-Regeln) nicht explizit einbeziehen.
• Verletzung von Constraints: Ein rein datengetriebenes Modell könnte beispielsweise vorhersagen, dass eine Operation geplant wird, obwohl die Regel besagt, dass der Patient erst seit einer Woche entlassen sein muss.
• Geringe Robustheit bei seltenen Mustern: Wenn im Trainingsdatensatz nur wenige konforme Beispiele existieren, lernen die Modelle die Regeln oft nicht korrekt und verletzen sie in der Vorhersage.

Das Ziel ist es, ein hybrides System zu schaffen, das statistisches Lernen mit symbolischem logischem Schlussfolgern kombiniert, um sowohl hohe Vorhersagegenauigkeit als auch strikte Regelkonformität zu gewährleisten.

2. Methodik: Neuro-Symbolischer Ansatz mit LTNs

Die Autoren schlagen einen strukturierten Pipeline-Ansatz vor, der auf Logic Tensor Networks (LTN) basiert. LTNs ermöglichen die Einbettung von First-Order-Logic (FOL) in differentiable Computational Graphs, wodurch logische Regeln während des Trainings als Verlustfunktion optimiert werden können.

Der Prozess gliedert sich in vier Hauptphasen:

A. Merkmalsextraktion (Feature Extraction)

Aus den Ereignisprotokollen (Event Logs) werden Merkmale in drei Kategorien extrahiert, die als Vokabular für die Regeln dienen:

1. Control-Flow-Features: Sequenzen von Aktivitäten (basierend auf Declare-Constraints).
2. Temporale Features: Zeitliche Aspekte wie Wartezeiten, Dauer von Aktivitäten und SLA-Einhaltung.
3. Payload-Features: Datenattribute auf Fall- und Event-Ebene (z. B. Patientenalter, Laborwerte).

B. Regel-Extraktion (Rule Extraction)

Mittels Prozess-Mining-Techniken werden Regeln automatisch abgeleitet oder manuell hinzugefügt:

• Control-Flow-Regeln: Logische Abhängigkeiten zwischen Aktivitäten (z. B. „Nach A muss B folgen").
• Temporale Regeln: Zeitliche Bedingungen (z. B. „Wenn B innerhalb von 2 Stunden nach A erfolgt...").
• Payload-Regeln: Bedingungen basierend auf Datenwerten (z. B. „Wenn Sauerstoffsättigung < 90%...").

C. Wissensbasis-Erstellung (Knowledge Base Creation)

Die extrahierten Regeln werden in First-Order Logic (FOL) formalisiert. Die Autoren kategorisieren das Wissen basierend auf seiner Beziehung zur Klassifizierungsaufgabe:

• Klassenabhängiges Wissen:
  • Ergebnisorientiert: Bezieht sich direkt auf das Ziel (z. B. „Wenn Regel X gilt, sinkt das Risiko").
  • Nicht ergebnisorientiert: Bezieht sich auf Klassen, aber nicht direkt auf das Ergebnis (z. B. „Ältere Diabetiker benötigen spezielle Überwachung").
• Klassenunabhängiges Wissen: Allgemeine Prozessstrukturen, die für alle Fälle gelten (z. B. „Aktivität A muss vor B stattfinden").

D. Wissens-Injektion (Knowledge Injection)

Das Wissen wird auf drei verschiedene Arten in das neuronale Netz injiziert (siehe Abbildung 3 im Paper):

1. Feature Expansion (A): Klassenunabhängiges, nicht ergebnisorientiertes Wissen wird als neue Merkmale in den Eingabevektor integriert. Dies erweitert den Feature-Raum.
2. Output Refinement (B): Klassenabhängiges, ergebnisorientiertes Wissen wird direkt auf die Ausgabe des Klassifikators angewendet. Die logischen Regeln modifizieren die Wahrscheinlichkeiten der Vorhersage (z. B. Senkung der Risikowahrscheinlichkeit, wenn eine Regel erfüllt ist).
3. Parallel Constraints (C): Klassenunabhängiges Wissen wird als parallele, auxilliäre Verlustfunktion eingeführt. Diese zwingt das Modell, strukturelle Regeln einzuhalten, ohne das Hauptklassifizierungsziel direkt zu verändern, wirkt aber als Regularisierung.

3. Wichtige Beiträge

• Hybride Architektur: Entwicklung eines PPM-Frameworks, das LTNs nutzt, um Domänenwissen (Regeln) nahtlos in tiefes Lernen zu integrieren.
• Strukturierte Wissenskategorisierung: Eine klare Taxonomie, die bestimmt, wie und wo Wissen in das Modell injiziert werden muss (Input vs. Output vs. Parallel).
• Robustheit bei Datenknappheit: Der Ansatz funktioniert auch dann gut, wenn im Trainingsdatensatz nur wenige Beispiele existieren, die die Regeln einhalten (Compliance-Awareness).
• Interpretierbarkeit: Durch die Verwendung logischer Formeln bleiben die Regeln für Menschen nachvollziehbar, im Gegensatz zu „Black-Box"-Modellen.

4. Ergebnisse und Evaluation

Die Methode wurde auf vier realen Datensätzen evaluiert (BPIC2012, BPIC2017, Traffic Fines, Sepsis) und mit reinen Datenmodellen (LSTM, Transformer) sowie anderen wissensbasierten Ansätzen (Semantic Loss) verglichen.

• Vorhersagegenauigkeit (Accuracy/F1):
  • Die neuro-symbolischen Modelle (LTN mit Wissensinjektion) übertrafen konsistent die reinen Datenmodelle.
  • Der größte Gewinn wurde bei kleineren Datensätzen oder solchen mit wenigen konformen Beispielen erzielt (z. B. +18,4% F1-Score auf dem Sepsis-Datensatz im Vergleich zu Transformer).
  • Bei großen Datensätzen waren die Verbesserungen moderater, aber immer noch positiv.
• Compliance (Regelkonformität):
  • Dies ist der stärkste Vorteil. Während reine Datenmodelle bei neuen oder seltenen Regeln oft versagen, erreichte der LTN-Ansatz nahezu 100% Compliance in den Tests.
  • Modelle mit Semantic Loss zeigten zwar Verbesserungen, waren aber weniger konsistent als die LTN-Lösung.
• Ablationsstudie:
  • Die Output Refinement (B)-Methode erwies sich als die effektivste Strategie zur Leistungssteigerung.
  • Feature Expansion (A) zeigte begrenzte Wirkung.
  • Parallel Constraints (C) halfen, die Struktur zu regularisieren, besonders in Kombination mit B.

5. Bedeutung und Fazit

Das Paper demonstriert, dass neuro-symbolische KI ein vielversprechender Weg für das Predictive Process Monitoring ist, insbesondere in Compliance-kritischen Domänen wie dem Gesundheitswesen oder der Finanzbranche.

Kernaussagen:

• Reine Datenmodelle sind unzureichend, wenn explizite Geschäftsregeln eingehalten werden müssen.
• Die Integration von logischem Wissen direkt in den Trainingsprozess (nicht nur als Nachbearbeitung) ermöglicht es Modellen, Unsicherheit zu handhaben und gleichzeitig strikt konform zu bleiben.
• Der Ansatz ist besonders wertvoll, wenn historische Daten lückenhaft sind oder wenn neue Regeln eingeführt werden, für die noch keine Trainingsdaten vorliegen.

Die Autoren planen zukünftige Arbeiten zur Automatisierung der Regelgenerierung und zur Erweiterung auf weitere Prozessaufgaben wie die Vorhersage des nächsten Ereignisses.