🤖 machine learning

Promoting Simple Agents: Ensemble Methods for Event-Log Prediction

Die Studie zeigt, dass einfache n-Gramm-Modelle in Kombination mit einem ressourcenschonenden Ensemble-Verfahren namens „Promotion"-Algorithmus bei der Vorhersage von Ereignisprotokollen eine vergleichbare oder bessere Genauigkeit als komplexe neuronale Netze erreichen, dabei jedoch deutlich geringere Rechenkosten und eine stabilere Leistung bieten.

Ursprüngliche Autoren: Benedikt Bollig, Matthias Függer, Thomas Nowak, Paul Zeinaty

Veröffentlicht 2026-04-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Benedikt Bollig, Matthias Függer, Thomas Nowak, Paul Zeinaty

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Chef einer riesigen Fabrik oder eines Krankenhauses. Jeden Tag fallen dort Tausende von Ereignissen an: Ein Patient kommt an, eine Maschine meldet einen Fehler, ein Paket wird versendet. All diese Ereignisse werden in einem riesigen, fortlaufenden Tagebuch (dem „Event-Log") festgehalten.

Die große Frage lautet: Was passiert als Nächstes?
Wenn ein Patient gerade Blutdruck gemessen hat, wird er dann bald ins MRT gehen? Wenn eine Maschine vibriert, wird sie bald ausfallen?

Dieses Papier untersucht, wie man diese Vorhersagen am besten trifft. Die Forscher vergleichen dabei zwei völlig unterschiedliche Ansätze: die „kleinen, schlauen Helfer" (n-Gramme) und die „riesigen, komplexen Superhirne" (Neuronale Netze wie LSTM und Transformer).

Hier ist die einfache Erklärung der wichtigsten Punkte:

1. Die zwei Arten von Vorhersagern

Die Superhirne (Neuronale Netze):
Stellen Sie sich diese wie einen extrem gebildeten Professor vor, der alles über die Welt weiß. Er kann riesige Zusammenhänge erkennen und lernt aus riesigen Datenmengen. Aber: Er ist langsam, braucht viel Strom (Rechenleistung) und wird schnell verwirrt, wenn man ihm zu viel Information auf einmal gibt. Wenn man ihm ein zu langes Tagebuch zeigt, vergisst er, worauf er sich konzentrieren soll, und macht Fehler.
Die kleinen Helfer (n-Gramme):
Diese sind wie einfache, aber sehr schnelle Praktikanten. Sie schauen sich nur die letzten paar Schritte an (z. B. die letzten 3 oder 5 Ereignisse) und sagen: „Aha, nach 'A' kommt meistens 'B'". Sie sind nicht so tiefgründig wie der Professor, aber sie sind blitzschnell, brauchen kaum Energie und machen ihre Arbeit sehr zuverlässig, solange man ihnen die richtige Anzahl an Schritten zeigt.

2. Das Problem mit dem „Fenster"

Ein großes Problem bei der Vorhersage ist die Fenstergröße.
Stellen Sie sich vor, Sie schauen durch ein Fenster auf die Straße.

Ist das Fenster zu klein (nur 1 Schritt), sehen Sie nicht, was gleich passiert.
Ist das Fenster zu groß (100 Schritte), ist es so voll mit Informationen, dass Sie den Überblick verlieren.

Die Forscher haben herausgefunden: Die riesigen Superhirne (Transformer) werden bei zu großen Fenstern unzuverlässig und machen plötzlich viele Fehler. Die kleinen Helfer (n-Gramme) bleiben dagegen über einen weiten Bereich stabil.

3. Die Lösung: Ein Team statt eines Einzelkämpfers (Ensemble-Methoden)

Da man nicht immer genau weiß, wie groß das perfekte Fenster für einen bestimmten Prozess ist, haben die Forscher eine clevere Idee gehabt: Warum nicht mehrere kleine Helfer gleichzeitig einsetzen?

Der alte Weg (Stimmabgabe): Man nimmt 10 Helfer mit unterschiedlichen Fenstergrößen. Alle schauen zu, alle geben eine Stimme ab, und die Mehrheitsentscheidung zählt.
- Nachteil: Das ist wie ein Meeting mit 10 Leuten. Es dauert lange, ist laut und braucht viel Platz (Rechenleistung).
Der neue Weg (Der „Promotions-Algorithmus"):
Hier kommt die eigentliche Innovation des Papiers. Statt alle Helfer gleichzeitig laufen zu lassen, starten Sie nur zwei Helfer:
1. Einen mit einem kleinen Fenster (der schnelle, einfache Typ).
2. Einen mit einem etwas größeren Fenster (der etwas erfahrener ist).
Wie funktioniert das?
Der kleine Helfer macht die Vorhersage. Der größere Helfer schaut nur zu und prüft: „Habe ich recht behalten?"
- Wenn der größere Helfer über eine gewisse Zeit (z. B. 20 Schritte) besser liegt als der kleine, wird er befördert. Er übernimmt die Rolle des aktiven Vorhersagers.
- Wenn er wieder schlechter ist, bleibt der kleine Helfer dran.
Die Analogie: Stellen Sie sich einen Trainer vor, der zwei Sportler trainiert. Der Trainer lässt den Anfänger laufen. Wenn der Fortgeschrittene über eine ganze Runde hinweg schneller ist, tauschen sie die Plätze. Der Trainer muss nicht alle 100 Sportler gleichzeitig laufen lassen, sondern nur zwei. Das spart enorm viel Energie und Zeit.

4. Das Ergebnis

Die Tests zeigten etwas Überraschendes:

Die kleinen Helfer (n-Gramme), besonders wenn sie mit dem neuen „Promotions-Algorithmus" gesteuert werden, sind fast genauso gut wie die riesigen Superhirne.
Aber: Sie sind viel schneller und brauchen viel weniger Rechenleistung.
Während die Superhirne bei bestimmten Datenmengen ins Straucheln kamen, blieben die kleinen Helfer stabil.

Fazit für den Alltag

Dieses Papier sagt uns: Wir müssen nicht immer die teuersten und komplexesten KI-Modelle (die „Superhirne") für alles verwenden. Oft reicht ein Team von einfachen, schnellen Modellen, die intelligent zusammenarbeiten.

Der „Promotions-Algorithmus" ist wie ein cleverer Manager, der weiß, wann er den einfachen Mitarbeiter durch den erfahrenen ersetzen muss, ohne das ganze Büro neu zu organisieren. Das macht Vorhersagen in Echtzeit (z. B. in Krankenhäusern oder Fabriken) viel günstiger, schneller und zuverlässiger.

1. Problemstellung

Die Arbeit adressiert das Problem der Vorhersage der nächsten Aktivität in kontinuierlichen Ereignisprotokollen (Event Logs) im Kontext des Process Mining.

Herausforderung: Moderne Informationssysteme erzeugen große Mengen an zeitlich geordneten Daten. Während klassische Ansätze oft auf Offline-Daten angewendet werden, ist für Echtzeit-Anwendungen (z. B. Patientenüberwachung, Predictive Maintenance) eine Streaming-Vorhersage notwendig.
Dilemma: Komplexe neuronale Architekturen (wie LSTMs und Transformer) bieten hohe Genauigkeit, sind jedoch rechenintensiv, haben hohe Latenzen und sind oft instabil, wenn die Kontextgröße (Fenstergröße) variiert. Einfache Modelle (n-Gramme) sind effizient, leiden aber unter der Wahl der optimalen Fenstergröße und können bei zu großen Fenstern durch Datenknappheit an Genauigkeit verlieren.
Ziel: Entwicklung einer Methode, die die Genauigkeit komplexer neuronaler Netze erreicht oder übertrifft, dabei aber deutlich ressourcenschonender ist und robust gegenüber der Wahl der Fenstergröße agiert.

2. Methodik

Die Autoren vergleichen verschiedene Ansätze zur Modellierung von Ereignissequenzen:

Basis-Modelle:
- n-Gramme: Werden als probabilistische deterministische endliche Automaten (PDFAs) implementiert. Sie basieren auf der Häufigkeit von Aktivitätsfolgen innerhalb eines festen Kontextfensters (Größe $n-1$ ).
- Neuronale Netze: Long Short-Term Memory (LSTM) und Transformer-Architekturen. Diese werden sowohl als nicht-fensterbasierte Modelle (ganze Sequenz) als auch mit festen Sliding Windows getestet.
Ensemble-Methoden:
Statt eines einzelnen komplexen Modells werden mehrere einfache Agenten (n-Gramme mit unterschiedlichen Fenstergrößen) parallel eingesetzt.
- Soft Voting: Durchschnittsbildung der Wahrscheinlichkeitsverteilungen aller Agenten.
- Adaptive Voting: Dynamische Auswahl des aktuell besten Agenten basierend auf der bisherigen Vorhersagegenauigkeit.
- Der Promotion-Algorithmus (Neuer Ansatz): Dies ist der Kernbeitrag der Arbeit.
  - Prinzip: Es laufen nur zwei Agenten parallel: ein aktives Modell $M_i$ (kleineres Fenster) und ein Kandidat $M_{i+1}$ (größeres Fenster).
  - Mechanismus: Der Algorithmus überwacht die Genauigkeit beider Modelle. Wenn der Kandidat $M_{i+1}$ über eine bestimmte Anzahl von Vorhersagen $\tau$ (Schwellenwert) hinweg konsistent besser abschneidet als das aktuelle Modell, wird er zum neuen aktiven Modell „befördert".
  - Vorteil: Dies vermeidet den hohen Overhead des gleichzeitigen Betriebs vieler Agenten (wie beim Voting) und eliminiert die Notwendigkeit, die Fenstergröße als Hyperparameter manuell festzulegen.

3. Experimentelles Setup

Daten:
- Synthetische Daten: Verschiedene Muster (deterministisch periodisch, randomisiert periodisch) zur Untersuchung spezifischer Eigenschaften wie Zählen, Verschachtelung und Diskriminierung.
- Echtweltdaten: Fünf bekannte Process-Mining-Datensätze (Sepsis 2016, BPI 2012, 2013, 2017, 2018) mit bis zu 2,5 Millionen Ereignissen.
Metriken: Vorhersagegenauigkeit (Accuracy), Vorhersagezeit pro Aktivität ( $\Delta t_{pred}$ ) und Trainingszeit ( $\Delta t_{train}$ ).
Vergleich: Die Leistung von n-Grammen, LSTMs, Transformern und den Ensemble-Methoden wurde gegenübergestellt.

4. Wichtige Ergebnisse

Stabilität von n-Grammen: Im Gegensatz zu neuronalen Netzen zeigen n-Gramme über einen weiten Bereich von Fenstergrößen eine stabile Genauigkeit. Während Transformer-Modelle bei zu großen Fenstern oft drastisch an Leistung verlieren (aufgrund von Aufmerksamkeitsmechanismen, die den Fokus verlieren), bleiben n-Gramme robust.
Leistung des Promotion-Algorithmus:
- Der Promotion-Algorithmus erreicht auf synthetischen und realen Datensätzen eine Genauigkeit, die mit nicht-fensterbasierten neuronalen Modellen (LSTM/Transformer) vergleichbar ist oder diese sogar übertrifft.
- Ressourceneffizienz: Er benötigt nur zwei aktive Modelle parallel, was den Speicherbedarf und die Latenz im Vergleich zu klassischen Ensemble-Methoden (Soft/Adaptive Voting mit vielen Agenten) drastisch senkt.
- Geschwindigkeit: Die Vorhersagezeit des Promotion-Algorithmus liegt in der Größenordnung einfacher n-Gramme und ist deutlich schneller als neuronale Netze.
Fenstergröße: Der Algorithmus löst das Problem der manuellen Fenstergrößenwahl automatisch, indem er dynamisch zwischen Modellen mit unterschiedlichen Kontextlängen wechselt, sobald Daten dies zulassen.

5. Signifikanz und Beitrag

Paradigmenwechsel: Die Arbeit zeigt, dass komplexe, ressourcenintensive Deep-Learning-Modelle für das Next-Activity-Prediction in Streaming-Szenarien nicht zwingend notwendig sind. Einfache, automatenbasierte Modelle in einem intelligenten Ensemble können gleichwertige Ergebnisse liefern.
Praktische Anwendbarkeit: Der Promotion-Algorithmus ermöglicht Echtzeit-Vorhersagen auf großen Datenströmen mit minimalem Hardware-Overhead, was ihn für Anwendungen in der Industrie (z. B. IoT, Prozessüberwachung) hochgradig attraktiv macht.
Robustheit: Die Methode ist weniger anfällig für Hyperparameter-Tuning (insbesondere die Fenstergröße) als einzelne neuronale Netze oder statische Ensembles.

Fazit: Die Autoren demonstrieren erfolgreich, dass eine Kombination aus einfachen Agenten und einem dynamischen Promotionsmechanismus eine effiziente, stabile und hochgenaue Alternative zu monolithischen Deep-Learning-Architekturen für die Vorhersage von Ereignisprotokollen darstellt.