🤖 machine learning

David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

Diese Arbeit präsentiert einen systematischen Benchmark über sieben reale Event-Logs hinweg, der zeigt, dass eine einfache auf Zählung basierende Argmax-Baseline oft die Leistung komplexer Deep-Learning-Modelle und Milliarden-Parameter-starker LLMs bei der Vorhersage der nächsten Aktivität erreicht oder ihnen nahekommt, was die Annahme infrage stellt, dass erhöhte Modellkomplexität und Pretraining konsistent überlegene Ergebnisse liefern.

Ursprüngliche Autoren: Hans Weytjens, Ingo Weber

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hans Weytjens, Ingo Weber

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

David gegen Goliath bei der Vorhersage der nächsten Aktivität

Die große Frage: Brauchen wir einen Supercomputer, um den nächsten Schritt vorherzusagen?

Stellen Sie sich vor, Sie schauen einen Film. Sie haben die erste Hälfte gesehen und möchten erraten, was als Nächstes passiert.

Der „Goliath“-Ansatz: Sie engagieren ein Team von 1.000 Filmkritikern, die jeden jemals gedrehten Film gesehen haben. Sie nutzen ihr massives Wissen über Geschichte, Kultur und Erzählweise, um das Ende zu erraten.
Der „David“-Ansatz: Sie schauen sich einfach nur die letzte Szene an. Wenn der Held gerade ein Schwert aufgehoben hat, raten Sie, dass die nächste Szene ein Kampf ist. Wenn der Held sich gerade zum Essen hingesetzt hat, raten Sie, dass die nächste Szene das Essen beinhaltet.

Dieses Paper stellt die Frage: Brauchen wir wirklich die 1.000 Experten (Goliath), oder reicht es aus, die letzte Szene zu betrachten (David)?

Das Setting: Vorhersage von Geschäftsprozessen

Die Forscher arbeiten in einem Bereich namens Predictive Process Monitoring (Prädiktive Prozessüberwachung). Stellen Sie sich einen Geschäftsprozess wie ein Rezept oder ein Fließband in einer Fabrik vor.

Das Ziel: Gegeben eine Liste bereits getätigter Schritte (z. B. „Bestellung erhalten“, „Zahlung geprüft“, „Artikel verpackt“), soll der nächste Schritt vorhergesagt werden (z. B. „Artikel versenden“).
Die Kontrahenten:
1. Argmax (David): Eine super-einfache Regel. Sie zählt lediglich, wie oft ein bestimmter Schritt in der Vergangenheit einem anderen gefolgt ist. Wenn auf „Verpacken“ in 90 % der Fälle „Versand“ folgte, rät das Modell „Versand“.
2. LSTMs: Ältere, intelligente Computer, die Sequenzen gut im Gedächtnis behalten können.
3. Transformer & LLMs (Goliath): Die riesigen KI-Modelle mit Milliarden von Parametern (wie sie Chatbots antreiben), die auf dem gesamten Internet „vortrainiert“ wurden. Die Idee ist, dass sie aufgrund ihres Wissens über Sprache und Muster fantastisch darin sein sollten, Geschäftsschritte vorherzusagen.

Das Experiment: Das „Vokabular“-Problem

Die Forscher versuchten, diese riesigen KI-Modelle (LLMs) für geschäftliche Aufgaben einzusetzen. Aber Geschäftsdaten sind keine natürliche Sprache. Es heißt nicht „Die Katze saß auf der Matte“, sondern „Event ID 405: Rechnung genehmigt“.

Um die KI verständlich zu machen, mussten sie die Geschäftsdaten in die Sprache der KI übersetzen. Dies geschah durch:

Ein riesiges vortrainiertes Modell (Goliath) zu nehmen.
Dessen Wörterbuch auszutauschen, damit es Geschäftsbegriffe statt englische Wörter versteht.
Es mit den spezifischen Geschäftsregeln zu trainieren (Fine-tuning).

Anschließend verglichen sie diese „übersetzten“ Giganten mit:

Kleineren Modellen, die von Grund auf neu trainiert wurden (die nur auf den Geschäftsdaten lernen).
Dem einfachen „Argmax“-Zähler.
Älteren LSTM-Modellen.

Die Ergebnisse: Der Riese stolpert

Die Ergebnisse des Papers sind überraschend und lassen sich so zusammenfassen: „David gegen Goliath“, wobei David gewinnt oder unentschieden spielt.

1. Der „Pre-training“-Mythos
Die Forscher fanden heraus, dass das „Wissen“, das die riesige KI aus dem Internet gelernt hat (Pre-training), nicht geholfen hat.

Analogie: Stellen Sie sich einen Chefkoch vor, der jedes Gericht der Welt gekocht hat (die vortrainierte KI). Sie bitten ihn, ein sehr spezifisches, einfaches Sandwich zuzubereiten, das nur aus drei Zutaten besteht. Der Koch versucht, sein gesamtes Wissen über die französische Küche zu nutzen, um das Sandwich zu machen, aber es stellt sich heraus, dass ein lokaler Imbissmitarbeiter, der nur dieses spezifische Sandwich macht (das von Grund auf neu trainierte Modell), einen besseren Job erledigt. Das massive Wissen des Kochs war eigentlich eher eine Ablenkung.

2. Größer ist nicht besser
Sie testeten Modelle, die von winzig bis massiv (Milliarden von Parametern) reichten.

Ergebnis: Das Modell um das 1.000-fache größer zu machen, machte es nicht 1.000-mal klüger. Tatsächlich schnitten die kleineren, einfacheren Modelle oft genauso gut ab oder sogar besser als die Giganten.

3. Der einfache Zähler gewinnt (meistens)
Bei den meisten der getesteten Geschäftsdatensätze schnitt der einfache „Argmax“-Zähler (David) genauso gut ab wie die Milliarden-Parameter-KI (Goliath).

Warum? Geschäftsprozesse sind oft repetitiv. Wenn auf Schritt A in 90 % der Fälle Schritt B folgt, braucht man keinen Supercomputer, um das herauszufinden. Man braucht nur einen Taschenrechner. Die komplexe KI war Overkill.

4. Wann gewinnt der Riese?
Die riesige KI (und die Modelle, die von Grund auf neu trainiert wurden) zeigte nur bei zwei spezifischen Datensätzen (BPI12 und BPI17) einen klaren Vorteil. Dies waren die einzigen Fälle, in denen der Geschäftsprozess komplex genug war oder die Daten so stark variierten, dass ein anspruchsvolleres Gehirn als ein einfacher Zähler erforderlich war.

Das Fazit

Das Paper kommt zu dem Schluss, dass das Feld der Geschäftsprozess-Vorhersage versucht hat, Probleme mit „Vorschlaghämmern“ (massiven KI-Modellen) zu lösen, obwohl eine „Steinschleuder“ (ein einfacher Zähler oder ein kleines Modell) völlig ausgereicht hätte.

Bringt keinen Riesen zu einem Kampf, bei dem eine Schleuder genügt.
Bevor Praktiker Millionen in das Training massiver KI-Modelle investieren, sollten sie zuerst einen einfachen Häufigkeitszähler testen.
Falls ein komplexeres Modell benötigt wird, ist es besser, ein kleines Modell von Grund auf auf den spezifischen Daten zu trainieren, anstatt zu versuchen, ein riesiges, vortrainiertes Internet-Modell dazu zu zwingen, diese Aufgabe zu übernehmen.

Kurz gesagt: Die „schlaue“ KI war in diesem speziellen Job nicht schlauer als ein einfacher Taschenrechner. Die Forscher schlagen vor, die Komplexität zu reduzieren und stattdessen einfachere, effizientere Werkzeuge einzusetzen.

Technisches Resümee: David gegen Goliath in der Vorhersage der nächsten Aktivität

Problemstellung
Die Vorhersage der nächsten Aktivität (Next Activity Prediction, NAP) ist eine grundlegende Aufgabe im Bereich des Predictive Process Monitoring (PPM) und zielt darauf ab, die darauffolgende Aktivität in einem Geschäftsprozessverlauf basierend auf dessen Präfix vorherzusagen. Das Feld hat sich von klassischem maschinellem Lernen zu Deep-Learning-Architekturen wie LSTMs, Transformern und jüngst Large Language Models (LLMs) entwickelt. Während die jüngere Literatur nahelegt, dass vokabular-angepasste, fein abgestimmte LLMs eine überlegene Leistung bieten, mangelt es an systematischen Benchmarks, die diese komplexen Modelle direkt mit einfacheren Baselines und von Grund auf trainierten Architekturen vergleichen. Insbesondere bleibt unklar, ob die massiven Rechenkosten und die Komplexität des Pretrainings und der Skalierung von LLMs konsistente Leistungssteigerungen gegenüber kleineren, aufgabenbezogenen Modellen oder einfachen statistischen Baselines im Kontext der direkten Sequenzmodellierung für NAP liefern.

Methodik
Die Autoren führten ein systematisches Benchmarking über sieben reale Ereignisprotokolle aus der BPI Challenge (BPI12, BPI15, BPI17, BPI19, BPI20_PTC, BPI20_TPD, BPI20_RFP) durch. Die Studie verwendete einen Ansatz der „direkten Sequenzmodellierung“, bei dem Ereignisattribute als gelernte Embeddings dargestellt werden, ohne die Daten in natürlichen Text umzuwandeln.

Das experimentelle Setup verglich vier Kategorien von Modellen:

Vortrainierte LLMs: Vokabular-angepasste Versionen von GPT-2 (Small, Medium, Large) und Qwen-3 (0,6B, 1,7B, 4B) Modellen. Dies beinhaltete das Ersetzen der Input/Output-Layer, um sie an das Datensatz-Vokabular anzupassen, während der Backbone fixiert oder mittels Parameter-Efficient Fine-Tuning (PEFT) minimal angepasst wurde.
Von Grund auf trainierte Transformer: Eigene „nanoGPT“-Modelle unterschiedlicher Größe (von ca. 0,1M bis ca. 85M Parametern), die direkt auf den NAP-Datensätzen trainiert wurden.
Destillierte Modelle: Kleinere „Student“-Modelle, die mittels Logits-only Knowledge Distillation von den fein abgestimmten vortrainierten „Teacher“-Modellen trainiert wurden.
Baselines:
- LSTMs: Vier LSTM-Modelle unterschiedlicher Größe.
- Argmax-Baseline: Ein einfaches Modell erster Ordnung basierend auf empirischen Übergangshäufigkeiten, das die nächste Aktivität allein basierend auf den relativen Übergangshäufigkeiten der aktuellen Aktivität vorhersagt ( $a_{k+1} = \arg\max_a P(a | a_k)$ ).

Die Evaluierung nutzte zwei Metriken: Accuracy und Macro-F1, berechnet auf Präfix-Ebene. Die Studie kontrollierte Hyperparameter, Data Leakage und die Vorverarbeitung (einschließlich Lifecycle-Augmentierung und Handhabung eindeutiger Präfixe).

Wesentliche Beiträge

Systematisches Benchmarking: Die Arbeit liefert den ersten gemeinsamen Vergleich von vokabular-angepassten LLMs, von Grund auf trainierten Transformern, destillierten Modellen, LSTMs und einer auf Zählungen basierenden Argmax-Baseline über mehrere Datensätze hinweg.
Destillations-Methodik: Sie führt eine Methode zur Komprimierung fein abgestimmter LLMs in kleinere Architekturen ein, für die keine vortrainierten Versionen existieren, was eine kontrollierte Untersuchung des Wissenstransfers ermöglicht.
Einbeziehung von Baselines: Durch die Wiedereinführung einer einfachen, auf Zählungen basierenden Argmax-Baseline (die in vielen aktuellen DL-fokussierten NAP-Papieren fehlt) liefern die Autoren eine kritische Realitätsprüfung für die berichteten Leistungssteigerungen.
Forschungsfragen: Die Studie adressiert explizit fünf Fragen bezüglich des Wertes von Pretraining, Destillation, Modellskalierung, architektonischer Modernität und der Notwendigkeit komplexer Modelle gegenüber Baselines.

Ergebnisse
Die experimentellen Ergebnisse präsentieren ein „David gegen Goliath“-Narrativ, das die Annahme infrage stellt, dass größere, vortrainierte Modelle inhärent überlegen sind:

Pretraining (RQ1): Es gibt keinen konsistenten Mehrwert durch generisches LLM-Pretraining. Fein abgestimmte GPT-2 und Qwen-3 Modelle übertrafen ihre vergleichbaren, von Grund auf trainierten Gegenstücke (nanoGPT) ähnlicher Größe nicht systematisch. In einigen Fällen waren die von Grund auf trainierten Modelle besser.
Destillation (RQ2): Logits-only Destillation von fein abgestimmten Lehrern verbesserte die Leistung kleinerer Student-Architekturen im Vergleich zum direkten Training von Grund auf nicht. Tatsächlich schnitten destillierte Modelle oft schlechter ab.
Modellkapazität und Modernität (RQ3 & RQ4): Eine Erhöhung der Modellgröße (von Millionen zu Milliarden Parametern) brachte keinen konsistenten Leistungsvorteil. Ebenso übertrafen neuere Architekturen (Qwen-3) die älteren (GPT-2) nicht konsistent.
Komplexität vs. Baseline (RQ5):
- LSTMs vs. LLMs: LSTMs schnitten vergleichbar zu LLMs ab, insbesondere beim Macro-F1, wobei LLMs nur beim BPI12-Datensatz signifikante Gewinne erzielten.
- LLMs vs. Argmax: Auf den meisten Datensätzen (BPI15, BPI19, BPI20 Varianten) erreichte die einfache Argmax-Baseline die Leistung von Milliarden-Parameter-LLMs oder kam ihr nahe. Signifikante Verbesserungen gegenüber der Argmax-Baseline wurden nur bei BPI12 und BPI17 beobachtet.
- Optimale Strategie: Für Datensätze mit hoher Präfix-Varianz, wenigen Trainingsbeispielen oder hoher Klassenimbalance war die Argmax-Baseline oft die effektivste Option. Dennoch erreichten vergleichsweise kleine, von Grund auf trainierte Transformer häufig die beste Gesamtleistung und übertrafen sowohl die Baseline als auch die fein abgestimmten LLMs.

Bedeutung und Behauptungen
Das Paper beansprucht eine „nüchterne Realitätsprüfung“ für die PPM-Community. Die Autoren argumentieren, dass die Tendenz des Feldes, fortgeschrittene Modelle gegen andere Deep-Learning-Modelle statt gegen einfache Baselines zu testen, die praktische Relevanz jüngster Fortschritte überbewertet hat.

Pretraining ist kein Allheilmittel: Generische Sprach-Priors, die während des Pretrainings gelernt wurden, übertragen sich nicht effektiv auf NAP via vokabular-angepasster direkter Sequenzmodellierung. Die „mismatchten Priors“ großer Modelle können die Leistung bei spezifischen Prozessverteilungen sogar behindern.
Einfachheit ist wettbewerbsfähig: Ein einfaches modellbasiertes Häufigkeitsmodell ist für viele Prozessprotokolle eine hochgradig kompetitive Option.
Training von Grund auf ist vorzuziehen: Wenn komplexe Modelle notwendig sind, ist es vorteilhafter, kleine Transformer von Grund auf zu trainieren, als die Modellgröße zu erhöhen oder sich auf vortrainierte/destillierte Architekturen zu verlassen.
Zukünftige Richtung: Die Ergebnisse legen nahe, dass die zukünftige Forschung über die Skalierung von Architekturen hinausgehen und sich auf reichere, prozessbewusste Repräsentationen, Transfer Learning und Multi-Task-Objectives konzentrieren sollte, wobei die etablierten Benchmarks und einfachen Baselines als klarer Ausgangspunkt für die Messung echten Fortschritts dienen sollten.

Die Autoren kommen zu dem Schluss, dass Praktiker „nicht einen Riesen zu einem Kampf bringen sollten, für den eine Steinschleuder ausreicht“, und betonen, dass die Komplexität von Milliarden-Parameter-Modellen für Standard-NAP-Aufgaben oft nicht gerechtfertigt ist.