Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches
Diese Arbeit präsentiert einen vergleichenden Benchmark von sequenziellen, tabellarischen und LLM-basierten Ansätzen für das prädiktive Prozessmonitoring, der aufzeigt, dass Sequenzmodelle bei der Vorhersage der nächsten Aktivität exzellieren und tabellarische Foundation-Modelle bei temporalen Aufgaben wettbewerbsfähig sind, während LLMs trotz ihrer höheren Rechenkosten im Allgemeinen unterperformen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten eine geschäftige Küche. Bestellungen gehen ein, Köche hacken, braten und anrichten, und manchmal bleibt ein Gericht stecken, weil eine Sauce oder eine Zutat fehlt. Wenn Sie in die Zukunft blicken könnten und genau wüssten, was der nächste Schritt sein wird, wie lange eine Mahlzeit dauern wird oder ob eine Bestellung verspätet ankommen wird, könnten Sie Probleme beheben, bevor sie entstehen. Dies ist das Herzstück des Predictive Process Monitoring (PPM). Es ist ein Zweig der Informatik, der sich die digitalen „Belege“ dessen ansieht, wie Dinge ablaufen – wie etwa eine Fabrik, die Autos herstellt, oder eine Bank, die Kredite genehmigt – um vorherzusagen, was als Nächstes kommt. Jahrelang war der beste Weg hierfür, ein spezialisiertes Computergehirn von Grund auf neu zu trainieren und ihm die spezifischen Regeln dieser einen Küche beizubringen. Doch vor kurzem ist eine neue Welle superintelligenter, universell einsetzbarer Computer namens Large Language Models (LLMs) angekommen. Das sind die Modelle, die Gedichte schreiben, programmieren und mit Ihnen chatten können, und die Menschen fragten sich: „Können wir diese allgemeinen Genies einfach fragen, um die Zukunft unserer Küche vorherzusagen?“ Gleichzeitig tauchte eine dritte Option auf: Tabular Foundation Models, die wie Experten-Statistiker sind, die Daten in ordentlichen Zeilen und Spalten betrachten statt in Geschichten. Die große Frage lautet: Brauchen wir immer noch die spezialisierten Küchenexperten, oder haben die allgemeinen Genies und die Zeilen-Spalten-Statistiker das Ruder übernommen?
Dieses Paper ist ein massiver Geschmackstest, um zu sehen, welcher dieser drei „Köche“ tatsächlich das beste Essen zubereitet. Die Forscher richteten einen kontrollierten Wettbewerb mit fünf verschiedenen realen „Küchen“ (Datensätzen aus Geschäftsprozessen) ein und baten die Modelle, drei Dinge vorherzusagen: was die nächste Aktivität ist, wie lange der nächste Schritt dauern wird und wie viel Zeit bis zum Abschluss des gesamten Auftrags verbleibt. Sie stellten die altmodischen Sequenzmodelle (die eigens für diese Aufgabe von Grund auf trainiert wurden) den LLMs (die mittels einer Technik namens LoRA angepasst wurden, um den Prozess zu lernen) und den Tabular-Modellen (die In-Context-Learning nutzen, was bedeutet, dass sie durch das Betrachten von Beispielen direkt vor ihnen lernen, ohne ein erneutes Training) gegenüber.
Die Ergebnisse waren eine kleine Überraschung und auch eine gewisse Erleichterung für die Verfechter der alten Schule. Wenn es darum ging, die nächste Aktivität zu erraten (wie vorherzusagen, dass der Koch als Nächstes Zwiebeln hacken wird), waren die spezialisierten Sequenzmodelle die klaren Gewinner. Sie erreichten konsistent die höchste Genauigkeit und schlugen damit die LLMs und die Tabular-Modelle. Das Paper legt nahe, dass dies daran liegt, dass diese Modelle sehr gut darin sind, die spezifische Abfolge und den Fluss von Ereignissen zu verstehen, insbesondere wenn der Prozess durch viele mögliche Pfade (Verzweigungen) kompliziert wird. Die Tabular-Modelle waren tatsächlich recht gut bei den zeitbezogenen Aufgaben und schnitten oft genauso gut ab wie die Spezialisten, wenn es darum ging, vorherzusagen, wie lange Dinge dauern würden. Die LLMs hingegen, obwohl sie die berühmtesten und teuersten in der Ausführung sind, hinkten meist hinterher. Sie benötigten viel länger für die Berechnung (manchmal über 200 Minuten für einen einzigen Datensatz im Vergleich zu weniger als einer Minute bei den anderen) und lieferten nicht immer die richtigen Antworten. Tatsächlich sagten die LLMs bei einem Datensatz häufig voraus, dass der Prozess beendet sei, obwohl er es noch nicht war, was zu vielen verfrühten Fehlern führte.
Das Paper kommt daher zu dem Schluss, dass die glanzvollen, universell einsetzbaren LLMs zwar interessant sind, aber die spezialisierten Modelle bei der Vorhersage dessen, was als Nächstes in einem Prozess passiert, noch nicht entthront haben. Die spezialisierten Modelle sind nach wie vor die zuverlässigsten Köche für diese Aufgabe, während die Tabular-Modelle eine starke, schnelle Alternative für Zeitfragen darstellen. Die Autoren schlagen vor, dass die LLMs vielleicht noch größer sein oder anders trainiert werden müssten, um aufzuholen, und dass für den Moment, wenn man wissen will, was als Nächstes in einem komplexen Prozess passiert, der altmodische, spezialisierte Ansatz immer noch die genaueste Wette ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.