Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches
Dit artikel presenteert een vergelijkende benchmark van sequentie-, tabel- en LLM-gebaseerde benaderingen voor predictieve procesmonitoring, waarbij wordt onthuld dat hoewel sequentiemodellen uitblinken in het voorspellen van de volgende activiteit en tabel-foundationmodellen competitief zijn voor temporele taken, LLM's over het algemeen ondermaats presteren ondanks hun hogere computationele kosten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een drukke keuken kij르게 kijkt. Bestellingen komen binnen, koks snijden, bakken en presenteren, en soms blijft een gerecht wachten op een saus of een ontbrekend ingrediënt. Als je in de toekomst zou kunnen kijken en precies zou weten wat de volgende stap zal zijn, hoe lang een maaltijd zal duren, of of een bestelling te laat gaat, zou je problemen kunnen oplossen voordat ze gebeuren. Dit is de kern van Predictive Process Monitoring (PPM). Het is een tak van de informatica die kijkt naar de digitale "bonnetjes" van hoe dingen gebeuren—zoals een fabriek die auto's maakt of een bank die leningen goedkeurt—om te raden wat er nu volgt. Jarenlang was de beste manier om dit te doen een gespecialiseerd computerbrein vanaf nul trainen, door het de specifieke regels van die ene keuken aan te leren. Maar recentelijk is er een nieuwe golf van superintelligente, algemene computers aangekomen, genaamd Large Language Models (LLMs). Dit zijn de modellen die gedichten kunnen schrijven, code kunnen maken en met je kunnen chatten, en mensen vro wonderden zich: "Kunnen we deze algemene genieën gewoon vragen om de toekomst van onze keuken te voorspellen?" Tegelijkertijd verscheen er een derde optie: Tabular Foundation Models, die als deskundige statistici kijken naar data in nette rijen en kolommen in plaats van naar verhalen. De grote vraag is: Hebben we nog steeds de gespecialiseerde keukenexperts nodig, of hebben de algemene genieën en de rij-kolom-statistici de macht overgenomen?
Dit artikel is een enorme smaaktest om te zien welke van deze drie "chefs" echt het beste gerecht bereidt. De onderzoekers zetten een gecontroleerde wedstrijd op met vijf verschillende echte "keukens" (datasets uit bedrijfsprocessen) en vroegen de modellen om drie dingen te voorspellen: wat de volgende activiteit is, hoe lang de volgende stap zal duren, en hoeveel tijd er nog rest tot de hele klus geklaard is. Ze zetten de ouderwetse Sequence Models (vanaf nul getraind voor specifiek deze taak) af tegen de LLMs (aangepast met een techniek genaamd LoRA om het proces te leren) en de Tabulaire Modellen (die gebruikmaken van in-context learning, wat betekent dat ze leren door naar voorbeelden te kijken die direct voor hen liggen zonder hertraining).
De resultaten waren een beetje een verrassing en een beetje een geruststelling voor de ouderwetse types. Wanneer het ging om het raden van de volgende activiteit (zoals voorspellen dat de chef nu uien gaat snijden), waren de gespecialiseerde Sequence Models de duidelijke winnaars. Ze behaalden consequent de hoogste nauwkeurigheid en versloegen daarmee zowel de LLM's als de tabulaire modellen. Het artikel suggereert dat dit komt omdat deze modellen erg goed zijn in het begrijpen van de specifieke volgorde en de flow van gebeurtenissen, vooral wanneer het proces ingewikkelder wordt met veel mogelijke paden (vertakkingen). De Tabulaire modellen waren eigenlijk best goed in de tijdgerelateerde taken, en presteerden vaak net zo goed als de specialisten bij het voorspellen van hoe lang iets zou duren. De LLM's daarentegen, ondanks het feit dat ze de meest beroemde en dure zijn om te draaien, bleven meestal achter. Ze hadden veel meer rekentijd nodig (soms meer dan 200 minuten voor een enkele dataset vergeleken met minder dan een minuut voor de anderen) en gaven niet altijd de juiste antwoorden. Sterker nog, op één dataset voorspelden de LLM's regelmatig dat het proces al was afgelopen terwijl dat nog niet zo was, waardoor ze veel voortijdige fouten maakten.
Het artikel concludeert daarom dat hoewel de flitsende, algemene LLM's interessant zijn, ze de gespecialiseerde modellen voor het voorspellen van wat er hierna gebeurt nog niet van hun troon hebben gestoten. De gespecialiseerde modellen zijn nog steeds de meest betrouwbare chefs voor deze klus, terwijl de tabulaire modellen een sterk en snel alternatief zijn voor vragen over timing. De auteurs suggereren dat de LLM's zelfs nog groter moeten zijn of anders getraind moeten worden om in te halen, en dat voor nu, als je wilt weten wat er hierna gebeurt in een complex proces, de ouderwetse, gespecialiseerde aanpak nog steeds de meest nauwkeurige weddenschap is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.