🤖 machine learning

David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

Dit artikel presenteert een systematische benchmark over zeven real-life event logs die aantoont dat een eenvoudige counting-gebaseerde argmax-baseline vaak de prestaties evenaart of benadert van complexe deep learning-modellen en miljardenparameters tellende LLM's bij het voorspellen van de volgende activiteit, wat de aanname uitdaagt dat verhoogde modelcomplexiteit en pretraining consistent superieure resultaten opleveren.

Oorspronkelijke auteurs: Hans Weytjens, Ingo Weber

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hans Weytjens, Ingo Weber

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

David tegen Goliath bij het voorspellen van de volgende activiteit

De Grote Vraag: Hebben we een supercomputer nodig om de volgende stap te voorspellen?

Stel je voor dat je een film kijkt. Je hebt de eerste helft gezien en je wilt raden wat er nu gaat gebeuren.

De "Goliath"-aanpak: Je huurt een team van 1.000 filmcritici in die elke film ooit gemaakt hebben gezien. Zij gebruiken hun enorme kennis van geschiedenis, cultuur en storytelling om de ontknoping te raden.
De "David"-aanpak: Je kijkt gewoon naar de laatste scène. Als de held zojuist een zwaard heeft opgepakt, raad je dat de volgende scène een gevecht inhoudt. Als de held zojuist is gaan zitten voor het diner, raad je dat de volgende scène eten inhoudt.

Dit artikel vraagt zich af: Hebben we echt die 1.000 experts (Goliath) nodig, of is kijken naar de laatste scène (David) genoeg?

De Setting: Het voorspellen van bedrijfsprocessen

Onderzoekers werken in een vakgebied dat Predictive Process Monitoring wordt genoemd. Denk aan een bedrijfsproces als een recept of een assemblagelijn in een fabriek.

Het Doel: Gegeven een lijst met stappen die al zijn genomen (bijv. "Bestelling ontvangen", "Betaling gecontroleen", "Artikel verpakt"), voorspel de zeer volgende stap (bijv. "Artikel verzenden").
De Tegenstanders:
1. Argmax (David): Een super simpele regel. Het telt simpelweg hoe vaak een specifieke stap op een andere volgt in het verleden. Als "Verzenden" in 90% van de gevallen volgde op "Verpakken", dan voorspelt het "Verzenden".
2. LSTMs: Oudere, slimme computers die sequenties goed kunnen onthouden.
3. Transformers & LLM's (Goliath): De enorme AI-modellen met miljarden parameters (zoals die de chatbots aansturen) die zijn "voorgetraind" op de gehele internetwereld. Het idee is dat ze, omdat ze zoveel weten over taal en patronen, geweldig zouden moeten zijn in het voorspellen van bedrijfstappen.

Het Experiment: Het "Woordenschat"-probleem

De onderzoekers probeerden deze gigantische AI-modellen (LLM's) te gebruiken voor bedrijfstaken. Maar bedrijfsdata is geen natuurlijke taal. Het is niet "De kat zat op de mat"; het is "Event ID 405: Factuur goedgekeurd".

Om de AI dit te laten begrijpen, moesten ze de bedrijfsdata vertalen naar de taal van de AI. Dit deden ze door:

Een gigantisch voorgetraind model te nemen (Goliath).
Het woordenboek te vervangen, zodat het bedrijfstermen begrijpt in plaats van Engelse woorden.
Het de specifieke bedrijfsregels te leren (Fine-tuning).

Vervolgens vergeleken ze deze "vertaalde" reuzen met:

Kleinere modellen die vanaf nul zijn getraind (die alleen op de bedrijfsdata hebben geleerd).
De simpele "Argmax"-teller.
Oudere LSTM-modellen.

De Resultaten: De Reus Struikelt

De bevindingen van het onderzoek zijn verrassend en kunnen worden samengevat als "David tegen Goliath", waarbij David wint of gelijkspel behaalt.

1. De "Pre-training" Mythe
De onderzoekers ontdekten dat de "kennis" die de enorme AI leerde van het internet (pre-training) niet hielp.

Analogie: Stel je een chef-kok voor die elk gerecht ter wereld heeft gekookt (de voorgetrainde AI). Je vraagt hem om een heel specifiek, simpel broodje te maken met slechts drie ingrediënten. De chef probeert zijn enorme kennis van de Franse keuken te gebruiken om het broodje te maken, maar het blijkt dat een lokale medewerker van een deli die alleen dat specifieke broodje maakt (het model dat vanaf nul is getraind), het werk beter doet. De enorme kennis van de chef was eigenlijk een afleiding.

2. Groter is Niet Beter
Ze testten modellen variërend van piepklein tot enorm (miljarden parameters).

Resultaat: Het model 1.000 keer groter maken maakte het niet 1.000 keer slimmer. Sterker nog, de kleinere, simpelere modellen presteerden vaak net zo goed, of zelfs beter, dan de reuzen.

3. De Simpele Teller Wint (Grotendeels)
Op de meeste bedrijf-datasets die ze testten, presteerde de simpele "Argmax"-teller (David) net zo goed als de miljarden-parameter AI (Goliath).

Waarom? Bedrijfsprocessen zijn vaak repetitief. Als stap B in 90% van de gevallen volgt op stap A, heb je geen supercomputer nodig om dat te achterhalen. Je hebt alleen een rekenmachine nodig. De complexe AI was overbodig (overkill).

4. Wanneer de Reus Wint
De enorme AI (en de modellen die vanaf nul zijn getraind) lieten alleen een duidelijk voordeel zien op twee specifieke datasets (BPI12 en BPI17). Dit waren de enige gevallen waarin het bedrijfsproces complex genoeg was, of de data gevarieerder was, om een meer geavanceerd brein te vereisen dan een simpele teller.

De Conclusie

Het artikel concludeert dat het vakgebied van de voorspelling van bedrijfsprocessen problemen heeft geprobeerd op te lossen met "sleggels" (enorme AI-modellen), terwijl een "slinger" (een simpele teller of een klein model) voldoende zou zijn geweest.

Breng geen reus naar een gevecht waar een slinger volstaat.
Voordat men miljoenen uitgeeft aan het trainen van enorme AI-modellen, zouden beoefناars eerst een simpele frequentieteller moeten proberen.
Als er een complexer model nodig is, is het beter om een klein model vanaf nul te trainen op de specifieke data, dan te proberen een enorme, voorgetrainde internet-reus het werk te laten doen.

Kortom: De "slimme" AI gedroeg zich in deze specifieke taak niet slimmer dan een simpele rekenmachine. De onderzoekers suggereren dat we stoppen met het overcompliceren van zaken en beginnen met het gebruiken van simpelere, efficiëntere tools.

Technische Samenvatting: David tegen Goliath in Next Activity Prediction

Probleemstelling
Next Activity Prediction (NAP) is een fundamentele taak binnen Predictive Process Monitoring (PPM), waarbij het doel is om de volgende activiteit in een procesverloop (business process trace) te voorspellen op basis van de huidige prefix. Het vakgebied is geëvolueerd van klassieke machine learning naar deep learning-architecturen zoals LSTMs, Transformers en recentelijk Large Language Models (LLMs). Hoewel recente literatuur suggereert dat vocabulaire-aangepaste, gefinetunede LLMs superieure prestaties leveren, ontbreekt het aan systematische benchmarks die deze complexe modellen direct vergelijken met eenvoudigere baselines en architecturen die vanaf nul zijn getraind. Het blijft specifiek onduidelijk of de enorme computationele kosten en complexiteit van het pretrainen en schalen van LLMs consistente prestatiewinsten opleveren ten opzichte van kleinere, taakspecifieke modellen of eenvoudige statistische baselines in de context van directe sequentiemodellering voor NAP.

Methodologie
De auteurs hebben een systematische benchmark uitgevoerd over zeven real-life event logs van de BPI Challenge (BPI12, BPI15, BPI17, BPI19, BPI20_PTC, BPI20_TPD, BPI20_RFP). De studie maakte gebruik van een "directe sequentiemodellering"-aanpak, waarbij attribuutkenmerken van events worden gerepresenteerd als geleerde embeddings zonder de data om te zetten in natuurlijke taaltekst.

Het experimentele ontwerp vergeleek vier categorieën modellen:

Pretrained LLMs: Vocabulaire-aangepaste versies van GPT-2 (Small, Medium, Large) en Qwen-3 (0.6B, 1.7B, 4B) modellen. Hierbij werden de input/output-lagen vervangen om aan het vocabulaire van de dataset te voldoen, terwijl de backbone vast bleef of minimaal werd aangepast via Parameter-Efficient Fine-Tuning (PEFT).
Transformers getraind vanaf nul: Custom "nanoGPT"-modellen van variërende groottes (variërend van circa 0.1M tot ~85M parameters) die direct op de NAP-datasets zijn getraind.
Gedestilleerde modellen: Kleinere "student"-modellen die zijn getraind via logits-only kennisdistillatie van de gefinetunede pretrained "teacher"-modellen.
Baselines:
- LSTMs: Vier LSTM-modellen van verschillende groottes.
- Argmax Baseline: Een eenvoudig eerste-orde empirisch transitiemodel dat de volgende activiteit voorspelt op basis van de relatieve transitiefrequenties van de huidige activiteit ( $a_{k+1} = \arg\max_a P(a | a_k)$ ).

De evaluatie maakte gebruik van twee metrieken: Accuracy en Macro-F1, berekend op prefix-niveau. De studie controleerde voor hyperparameters, data leakage en preprocessing (inclusief lifecycle augmentatie en het afhandelen van unieke prefixes).

Belangrijkste Bijdragen

Systematische Benchmarking: Het artikel biedt de eerste gezamenlijke vergelijking van vocabulaire-aangepaste LLMs, vanaf nul getrainde Transformers, gedestilleerde modellen, LSTMs en een op tellingen gebaseerde argmax-baseline over meerdere datasets.
Distillatie-methodologie: Het introduceert een methode om gefinetunede LLMs te comprimeren naar kleinere architecturen waarvoor geen pretrained versies bestaan, wat een gecontroleerde studie van kennisoverdracht mogelijk maakt.
Inclusie van Baselines: Door een eenvoudige counting-gebaseerde argmax-baseline te herintroduceren (die in veel recente DL-gerichte NAP-papers ontbreekt), bieden de auteurs een kritische reality check op gerapporteerde prestatiewinsten.
Onderzoeksvragen: De studie adresseert expliciet vijf vragen met betrekking tot de waarde van pretraining, distillatie, modelschaling, architecturale moderniteit en de noodzaak van complexe modellen boven baselines.

Resultaten
De experimentele resultaten presenteren een "David tegen Goliath"-narratief, die de aanname uitdaagt dat grotere, gepretraineerde modellen inherent superieur zijn:

Pretraining (RQ1): Er is geen consistente toegevoegde waarde van generieke LLM-pretraining. Gefinetunede GPT-2 en Qwen-3 modellen presteerden niet systematisch beter dan hun tegenhangers die vanaf nul waren getraind (nanoGPT) van vergelijkbare grootte. In sommige gevallen presteerden vanaf nul getrainde modellen zelfs beter.
Distillatie (RQ2): Logits-only distillatie van gefinetunede teachers verbeterde de prestaties van kleinere student-architecturen niet vergeleken met het direct vanaf nul trainen ervan. Sterker nog, gedestilleerde modellen presteerden vaak slechter.
Modelcapaciteit en Moderniteit (RQ3 & RQ4): Het vergroten van de modelgrootte (van miljoenen naar miljarden parameters) leverde geen consistente prestatievoordelen op. Evenzo presteerden nieuwere architecturen (Qwen-3) niet consequent beter dan oudere (GPT-2).
Complexiteit versus Baseline (RQ5):
- LSTMs versus LLMs: LSTMs presteerden vergelijkbaar met LLMs, met name op Macro-F1, waarbij LLMs alleen significante winst lieten zien op de BPI12-dataset.
- LLMs versus Argmax: Op de meeste datasets (BPI15, BPI19, BPI20 varianten) benaderde of evenaarde de eenvoudige argmax-baseline de prestaties van miljarden-parameter LLMs. Significante verbeteringen ten opzichte van de argmax-baseline werden alleen waargenomen op BPI12 en BPI17.
- Optimale Strategie: Voor datasets met een hoge prefix-variantie, weinig trainingsvoorbeelden of een hoge klasse-imbalans, was de argmax-baseline vaak de meest effectieve optie. Echter, relatief kleine Transformers die vanaf nul waren getraind, behaalden vaak de beste algehele voorspellende prestaties, waarmee ze zowel de baseline als de gefinetunede LLMs overtroffen.

Betekenis en Claims
Het artikel claimt een "soberende reality check" te zijn voor de PPM-gemeenschap. De auteurs stellen dat de neiging in het vakgebied om geavanceerde modellen te benchmarken tegen andere deep learning-modellen, in plaats van tegen eenvoudige baselines, de praktische relevantie van recente vooruitgang heeft overschat.

Pretraining is geen wondermiddel: Generieke taal-priors geleerd tijdens pretraining worden niet effectief overgedragen naar NAP via vocabulaire-aangepaste directe sequentiemodellering. De "mismatchende priors" van grote modellen kunnen de prestaties op specifieke procesdistributies zelfs hinderen.
Eenvoud is competitief: Een eenvoudig frequentiegebaseerd model is een zeer competitieve optie voor veel proceslogs.
Trainen vanaf nul is te verkiezen: Wanneer complexe modellen noodzakelijk zijn, is het trainen van kleine Transformer-modellen vanaf nul vaak voordeliger dan het vergroten van de modelgrootte of het vertrouwen op pretrained/gedestilleerde architecturen.
Toekomstige Richting: De bevindingen suggereren dat toekomstig onderzoek zich niet moet richten op architecturale schaling, maar op rijkere procesbewuste representaties, transfer learning en multi-task objectives, waarbij de gevestigde benchmarks en eenvoudige baselines als een duidelijk startpunt dienen om echte vooruitgang te meten.

De auteurs concluderen dat praktijkgebruikers "geen reus moeten meebrengen naar een gevecht waar een slinger volstaat", waarbij zij benadrukken dat de complexiteit van miljarden-parameter modellen vaak onverdedigbaar is voor standaard NAP-taken.