🤖 AI

World of Workflows: A Benchmark for Bringing World Models to Enterprise Systems

Dit paper introduceert "World of Workflows" (WoW), een nieuwe benchmark die aantoont dat huidige AI-modellen tekortschieten in complexe bedrijfsomgevingen omdat ze de onzichtbare, opeenvolgende effecten van hun acties op verborgen workflows niet kunnen voorspellen.

Oorspronkelijke auteurs: Lakshya Gupta, Litao Li, Yizhe Liu, Sriram Ganapathi Subramanian, Kaheer Suleman, Zichen Zhang, Haoye Lu, Sumit Pasupalak

Gepubliceerd 2026-02-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lakshya Gupta, Litao Li, Yizhe Liu, Sriram Ganapathi Subramanian, Kaheer Suleman, Zichen Zhang, Haoye Lu, Sumit Pasupalak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe baan krijgt bij een gigantisch, hypermodern bedrijf. Alles lijkt perfect: je hebt een computer, een bureau en een lijst met taken. Maar er is één probleem: het bedrijf werkt met een onzichtbaar, magisch web van regels.

Als jij een pen bestelt, kan het zijn dat de computer automatisch een melding stuurt naar de manager, die vervolgens besluit dat je budget voor koffie deze maand lager wordt. Of als je een dossier verplaatst, kan een onzichtbare robot plotseling besluiten dat je geen toegang meer hebt tot de kantine. Je ziet de actie (de pen bestellen), maar je ziet de "rimpel in de vijver" (het lagere koffiebudget) niet.

Dit is precies waar dit wetenschappelijke onderzoek over gaat. Hier is de uitleg in gewone mensentaal:

Het Probleem: De "Blinde" Digitale Assistent

Tegenwoordig hebben we slimme AI-assistenten (zoals ChatGPT). Ze zijn geweldig in het schrijven van gedichten of het beantwoorden van vragen. Maar als je ze in een echt groot bedrijf zet om taken uit te voeren, gaat het mis.

Waarom? Omdat grote bedrijven werken met "Workflows". Dit zijn verborgen kettingreacties. In het onderzoek noemen ze dit de "Dynamics Blindness" (dynamische blindheid). De AI ziet alleen wat hij direct doet, maar hij begrijpt niet de onzichtbare gevolgen die drie stappen verderop in het systeem gebeuren.

De metafoor: Het is alsof je een AI een dominosteen laat omgooien. De AI denkt: "Klaar! Ik heb de steen omgegooid, taak volbracht!", terwijl hij niet ziet dat die ene steen een kettingreactie heeft veroorzaakt die een hele rij andere stenen omverwerpt en uiteindelijk een vaas van de tafel laat vallen.

De Oplossing: "World of Workflows" (WoW)

De onderzoekers hebben een soort "digitale speeltuin" gebouwd, genaamd WoW. Dit is een nagebootste bedrijfsomgeving (gebaseerd op een echt systeem genaamd ServiceNow) die vol zit met duizenden verborgen regels en 55 complexe kettingreacties.

Ze hebben een test ontwikkeld (WoW-bench) om te kijken hoe slim de AI echt is. Ze testen niet alleen of de AI de taak kan uitvoeren, maar ook of de AI kan voorspellen wat er gebeurt als hij iets doet.

De Grote Ontdekking: De AI is een "Greedy Planner"

De resultaten waren een wake-up call. De onderzoekers ontdekten drie grote fouten die de AI maakt:

De Identiteitsverwarring: De AI ziet namen, maar begrijpt de codes niet. Als de AI een gebruiker moet zoeken, zoekt hij op "Jan Jansen", terwijl het systeem eigenlijk een ingewikkelde code zoals XJ-992 nodig heeft. Het is alsof je iemand zoekt in een bibliotheek op basis van zijn kleding in plaats van zijn paspoortnummer.
De Voorspellingsfout: De AI kan niet "vooruitkijken". Hij begrijpt de "wetten van de natuurkunde" van het bedrijf niet. Hij weet niet dat actie A automatisch leidt tot gevolg B.
De Causaliteitskloof: Dit is de gevaarlijkste. De AI voert een actie uit die op het eerste gezicht prima lijkt, maar die een verborgen regel triggert waardoor hij later in het proces een fout maakt. Hij is een "Greedy Planner": hij kijkt alleen naar de directe winst van de volgende stap, zonder te zien dat hij zichzelf in een hoek aan het drijven is.

Wat betekent dit voor de toekomst?

De onderzoekers zeggen: we moeten stoppen met AI te trainen om alleen maar "braaf instructies op te volgen". We moeten AI leren om een "World Model" te bouwen.

In plaats van een assistent die alleen maar knoppen indrukt, hebben we een assistent nodig die in zijn hoofd een simulatie draait: "Als ik deze knop nu indruk, wat gebeurt er dan over tien minuten in de boekhouding?"

Kortom: We willen geen AI die alleen maar kan praten, we willen een AI die begrijpt hoe de wereld (en het bedrijf) echt in elkaar steekt, inclusief alle onzichtbare rimpelingen die een actie veroorzaakt.

Technische Samenvatting: World of Workflows (WoW)

1. Het Probleem: De "Dynamics Blindness" van AI-agenten

Huidige frontier Large Language Models (LLM's) presteren uitstekend als autonome agenten in algemene consumententaken, maar falen structureel in complexe enterprise-omgevingen (zoals ERP- of CRM-systemen). De auteurs identificeren drie kernproblemen:

Beperkte Observabiliteit: In enterprise-systemen zijn de acties van een gebruiker vaak slechts het topje van de ijsberg. Een enkele API-aanroep kan onzichtbare "workflows" en "business rules" triggeren die de database op de achtergrond veranderen.
Cascaderende Effecten: Een actie die op het eerste gezicht correct lijkt, kan een kettingreactie aan updates veroorzaken in andere tabellen, wat leidt tot onvoorziene schendingen van bedrijfsregels (constraints).
Gebrek aan Wereldmodellen: Bestaande benchmarks testen alleen of een agent een taak kan voltooien (oppervlakkige taakvoltooiing), maar niet of de agent begrijpt hoe het systeem reageert op acties (het modelleren van systeemdynamiek).

2. Methodologie: De WoW-omgeving en WoW-bench

Om dit gat te dichten, introduceren de onderzoekers WoW, een realistische simulatieomgeving gebaseerd op ServiceNow.

De Omgeving (WoW): Een hoogwaardige enterprise-omgeving met meer dan 4.000 business rules en 55 actieve workflows. Het systeem is gemodelleerd als een Partially Observable Markov Decision Process (POMDP).
Observatiemodi: De onderzoekers vergelijken twee manieren waarop een agent de wereld waarneemt:
1. Standard Observation ( $O_{tool}$ ): Alleen de directe feedback van de tool (bijv. "Success"). Dit verbergt de zijeffecten.
2. Oracle Observation ( $O_{audit}$ ): De tool-respons aangevuld met gedetailleerde database-auditlogs die elke verandering in de tabelstatus laten zien.
De Benchmark (WoW-bench): Een set van 234 taken verdeeld over vier categorieën:
- Constraint Understanding: Kan de agent detecteren wanneer een verborgen workflow een regel overtreedt?
- Agentic Task Completion: Kan de agent complexe, meerstaps taken voltooien?
- Action Prediction (Inverse Dynamics): Kan de agent achterhalen welke actie een specifieke statusverandering veroorzaakte?
- Audit Prediction (Forward Dynamics): Kan de agent voorspellen welke database-wijzigingen een actie zal veroorzaken?

3. Belangrijkste Bijdragen

Nieuwe Benchmark-paradigma: De verschuiving van het testen van "taakvoltooiing" naar het testen van "wereldmodellering" (het begrijpen van de interne logica van een systeem).
Realistische Complexiteit: Het gebruik van een echte ServiceNow-instantie met complexe, onderling verbonden datastructuren en verborgen workflows.
Diagnostische Inzichten: Het identificeren van drie fundamentele tekortkomingen bij LLM's: de Representation Gap (verwarring tussen namen en ID's), de Dynamics Gap (onvermogen om systeemovergangen te voorspellen) en de Causal Gap (falen in multi-hop redeneren).

4. Belangrijkste Resultaten

De evaluatie van modellen zoals GPT-5.1, Gemini-3-Pro en Claude-Sonnet-4.5 laat schokkende resultaten zien:

Instabiliteit onder beperkingen: Hoewel modellen een redelijke Task Success Rate (TSR) hebben, stort de Task Success Rate Under Constraint (TSRUC) bijna volledig in (vaak naar <10%) wanneer ze alleen de standaard tool-respons krijgen. Ze voeren acties uit die onzichtbaar de regels overtreden.
De noodzaak van zichtbaarheid: Het gebruik van auditlogs ( $O_{audit}$ ) verhoogt de betrouwbaarheid aanzienlijk, wat bewijst dat het probleem vaak een gebrek aan informatie is over de systeemstatus.
Slechte voorspellende kracht: De nauwkeurigheid bij het voorspellen van de exacte staat van de database (Audit Prediction) is extreem laag, wat aantoont dat LLM's de "fysica" van enterprise-systemen niet begrijpen.

5. Betekenis en Conclusie

Het paper concludeert dat het simpelweg vergroten van de contextlengte of het verbeteren van instructie-opvolging niet voldoende is voor betrouwbare enterprise-agenten. Er is een paradigmaverschuiving nodig naar "Dynamics-Aware Agents".

In plaats van reactief te zijn (reageren op een foutmelding), moeten toekomstige agenten een intern wereldmodel ontwikkelen waarmee ze de gevolgen van hun acties kunnen simuleren voordat ze deze uitvoeren. Dit vereist architecturen die expliciete, gestructureerde representaties van de systeemstatus bijhouden in plaats van te vertrouwen op ongestructureerde tekst in een contextvenster.