🤖 AI

Do Enterprise Systems Need Learned World Models? The Importance of Context to Infer Dynamics

Dit artikel betoogt dat in configureerbare ondernemingssystemen agenten prioriteit moeten geven aan runtime-discovery van actieve bedrijfslogica boven het uitsluitend vertrouwen op breekbare, offline getrainde wereldmodellen, en toont via de nieuwe CascadeBench-benchmark aan dat deze aanpak de robuustheid tegen implementatieverschuivingen aanzienlijk verbetert.

Oorspronkelijke auteurs: Jishnu Sethumadhavan Nair, Patrice Bechard, Rishabh Maheshwary, Surajit Dasgupta, Sravan Ramachandran, Aakash Bhagat, Shruthan Radhakrishna, Pulkit Pattnaik, Johan Obando-Ceron, Shiva Krishna Reddy Ma

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jishnu Sethumadhavan Nair, Patrice Bechard, Rishabh Maheshwary, Surajit Dasgupta, Sravan Ramachandran, Aakash Bhagat, Shruthan Radhakrishna, Pulkit Pattnaik, Johan Obando-Ceron, Shiva Krishna Reddy Malay, Sagar Davasam, Seganrasan Subramanian, Vipul Mittal, Sridhar Krishna Nemala, Christopher Pal, Srinivas Sunkara, Sai Rajeswar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Moeten We de Regels Uit het Hoofd Leren?

Stel je voor dat je een nieuwe medewerker bent in een enorm, complex kantoorgebouw (een Enterprise Systeem). Elke keer als je iets doet – zoals een rapport indienen of een verzoek goedkeuren – gebeuren er automatisch verschillende dingen. Misschien wordt er een melding verzonden, wordt een budget bijgewerkt, of krijgt een manager een waarschuwing.

In een normaal kantoor zijn deze regels vast. Maar in dit specifieke type enterprise-systeem heeft elk kantoorfiliaal zijn eigen unieke set regels.

Het filiaal in New York stuurt misschien een e-mail wanneer een bestand wordt opgeslagen.
Het filiaal in Londen logt het misschien gewoon in een spreadsheet.
Het filiaal in Tokio start misschien een vergaderuitnodiging.

Bovendien kunnen managers deze regels op elk moment wijzigen. Vandaag zorgt het opslaan van een bestand voor een e-mail; morgen kunnen ze het veranderen naar het versturen van een sms-bericht.

Het artikel stelt een simpele vraag: Om te voorspellen wat er als volgende gaat gebeuren, moet een AI-agent al deze regels van tevoren "onthouden" (leren), of kan hij ze gewoon opzoeken wanneer hij ze nodig heeft?

De Twee Benaderingen

De onderzoekers testten twee verschillende manieren voor een AI om hiermee om te gaan:

1. De "Onthouder" (Gestudeerd Wereldmodel)

Dit is als een student die probeert elk regelboek voor elk filiaal van het bedrijf te bestuderen voordat hij aan het werk gaat. Hij probeert de logica in zijn hoofd te internaliseren.

Hoe het werkt: De AI wordt getraind op historische data (vorige acties en resultaten) om een mentaal model te bouwen van hoe het systeem werkt.
Het Probleem: Als het bedrijf een regel wijzigt (een "deployment shift"), zit het brein van de student vast aan de oude regels. Hij voorspelt misschien dat er een e-mail wordt verzonden, maar de nieuwe regel zegt dat er een sms wordt verzonden. Omdat hij vertrouwde op het geheugen, haalt hij het fout. Hij is "bros" (makkelijk te breken) wanneer dingen veranderen.

2. De "Detective" (Enterprise Discovery Agent)

Dit is als een nieuwe medewerker die niet probeert de regelboeken uit het hoofd te leren. In plaats daarvan houdt hij een telefoon bij de hand.

Hoe het werkt: Wanneer de medewerker moet weten wat er gebeurt als hij een rapport indient, gokt hij niet op basis van geheugen. Hij belt direct de kantoormanager of kijkt in het huidige digitale regelboek op zijn scherm om precies te zien wat de huidige regels zeggen.
Het Voordeel: Zelfs als de regels morgen veranderen, controleert de detective gewoon het nieuwe regelboek. Hij is "robuust" omdat hij is geworteld in de realiteit van het moment, niet in een herinnering uit het verleden.

Het Experiment: "CascadeBench"

Om dit te testen, bouwden de onderzoekers een speelplaats genaamd CascadeBench.

De Opzet: Ze creëerden duizenden nep-kantoorscenario's met verschillende, complexe regels. Sommige regels waren simpel (zoals "als X, dan Y"). Anderen waren complexe ketens (zoals "als X, dan Y, wat Z activeert, wat een vergadering activeert").
De Test: Ze vroegen verschillende AI's om het resultaat van een actie te voorspellen.
- Sommige AI's moesten vertrouwen op hun training (Onthouders).
- Sommige AI's mochten de regels in real-time opzoeken (Detectives).
- Sommige AI's kregen het regelboek direct voor zich (De "Orakel").

Wat Ze Vonden

De resultaten waren duidelijk en verrassend:

Onthouders zijn goed thuis, maar slecht weg: De "Onthouder"-AI's deden het zeer goed wanneer ze werden getest op exact dezelfde regels die ze hadden bestudeerd. Maar zodra de regels lichtjes veranderden (een nieuw filiaal, een nieuwe configuratie), stortte hun prestatie in. Ze konden zich niet aanpassen.
De Detective wint: De "Discovery Agent" (degene die de regels in real-time opzocht) presteerde veel beter wanneer de regels veranderden. Hoewel ze de regels niet "kenden" uit het hoofd, wisten ze ze direct te vinden.
De "Orakel"-limiet: Wanneer de AI's het regelboek direct kregen (zonder het te hoeven zoeken), deden ze het het beste. Dit bewees dat de informatie er was; het probleem was gewoon dat de "Onthouders" niet bij de juiste informatie konden wanneer de context veranderde.

De Drie Niveaus van Moeilijkheid

De onderzoekers ontdekten ook dat sommige taken makkelijker zijn dan andere:

Niveau 1 (De Basis): Simpele regels gebaseerd op de databasestructuur (bijv. "Als je een gebruiker aanmaakt, krijgt die een standaard-ID"). Zelfs de "Onthouders" konden deze redelijk raden omdat ze standaard zijn.
Niveau 2 (De Ketens): Complexe ketens van regels (bijv. "Als je de prioriteit wijzigt, activeert dit een workflow, wat een melding activeert"). Hier faalden de "Onthouders" zwaar. De "Detectives" slaagden omdat ze de keten in het huidige regelboek konden traceren.
Niveau 3 (Het Verborgen Gedeelte): Soms hangt het resultaat af van de interne timing van de computer of verborgen engine-gedragingen die niet in het regelboek staan. Zelfs de "Detectives" hadden het hier moeilijk, omdat het antwoord letterlijk niet in het boek stond dat ze konden lezen.

De Conclusie

Het artikel concludeert dat voor enterprise-systemen je niet alleen moet vertrouwen op een AI die de wereld heeft "onthouden".

Omdat bedrijfsregels voortdurend veranderen en specifiek zijn voor elke klant, is de beste strategie een hybride:

Train de AI niet alleen op historische data.
Geef de AI de mogelijkheid om op het moment dat hij een beslissing moet nemen, de huidige regels op te zoeken.

Denk er als volgt over: als een auto rijden. Een "Onthouder" probeert elke verkeerslicht en stopbord op de route te onthouden. Als een bouwteam een bord verplaatst, crasht hij. Een "Discovery Agent" kijkt naar de verkeersborden in real-time. Als het bord verplaatst wordt, ziet hij het en past hij zich direct aan.

Kortom: In een wereld waar de regels vaak veranderen, is het beter om een detective te zijn die de borden kan lezen dan een student die probeert ze allemaal uit het hoofd te leren.

Technische Samenvatting: Hebben Enterprise-systemen Geraamde Wereldmodellen Nodig?

Probleemstelling

Enterprise-systemen verschillen fundamenteel van traditionele omgevingen (bijvoorbeeld robotica of videospellen) omdat hun overgangsdynamiek niet vaststaat, maar wordt gedefinieerd door tenant-specifieke configuratie-artefacten (bedrijfsregels, workflows, goedkeuringsbeleid) die variëren per implementatie en in de loop van de tijd evolueren. In dergelijke omgevingen kan dezelfde actie $a_t$ die op een toestand $s_t$ wordt toegepast, verschillende uitkomsten $s_{t+1}$ opleveren, afhankelijk van de actieve instantie-configuratie $c$ .

Het artikel adresseert een kritieke vraag in de literatuur over wereldmodellen: Wanneer de regels die de omgeving besturen leesbaar en toegankelijk zijn op het moment van inferentie, heeft een agent dan nog steeds behoefte om ze intern te leren?

Bestaande benaderingen vertrouwen op geraamde wereldmodellen die dynamiek internaliseren uit historische overgangsdata. De auteurs betogen echter dat modellen die uitsluitend zijn getraind op historische overgangen breekbaar worden onder verschuivingen in implementatie (wijzigingen in configuratie of tenant-logica). Als de regels expliciet beschikbaar zijn in de systeemconfiguratie, kan het vertrouwen op een statische, geïnternaliseerde representatie onnodige benaderingsfouten introduceren en de robuustheid verminderen.

Methodologie

1. Formalisering: Contextuele Overgangsmodellen

De auteurs formaliseren enterprise-dynamiek als een contextueel overgangsmodel:
$s_{t+1} \sim P(s_{t+1} | s_t, a_t, c)$
waarbij $c$ de expliciete, leesbare configuratie van de specifieke instantie is. In tegenstelling tot standaard wereldmodellen, waarbij $c$ vast en onbekend is, is enterprise- $c$ veranderbaar en inspecteerbaar. Het artikel onderscheidt drie niveaus van overgangscomplexiteit:

Tier 1 (Schema-deterministisch): Effecten bepaald door standaardwaarden en beperkingen van het gegevenswoordenboek.
Tier 2 (Regel-componeerbaar): Effecten bepaald door ketens van bedrijfsregels (cascades).
Tier 3 (Uitvoering-geinferreerd): Effecten afhankelijk van engine-interne gedragingen (bijvoorbeeld uitvoeringsvolgorde, race-voorwaarden) die niet volledig worden blootgelegd in statische artefacten.

2. Benchmark: CascadeBench

Om agenten te evalueren onder gecontroleerde configuratie- en implementatieverschuivingen, introduceren de auteurs CascadeBench.

Constructie: Gebaseerd op synthetische schema's (om memorisatie van real-world tabelstructuren te voorkomen) gegenereerd uit een catalogus van 1.596 bedrijfsregelpatronen over 6 industrieën.
Ground Truth: Data wordt verzameld door acties uit te voeren op live ServiceNow-instanties (niet gesimuleerd), waarbij echte auditlogs ( $sys\_audit$ ) worden vastgelegd om statieveranderingen en cascade-paden te registreren.
Evaluatie: Modellen moeten veldniveau-staatveranderingen ( $s_{t+1}$ ) voorspellen op basis van een huidige staat ( $s_t$ ) en actie ( $a_t$ ). De benchmark isoleert redeneren van parametrische memorisatie door context (schema's, regels) te verstrekken of deze te onthouden.

3. Voorgestelde Aanpak: Enterprise Discovery Agents

Het artikel stelt Enterprise Discovery Agents voor, die niet proberen dynamiek te internaliseren tijdens het trainen. In plaats daarvan:

Ophalen: Op het moment van inferentie wordt de live instantie-configuratie $c$ bevraagd (bijvoorbeeld bedrijfsregels, huidige recordstaten, SLA-definities) om relevante overgangslogica te herstellen.
Redeneren: Een bevroren taalmodel wordt gebruikt om te redeneren over het opgehaalde subset $\tilde{c}$ om de volgende staat te voorspellen.
Itereren: Voor multi-stap rollouts herbevraagt de agent het systeem bij elke stap om voorspellingen te verankeren in de huidige staat, waardoor foutopstapeling wordt tegengegaan.

4. Comparatieve Baselines

De studie vergelijkt drie benaderingen:

Geprompte Baseline: Bevroren LLM's die overgangen voorspellen op basis van statische context (met of zonder verstrekte bedrijfsregels).
Geraamd Enterprise Wereldmodel: Modellen die zijn fine-gefine-tuned (via LoRA) op historische $(s_t, a_t, s_{t+1})$ -tupels om dynamiek te internaliseren.
Discovery Agent: De hierboven beschreven op ophalen gebaseerde aanpak.

Belangrijkste Resultaten

1. Internalisatie versus Ophalen

In-distributie Prestaties: Fine-tuned wereldmodellen presteren uitzonderlijk goed op data getrokken uit dezelfde distributie als hun trainingsset (bijvoorbeeld 91,6% IoU voor Gemma-4-31B in-distributie).
Degradatie bij Out-of-Distributie: Onder implementatieverschuiving (synthetische schema's en onbekende configuraties) degraderen fine-tuned modellen aanzienlijk, tot prestatieniveaus vergelijkbaar met geprompte baselines (~40% IoU).
Robuustheid van Discovery: Discovery-agents, die regels tijdens runtime ophalen, behouden robuuste prestaties over verschuivingen heen. Ze overtreffen consequent geprompte baselines en komen overeen met de prestaties van "Oracle"-modellen (die alle regels in de prompt krijgen) bij Tier 1- en Tier 2-overgangen.

2. Impact van Bedrijfsregels

Regelafhankelijkheid: Het verwijderen van bedrijfsregels uit de prompt veroorzaakt een uniforme instorting van de prestaties over alle modelklassen heen (van ~40% IoU naar ~10% IoU). Dit bevestigt dat enterprise-dynamiek wordt gedreven door regels, niet door vooraf getrainde kennis.
Ophalen versus Memoriseren: Voor frontier-modellen herstelt runtime-ophalen een groot deel van het "Oracle"-signaal (bereikend mid-20er tot lage-30er IoU zonder training op de target-instantie), terwijl internalisatie alleen faalt om te generaliseren.

3. Multi-stap Voorspelling

Foutopstapeling: Bij multi-stap rollouts (horizons $k=1$ tot $5$) verslechtert de prestatie voor alle methoden naarmate de diepte toeneemt.
Voordeel van Verankering: Discovery-agents overtreffen geprompte baselines consequent op alle horizons. Het vermogen om bij elke stap de live instantie opnieuw te bevragen, ververst het perspectief van het model op de configuratie, waardoor de accumulatie van fouten wordt verminderd in vergelijking met het uitsluitend vertrouwen op eerder voorspelde staten.

4. Tier-gestratificeerde Analyse

Tier 1 & 2: Discovery-agents bereiken bijna-Oracle-prestaties, waarbij ze effectief verborgen regels en cascades herstellen.
Tier 3: Er blijft een prestatiekloof over voor Tier 3 (uitvoering-geinferreerde dynamiek), waarbij uitkomsten afhankelijk zijn van engine-interne gedragingen die niet volledig worden blootgelegd in de configuratie. Dit suggereert een structurele limiet voor wat alleen uit configuratie kan worden hersteld.

Betekenis en Claims

Het artikel betoogt dat enterprise-wereldmodellering niet uitsluitend moet vertrouwen op vaste, geïnternaliseerde dynamiek. In plaats daarvan moeten agenten in configureerbare omgevingen waar overgangslogica leesbaar is, mechanismen incorporeren voor runtime-discovery.

Complementariteit: Discovery-agents zijn geen vervanging voor geraamde wereldmodellen, maar een noodzakelijke aanvulling. De auteurs suggereren een hybride toekomst waarin agenten geleerde priors combineren (voor efficiëntie en patroonherkenning) met runtime-ophalen (voor robuustheid tegen configuratieverschuivingen).
Paradigmaverschuiving: Het werk daagt de aanname uit dat omgevingsdynamiek op de traditionele manier moet worden "geleerd". In enterprise-settings kan het "wereldmodel" gedeeltelijk worden uitgelokaliseerd, waarbij de agent fungeert als een dynamisch redenaar over live systeemconfiguraties in plaats van een statische simulator.
Beperkingen: De auteurs merken op dat discovery afhankelijk is van de inspecteerbaarheid van regels (toegangscontroles kunnen de prestaties degraderen tot het niveau van de geprompte baseline) en de tool-gebruikscapaciteiten van het onderliggende model. Bovendien blijven Tier 3-dynamiek een uitdaging, wat aangeeft dat sommige aspecten van enterprise-gedrag niet volledig herstelbaar zijn uit statische configuratie-artefacten.

Concluderend toont het artikel aan dat voor enterprise-systemen het verankeren van voorspellingen in de actieve systeeminstantie via runtime-discovery robuuster is tegenover implementatieverschuivingen dan het vertrouwen op offline-getrainde, geïnternaliseerde wereldmodellen.