Mini Amusement Parks (MAPs): A Testbed for Modelling Business Decisions
Dit artikel introduceert Mini Amusement Parks (MAPs), een nieuwe pretparksimulator die is ontworpen om AI-agenten holistisch te benchmarken op complexe, realistische zakelijke besluitvormingstaken, waarbij wordt onthuld dat huidige state-of-the-art LLM's significant onderpresteren ten opzichte van menselijke baselines op het gebied van langetermijnoptimalisatie, efficiënt leren met beperkte samples, ruimtelijk redeneren en wereldmodellering.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je zojuist de sleutels hebt gekregen van het meest chaotische, onvoorspelbare en winstgevende pretpark ter wereld. Je taak? De manager zijn. Je moet beslissen waar je de achtbanen plaatst, hoeveel ijssalons je opent, wanneer je een schoonmaker inhuurt, en of je je geld uitgeeft aan het onderzoeken van een nieuwe, peperdure attractie. Maar hier is de crux: de gasten zijn chagrijnig, de attracties gaan willekeurig kapot en als je een verkeerde zet maakt, kan je park vóór de lunch al failliet zijn.
Dit is de wereld van Mini Amusement Parks (MAPS), een nieuwe, videogame-achtige simulator die door onderzoekers is gecreëerd om te testen hoe goed Kunstmatige Intelligentie (AI) een echt bedrijf kan runnen.
De Grote Test: AI versus Menselijke Managers
De onderzoekers zetten een confrontatie op tussen de slimste AI-modellen ter wereld (zoals GPT-5, Claude en Gemini) en deskundige menselijke spelers. Het doel was simpel: kijken wie het meest waardevolle park kon bouwen.
De resultaten waren een enorme waarschuwing. Zelfs de beste AI-modellen hadden moeite om het bij te houden.
- Op de Easy modus (gemakkelijk) slaagde de beste AI (GPT-5) er slechts in om 8,80% van de score te behalen die deskundige mensen behaalden. Dat betekent dat de mensen 11,4 keer beter waren.
- Op de Medium modus, waar het spel lastiger wordt en langetermijndenken vereist, werd het gat nog groter. De prestaties van de AI daalden naar slechts 4,44% van de menselijke score, waardoor de mensen 15,3 keer superieur waren.
Het is alsof je een Formule 1-auto geeft aan een peuter en een professionele coureur aan een pro; de peuter (de AI) krijgt de auto nauwelijks in beweging, terwijl de pro (de mens) de baan al rondjes rijdt.
Waarom faalde de AI?
Het paper suggereert dat de AI niet alleen "slecht is in rekenen"; het mist enkele zeer menselijke superkrachten. De onderzoekers identificeerden vijf specifieke gebieden waar de AI struikelde:
Het "Wat eten we vanavond?"-probleem (Kortzichtigheid):
Mensen plannen vooruit. Ze weten dat als ze vandaag een gigantische achtbaan bouwen, ze meer personeel moeten aannemen en geld moeten sparen voor volgende maand. De AI is echter vaak kortzichtig. Het grijpt de directe beloning (zoals het bouwen van een attractie) zonder na te denken over de gevolgen. Het is als een kind dat nu al het snoep opeet en dan buikpijn krijgt, omdat het vergeet dat het nog energie nodig heeft voor de rest van de dag. Toen het spel moeilijker werd (Medium mode), stortte de prestatie van de AI in omdat het niet verder kon kijken dan de volgende beurt.Het "Geblinddoekt"-probleem (Ruimtelijk inzicht):
In een echt park doet de locatie van een winkel ertoe. Je wilt een winkel bij een pad plaatsen, niet ergens in een hoekje gestopt. De AI plaatste attracties vaak op plekken die moeilijk bereikbaar waren of clusterde ze allemaal bij elkaar, waarbij de doorstroom van de menigte werd genegeerd. Interessant genoeg hielp het geven van een afbeelding van het park (visie) de AI niet; het maakte de situatie zelfs soms erger. De AI leek verward door de visuele gegevens, terwijl een eenvoudige set regels (een "heuristiek") voor waar dingen geplaatst moesten worden, de AI juist hielp beter te presteren.Het "Gokspel"-probleem (Stochastiek):
Het echte leven is rommelig. Soms gaat een attractie zonder reden kapot; soms is een gast gewoon chagrijnig. Dit wordt stochastiek genoemd. De AI had moeite om met deze willekeur om te gaan. Het kon het verschil niet zien tussen een slechte dag veroorzaakt door pech en een slechte dag veroorzaakt door een slechte beslissing. Toen de onderzoekers probeerden de AI het verleden te laten voorspellen (een "world model"), maakte dit de situatie vaak alleen maar erger, wat leidde tot tragere en duurdere beslissingen.Het "Amnesie"-probleem (Actief leren):
Mensen zijn geweldig in experimenteren. Als je een nieuwe strategie probeert en het mislukt, leer je waarom en probeer je iets anders. De onderzoekers gaven de AI een "sandbox"-modus — een veilige oefenomgeving waar het 100 dagen lang kon experimenteren voordat de echte test begon. Verrassend genoeg hielp dit niet veel. De AI herhaalde meestal gewoon wat er al in de handleiding stond of maakte aantekeningen die te specifiek waren om later nuttig te zijn. Het slaagde er niet in om een echt "mentaal model" op te bouwen van hoe het park functioneerde.Het "Research Rabbit Hole"-probleem:
In de moeilijkere versie van het spel moet je nieuwe attracties eerst onderzoeken voordat je ze kunt bouwen. De AI koos vaak direct voor de duurste, meest flitsende attracties om te onderzoeken, zelfs wanneer het de middelen nog niet had om ze te kunnen bouwen. Het was als een student die een Ferrari probeert te kopen voordat hij zelfs maar een rijbewijs heeft.
Wat het Paper Uitsluit
Het paper is heel duidelijk over wat niet werkt:
- De AI een plaatje geven is geen oplossing. Het toevoegen van visuele input aan het "brein" van de AI loste de ruimtelijke problemen niet op; het maakte de modellen zelfs vaak meer in de war dan alleen tekst.
- Huidige "World Models" zijn er nog niet klaar voor. De onderzoekers probeerden een specifieke AI-techniek (WALL-E) te gebruiken om de AI de toekomst te laten voorspellen, maar dit maakte de AI juist slechter en kostte veel meer aan rekenkracht.
- Oefenen maakt niet altijd perfect. Het simpelweg laten spelen van de AI in een sandbox gedurende 100 dagen maakte de AI niet automatisch slimmer. In veel gevallen werd de AI zelfs slechter of bleef hij hetzelfde, omdat hij niet kon begrijpen wat hij van zijn fouten moest leren.
Hoe zeker zijn we?
Deze bevindingen zijn gebaseerd op simulaties en metingen binnen de MAPS-gameomgeving. De onderzoekers lieten de AI en menselijke spelers meerdere keren door specifieke lay-outs (kaarten) gaan om deze cijfers te verkrijgen. Ze gokten niet; ze maten de waarde van het park, het uitgegeven geld en de genomen tijd.
Het paper suggereert dat hoewel AI op veel vlakken beter wordt, het nog een lange weg te gaan heeft voordat het de rommelige, onderling verbonden en onvoorspelbare aard van het runnen van een echt bedrijf kan aan. De kloof tussen menselijke experts en AI is niet zomaar een klein beetje; het is een afgrond. De onderzoekers hopen dat we door dit "Mini Amusement Park" als testomgeving te gebruiken, eindelijk kunnen beginnen met het bouwen van AI die kan denken, plannen en zich kan aanpassen zoals een echte menselijke manager.
Tot die tijd, als je een pretpark wilt runnen, kun je beter een menselijke manager aanhouden — en houd de AI misschien op een zeer korte lijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.