🤖 AI

Orchestrated Reality: From Role-Play to Living, Playable Game Worlds -- LLM-Driven World Simulation as a Parameterized-Action POMDP

Dit artikel stelt "Orchestrated Reality" voor, een door LLM gedreven framework dat spelwerelden formaliseert als Parameterized-Action POMDP's met een singleton orchestratie-agent die een canonieke JSON-toestand beheert via een Plan-Diff-Validate-Apply-pijplijn, waardoor de kloof tussen vrije narratieve vorm en rigoureuze, persistente wereldsimulatie wordt overbrugd.

Oorspronkelijke auteurs: Yuhang Huang, Chenmiao Li, Chaowei Fang

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuhang Huang, Chenmiao Li, Chaowei Fang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een tekstgebaseerd avonturenspel speelt waarbij een superintelligente AI optreedt als de Dungeon Master. In de meeste huidige AI-spellen is deze "Dungeon Master" als een verhalenverteller die het plot elke vijf minuten vergeet. Als je vraagt: "Waar is de smid?", kan de AI vijf minuten later zeggen dat hij vandaag in het dorp is, of dat hij in het kasteel is, of zelfs dat hij nooit heeft bestaan. Het verhaal voelt op het moment zelf echt aan, maar de "wereld" achter de schermen is een chaos van tegenstrijdigheden en vergeten details.

Dit paper stelt een nieuwe manier voor om deze werelden te bouwen, genaamd "Orchestrated Reality" (Geregisseerde Realiteit). In plaats van de AI simpelweg dingen te laten "verzinnen" in een vrij lopend gesprek, behandelen de auteurs de spelwereld als een strikt georganiseerde archiefkast die de AI constant moet controleren en bijwerken.

Hier is de onderverdeling met eenvoudige analogieën:

1. Het Probleem: De "Vergetelijke Verhalenverteller"

Huidige AI-spellen vertrouwen op het kortetermijngeheugen van de AI (zijn "context window"). Het is alsof een verhalenverteller een film van 10 uur probeert te onthouden door alleen naar de laatste paar pagina's van het script te kijken.

Het Resultaat: De wereld verliest zijn vorm. Personages dwalen af, locaties veranderen zonder reden, en het spel voelt fragiel aan. Als de sessie eindigt, houdt de wereld effectief op te bestaan.

2. De Oplossing: De "Meesterbibliothecaris" (De World-Agent)

De auteurs introduceren een enkele, centrale beheerder genaamd de World-Agent. Zie deze agent niet als een verhalenverteller, maar als een Bibliothecaris die de "Bron van Waarheid" van het spel bezit.

De Wereld is een Archiefkast: In plaats van dat de wereld een paragraaf tekst is, is het een boomstructuur van JSON-bestanden (gestructureerde databestanden). Elke stad, elk personage, elk voorwerp en elke regel is een specifief bestand met een strikt formaat.
De Bibliothecaris is de Enige die Mag Schrijven: Ongeacht wie er spreekt (de speler, een NPC of een combat referee), zij kunnen de geschiedenis niet zomaar veranderen. Ze moeten een verzoek indienen bij de Bibliothecaris.

3. Hoe het Werkt: De "Plan, Check, Stamp" Loop

Elke keer als er iets gebeurt in het spel, doorloopt het systeem een strikt vierstappenproces (genoemd PDVA):

Plan: De AI kijkt naar de huidige bestanden (de staat) en de actie van de speler (bijv. "Ik loop de taveerne binnen"). Het ontwerpt een verhaal en een voorgestelde wijziging aan de bestanden (bijv. "Verplaats het locatiebestand van de speler van 'Plein' naar 'Taveerne'").
Diff: Het creëert een "delta"—een kleine lijst van precies wat er in de bestanden moet veranderen.
Validate (De Uitsmijter): Dit is de belangrijkste stap. Voordat de wijziging wordt opgeslagen, controleert een strikte "Uitsmijter" drie zaken:
- Schema: Past de wijziging in het bestandsformaat? (bijv. Je kunt niet een getal bij "goud" in een "naam"-veld plaatsen).
- Permission (Toestemming): Heeft de actor het recht om dit te veranderen? (bijv. De speler kan zichzelf verplaatsen, maar kan de locatie van de Koning niet veranderen).
- Rules (Regels): Breekt dit de spelregels? (bijv. Je kunt niet door een gesloten deur lopen zonder sleutel).
Apply (Toepassen): Als het de Uitsmijter passeert, wordt de wijziging atomisch vastgelegd (in één keer opgeslagen) in de bestanden. Het systeem maakt vervolgens een "vingerafdruk" (een hash) van de nieuwe wereldtoestand.

4. De "Partially Observable" Magie

Het paper beschrijft het spel als een Parameterized-Action POMDP. In gewone mensentaal betekent dit:

De Wereld is Echt: De bestanden op de harde schijf zijn de werkelijke realiteit.
De Speler is Blind: De speler ziet de bestanden niet. Zij zien slechts een narratieve projectie (een verhaal) gegenereerd door de AI op basis van die bestanden.
De Analogie: Stel je een poppenspel voor. De World-Agent is de poppenspeler die de touwtjes vasthoudt (de JSON-bestanden). De Speler ziet alleen de poppen op het podium bewegen (het verhaal). De poppenspeler weet precies waar elke pop zich bevindt, zelfs als de speler dat niet weet. Als de speler probeert een pop vast te pakken, controleert de poppenspeler de regels voordat de pop mag bewegen.

5. Waarom Dit Belangrijk Is (De "Audit Trail")

Omdat de wereld wordt opgeslagen in bestanden met "vingerafdrukken" (hashes), is het spel auditbaar.

Als een speler zegt: "Wacht, de smid was hier gisteren nog!", kan het systeem de bestandsgeschiedenis bekijken en bewijzen wat er precies is gebeurd, wanneer, en waarom.
Het voorkomt dat de AI over de staat van de wereld "liegt", omdat de AI de bestanden niet kan veranderen zonder de validatiecontrole te passeren.

6. Wat Ze Hebben Ontdekt (Tot Nu Toe)

De auteurs hebben dit framework getest met een kleine groep testers en vonden:

De Wereld Voelt Levendig Aan: Zelfs als er niemand praat, blijft de wereld bestaan en verandert deze op basis van regels (zoals het verstrijken van de tijd of gebeurtenissen).
Geheugen is Echt: Personages herinneren zich dingen niet omdat de AI een chatlog "herriep", maar omdat de informatie elke beurt vanuit de bestanden werd ingevoerd.
Debuggen is Makkelijker: Makers kunnen naar de bestanden kijken om precies te zien waarom de AI een bepaalde beslissing nam, in plaats van te gissen wat de AI dacht.

Wat Ze Nog Niet Hebben Gedaan

Dit paper is een "werk in uitvoering". Ze hebben de engine gebouwd en getest met een paar mensen, maar ze hebben nog niet:

Een grootschalige studie uitgevoerd met honderden spelers om te bewijzen dat het beter is dan standaard games.
Volledig geïmplementeerd hoe een wereld werkt waarin tientallen NPC's gelijktijdig handelen (ze zijn van plan dit als volgende stap te doen).
Bewezen dat dit met elk ander type AI-model werkt.

Samenvattend: Het paper betoogt dat om AI-games echt speelbaar en persistent te maken, we moeten stoppen met de wereld als een gesprek te behandelen en te beginnen met het behandelen van de wereld als een database. De AI wordt een gedisciplineerde bibliothecaris die de database bijwerkt, in plaats van een chaotische verhalenverteller die het plot vergeet.

Technische Samenvatting: Orchestrated Reality

Probleemstelling

Huidige Large Language Model (LLM) systemen hebben moeite om coherente, persistente spelwerelden te handhaven, met name in open-ended sandbox- of open-world omgevingen. Hoewel LLM's uitblinken in karakter-roleplay, falen ze in het onderhouden van een gevalideerde, consistente representatie van de wereldstatus (bijv. "wie is waar", "wat is er gebeurd", "wat is momenteel waar"). Bestaande benaderingen vertrouwen doorgaans op vrije proza-narratieven die de status beweren zonder een persistente, gevalideerde representatie. Dit leidt tot drie terugkerende architecturale fouten:

Staatloosheid: De wereld houdt op te bestaan zodra een sessie eindigt; "geheugen" is beperkt tot de nabijheid van het contextvenster.
Niet-gevalideerde Schrijfacties: Modellen kunnen willekeurige wereldwijzigingen beweren, wat leidt tot afwijking van de staat en het stilletjes accumuleren van tegenstrijdigheden.
Monolithische Agentschap: Een enkele prompt vervaagt de scheiding tussen narratie, karakterstem en regelbeoordeling, wat de scheiding van verantwoordelijkheden verhindert die vereist is voor complexe simulatie.

Consequentelijk blijft het bouwen van een volledig autonome game engine zonder menselijke interventie onhaalbaar. Dit artikel stelt dat dit een architecturale beperking is van de huidige implementaties, en niet een inherente beperking van de taalmodellen zelf.

Methodologie: Orchestrated Reality Framework

De auteurs stellen een framework voor genaamd Orchestrated Reality, dat de spelwereld behandelt als een canoniek, auditeerbaar object beheerd door een singleton World-Agent. Dit systeem formaliseert een door LLM gestuurde spelwereld als een Parameterized-Action Partially Observable Markov Decision Process (PA-POMDP).

1. Formeel Model

Het systeem wordt gedefinieerd door de tupel $M = (S, A, \Omega, O, F, \rho_0)$ :

Toestand ( $S$ ): De wereldtoestand is geen tekstblok, maar een boom van canonieke JSON-entiteiten die op disk worden opgeslagen. Elke entiteit (NPC's, locaties, quests, spelersprofiel) is een getypeerd JSON-document. De staat is inspecteerbaar, vertakbaar en adresseerbaar via content hashes.
Acties ( $A$ ): Acties zijn geparametriseerd als $a = (k, x_k)$ , waarbij $k$ een discrete intentie-soort is (bijv. move, speak) en $x_k$ een gestructureerde JSON-parameterset is.
Observaties ( $\Omega$ ): De agent (speler) observeert niet de ruwe staat $s_t$ . In plaats daarvan observeert de speler een narratieve projectie $o_t = O(s_t)$ , gegenereerd door de World-Agent.
Transitiekern ( $F$ ): De transitie wordt beheerst door een Plan–Diff–Validate–Apply (PDVA) pipeline, die door LLM wordt gestuurd maar aan schema-restricties is gebonden.

2. De PDVA Pipeline

Elke beurt verloopt via vier afzonderlijke stadia:

Plan: Een begrensde context $p$ wordt geconstrueerd uit de relevante subset van de canonieke JSON-staat en de input van de speler.
Diff: De LLM genereert een respons $r$ die zowel de narratieve tekst voor de volgende observatie bevat als een gestructureerde voorgestelde mutatie $\Delta_t$ (een lijst met JSON-operaties: pad, operatie, waarde).
Validate: Elke voorgestelde wijziging $\delta_j$ $δ_{j}$ ondergaat strikte validatie:
- SchemaOK: Moet voldoen aan de JSON-schema.
- PermOK: Moet binnen de permissie-scope van de voorsteller vallen.
- RuleOK: Moet voldoen aan de spelregels.
Apply: Gevalideerde wijzigingen worden atomair toegepast op de JSON-boom. De nieuwe staat wordt via content hashing (SHA256) vastgelegd om een canonieke historie te garanderen.

3. De World-Agent

De World-Agent fungeert als de singleton Game Master (GM). Deze bezit de werelddirectory, beheert de beurt-loop en handhaaft het "deny-first" permissiemodel.

Memory Injection: In plaats van te vertrouwen op retentie in het contextvenster, injecteert de World-Agent relevante canonieke JSON-vermeldingen direct in de prompt van de actieve model tijdens elke beurt.
Atomische Commits: Voorstellen van de speler, gespecialiseerde sub-agents (bijv. combat referees) of toekomstige NPC-geesten worden gefilterd via de World-Agent. Slechts één atomische, content-gehashte commit wordt per beurt naar de disk geschreven om race-condities te voorkomen.

Belangrijkste Bijdragen

Het artikel rapporteert werk in uitvoering met drie primaire bijdragen:

Formalisering: Een formele definitie van door LLM gestuurde spelwerelden als een PA-POMDP, waarbij een enkele World-Agent zowel de transitiekern (via PDVA) als de observatiekern (via narratie) dient.
JSON State Model: Een concrete implementatie waarbij de wereld een boom van JSON-documenten is, waardoor de staat inspecteerbaar, diffbaar en reproduceerbaar is via content hashing.
Incident Catalogue: Een collectie van 15 auditeerbare incidenten afkomstig uit een echte implementatie (betrokken bij ~5 testers over drie maanden). Deze incidenten demonstreren de mechanismen van het framework in actie, specifiek:
- Multi-agent orchestratie: Het verdelen van beurten naar gespecialiseerde sub-agents.
- JSON-gedwongen memory injection: Het opnieuw laten verschijnen van entiteiten na lange intervallen op basis van ge-injecteerde staat in plaats van chatgeschiedenis.
- JSON-flow state commits: Schema-gevalideerde delta's toegepast op bestanden.

Resultaten en Observaties

Het artikel presenteert geen definitieve statistische resultaten van een grootschalige spelerstudie, aangezien dit gepland toekomstig werk is. Het biedt echter vroege observaties uit informele testen en een gemineerde speelgeschiedenis:

Hypothese H1: Voorwaardelijk afgeschermde ambient events (bijv. tijdprogressie, geplande events) creëren een gevoel van een "levende wereld", zelfs zonder actieve karakterdialoog.
Hypothese H2: Genarreerde afwijzingen van ongeldige acties (validatiefouten) vergroten het gevoel van consequenties bij de speler zonder de immersie te breken.
Hypothese H3: Inspecteerbare, door hashes geïdentificeerde staat verlaagt de drempel voor auteurs om werelden te debuggen en te vertakken.

De 15 incidentvoorbeelden dienen als bewijs van concept dat het framework op echte speelgeschiedenis kan draaien en consistentie behoudt waar traditionele LLM-chatsystemen zouden afwijken.

Betekenis en Claims

Het artikel positioneert Orchestrated Reality als een verschuiving van "karakter-gebaseerde narratieve generatie" naar "game-story-orchestratie".

Architecturale Verschuiving: Het herdefinieert het probleem van een LLM-beperking naar een architecturale keuze, waarbij de focus verschuift van ongevalideerde proza naar een gevalideerd, event-sourced staatmodel.
Fundament voor Next-Gen Games: Door de wereld te behandelen als een canoniek object dat eigendom is van een GM-achtige agent, biedt het systeem de noodzakelijke infrastructuur voor volledig autonome game engines.
Toekomstige Richtingen: De auteurs identificeren de weg naar Multi-Agent Markov Games (waar NPC's als gelijktijdige agents fungeren) en Reinforcement Learning (RL) omgevingen voor game-wereldmodellen. Ze erkennen open problemen met betrekking tot determinisme onder LLM-stochasticiteit, kostendiscipline voor gelijktijdige agents en narratieve drift op niet-getrackte details.

Het artikel concludeert door uitnodiging tot discussie over deze inkadering en de transitie naar multi-NPC Markov games en leerbare RL-omgevingen, waarbij benadrukt wordt dat het huidige werk het noodzakelijke "runtime world model" legt voor dergelijke ontwikkelingen.