🤖 AI

Orchestrated Reality: From Role-Play to Living, Playable Game Worlds -- LLM-Driven World Simulation as a Parameterized-Action POMDP

Dieses Paper schlägt „Orchestrated Reality“ vor, ein LLM-gesteuertes Framework, das Spielwelten als parametrisierte Aktions-POMDPs formalisiert, wobei ein einzelner Orchestrierungsagent einen kanonischen JSON-Zustand über eine Plan-Diff-Validate-Apply-Pipeline verwaltet und damit die Lücke zwischen freiformer Erzählung und einer rigorosen, persistenten Weltsimulation schließt.

Ursprüngliche Autoren: Yuhang Huang, Chenmiao Li, Chaowei Fang

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuhang Huang, Chenmiao Li, Chaowei Fang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein textbasiertes Abenteuerspiel, bei dem eine superintelligente KI als Ihr „Dungeon Master“ fungiert. In den meisten aktuellen KI-Spielen ist dieser „Dungeon Master“ wie ein Geschichtenerzähler, der die Handlung alle fünf Minuten vergisst. Wenn Sie fragen: „Wo ist der Schmied?“, sagt die KI vielleicht, er sei heute im Dorf, aber fünf Minuten später behauptet sie, er sei im Schloss oder hätte nie existiert. Die Geschichte fühlt sich im Moment zwar echt an, aber die „Welt“ hinter den Kulissen ist ein Chaos aus Widersprüchen und vergessenen Details.

Dieses Paper schlägt einen neuen Weg vor, diese Welten aufzubauen, genannt „Orchestrated Reality“ (Orchestrierte Realität). Anstatt die KI einfach nur „Dinge erfinden“ zu lassen, während ein freier Gesprächsfluss stattfindet, behandeln die Autoren die Spielwelt wie einen streng organisierten Aktenschrank, den die KI ständig prüfen und aktualisieren muss.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Problem: Der „vergessliche Geschichtenerzähler“

Derzeit verlassen sich KI-Spiele auf das Kurzzeitgedächtnis der KI (ihr „Kontextfenster“). Es ist, als würde ein Geschichtenerzähler versuchen, einen 10-stündigen Film zu erinnern, indem er nur die letzten paar Seiten des Skripts betrachtet.

Das Ergebnis: Die Welt verliert ihre Form. Charaktere driften ab, Orte ändern sich ohne Grund, und das Spiel fühlt sich zerbrechlich an. Wenn die Sitzung endet, hört die Welt effektiv auf zu existieren.

2. Die Lösung: Der „Meisterbibliothekar“ (Der World-Agent)

Die Autoren führen einen einzelnen, zentralen Manager ein, den World-Agent (Welt-Agenten). Betrachten Sie diesen Agenten nicht als Geschichtenerzähler, sondern als einen Bibliothekar, der die „Quelle der Wahrheit“ des Spiels besitzt.

Die Welt ist ein Aktenschrank: Anstatt dass die Welt ein Textabsatz ist, ist sie ein Baum aus JSON-Dateien (strukturierten Datendateien). Jedes Dorf, jeder Charakter, jeder Gegenstand und jede Regel ist eine spezifische Datei mit einem strengen Format.
Der Bibliothekar ist der Einzige, der schreiben darf: Egal, wer gerade spricht (der Spieler, ein NPC oder ein Kampf-Schiedsrichter), sie können die Geschichte nicht einfach ändern. Sie müssen eine Anfrage an den Bibliothekar stellen.

3. Wie es funktioniert: Die „Planen, Prüfen, Stempeln“-Schleife

Jedes Mal, wenn etwas im Spiel passiert, durchläuft das System einen strengen vierstufigen Prozess (genannt PDVA):

Plan (Planen): Die KI betrachtet die aktuellen Dateien (den Zustand) und die Aktion des Spielers (z. B. „Ich gehe in die Taverne“). Sie entwirft eine Geschichte und eine vorgeschlagene Änderung an den Dateien (z. B. „Verschiebe die Standortdatei des Spielers von ‚Platz‘ zu ‚Taverne‘“).
Diff (Differenzbildung): Sie erstellt ein „Delta“ – eine kleine Liste dessen, was sich genau in den Dateien ändern muss.
Validate (Validieren – Der Türsteher): Dies ist der wichtigste Schritt. Bevor die Änderung gespeichert wird, prüft ein strenger „Türsteher“ drei Dinge:
- Schema: Passt die Änderung zum Dateiformat? (z. B. Man kann keine Zahl für „Gold“ in ein Feld für „Namen“ setzen).
- Permission (Berechtigung): Hat der Akteur das Recht, dies zu ändern? (z. B. Der Spieler kann sich selbst bewegen, aber er kann nicht den Standort des Königs ändern).
- Rules (Regeln): Bricht dies die Spielregeln? (z. B. Man kann nicht durch eine verschlossene Tür gehen, ohne einen Schlüssel zu haben).
Apply (Anwenden): Wenn es den Türsteher passiert, wird die Änderung atomar committet (alles auf einmal gespeichert). Das System erstellt dann einen „Fingerabdruck“ (einen Hash) des neuen Weltzustands.

4. Die Magie der „partiellen Beobachtbarkeit“

Das Paper beschreibt das Spiel als ein Parameterized-Action POMDP. Auf einfachem Deutsch bedeutet das:

Die Welt ist real: Die Dateien auf der Festplatte sind die tatsächliche Realität.
Der Spieler ist blind: Der Spieler sieht die Dateien nicht. Er sieht nur eine narrative Projektion (eine Geschichte), die von der KI basierend auf diesen Dateien generiert wird.
Die Analogie: Stellen Sie sich ein Puppentheater vor. Der World-Agent ist der Puppenspieler, der die Fäden (die JSON-Dateien) hält. Der Spieler sieht nur die Puppen auf der Bühne (die Geschichte). Der Puppenspieler weiß genau, wo jede Puppe ist, selbst wenn der Spieler es nicht weiß. Wenn der Spieler versucht, eine Puppe zu greifen, prüft der Puppenspieler die Regeln, bevor er die Bewegung der Puppe zulässt.

5. Warum das wichtig ist (Der „Audit Trail“)

Da die Welt in Dateien mit „Fingerabdrücken“ (Hashes) gespeichert ist, ist das Spiel auditierbar.

Wenn ein Spieler sagt: „Warte, der Schmied war gestern hier!“, kann das System die Dateihistorie prüfen und genau beweisen, was wann und warum passiert ist.
Es verhindert, dass die KI über den Zustand der Welt „lügt“, da die KI die Dateien nicht ändern kann, ohne die Validierungsprüfung zu bestehen.

6. Was sie herausgefunden haben (Bisher)

Die Autoren haben dieses Framework mit einer kleinen Gruppe von Testern getestet und fanden heraus:

Die Welt fühlt sich lebendig an: Selbst wenn niemand spricht, existiert die Welt weiter und verändert sich basierend auf Regeln (wie das Vergehen der Zeit oder Ereignisse).
Gedächtnis ist real: Charaktere erinnern sich an Dinge nicht, weil die KI ein Chat-Protokoll „erinnert“, sondern weil die Informationen bei jedem Zug aus den Dateien neu eingespeist wurden.
Debugging ist einfacher: Ersteller können in die Dateien schauen, um genau zu sehen, warum die KI eine Entscheidung getroffen hat, anstatt zu raten, was die KI gedacht hat.

Was sie noch nicht getan haben

Das Paper ist ein „Work in Progress“. Sie haben die Engine gebaut und mit ein paar Leuten getestet, aber sie haben noch nicht:

Eine groß angelegte Studie mit Hunderten von Spielern durchgeführt, um zu beweisen, dass es besser als Standardspiele ist.
Vollständig implementiert, dass eine Welt, in der Dutzende von NPCs gleichzeitig agieren (sie planen, dies als Nächstes zu tun).
Bewiesen, dass dies mit jedem anderen Typ von KI-Modell funktioniert.

Zusammenfassend: Das Paper argumentiert, dass wir aufhören müssen, die Welt als ein Gespräch zu behandeln, und stattdin als eine Datenbank zu betrachten, wenn wir KI-Spiele wirklich spielbar und beständig machen wollen. Die KI wird zu einem disziplinierten Bibliothekar, der die Datenbank aktualisiert, anstatt zu einem chaotischen Geschichtenerzähler, der die Handlung vergisst.

Technisches Resümee: Orchestrated Reality

Problemstellung

Aktuelle Large Language Model (LLM)-Systeme haben Schwierigkeiten, kohärente, persistente Spielwelten aufrechtzuerhalten, insbesondere in offenen oder Open-World-Sandbox-Settings. Während LLMs exzellent in der Rollenspiel-Darstellung von Charakteren sind, scheitern sie daran, eine validierte, konsistente Repräsentation des Weltzustands (z. B. „wer ist wo“, „was ist passiert“, „was ist aktuell wahr“) aufrechtzuerhalten. Bestehende Ansätze verlassen sich typischerweise auf freie Prosa-Narrative, die einen Zustand behaupten, ohne eine persistente, validierte Repräsentation zu besitzen. Dies führt zu drei wiederkehrenden architektonischen Fehlern:

Zustandslosigkeit: Die Welt hört auf zu existieren, sobald eine Sitzung endet; das „Gedächtnis“ ist auf die Nähe innerhalb des Kontextfensters beschränkt.
Unvalidierte Schreibvorgänge: Modelle können willkürliche Weltveränderungen behaupten, was dazu führt, dass der Zustand driftet und sich im Stillen widersprüchlich aufstaut.
Monolithische Agency: Ein einzener Prompt vermischt Narration, Charakterstimme und Regelverwaltung, was die Trennung der Zuständigkeiten verhindert, die für komplexe Simulationen erforderlich ist.

Folglich bleibt der Bau einer voll autonomen Game Engine ohne menschliche Eingriffe (Human-in-the-loop) unmöglich. Das Paper postuliert, dass dies eine architektonische Limitation aktueller Implementierungen ist und nicht eine inhärente Limitation der Sprachmodelle selbst.

Methodik: Orchestrated Reality Framework

Die Autoren schlagen ein Framework namens Orchestrated Reality vor, welches die Spielwelt als ein kanonisches, auditierbares Objekt behandelt, das von einem Singleton World-Agent verwaltet wird. Dieses System formalisiert eine LLM-gesteuerte Spielwelt als einen Parameterized-Action Partially Observable Markov Decision Process (PA-POMDP).

1. Formales Modell

Das System wird durch das Tupel $M = (S, A, \Omega, O, F, \rho_0)$ definiert:

Zustand ( $S$ ): Der Weltzustand ist kein Textblock, sondern ein Baum aus kanonischen JSON-Entitäten, die auf der Festplatte gespeichert sind. Jede Entität (NPCs, Orte, Quests, Spielerprofil) ist ein typisierter JSON-Dokument. Der Zustand ist inspizierbar, verzweigbar und über Content-Hashes adressierbar.
Aktionen ( $A$ ): Aktionen sind parametrisiert als $a = (k, x_k)$ , wobei $k$ eine diskrete Intention (z. B. move, speak) ist und $x_k$ ein strukturierter JSON-Parametersatz ist.
Observationen ( $\Omega$ ): Der Agent (Spieler) beobachtet nicht den rohen Zustand $s_t$ . Stattdessen beobachtet er eine narrative Projektion $o_t = O(s_t)$ , die vom World-Agent generiert wird.
Transition Kernel ( $F$ ): Die Transition wird durch eine Plan–Diff–Validate–Apply (PDVA)-Pipeline gesteuert, die LLM-gesteuert, aber schema-beschränkt ist.

2. Die PDVA-Pipeline

Jeder Zug durchläuft vier distinkte Phasen:

Plan: Ein begrenzter Kontext $p$ wird aus dem relevanten Ausschnitt des kanonischen JSON-Zustands und der Eingabe des Spielers konstruiert.
Diff: Das LLM generiert eine Antwort $r$ , die sowohl den narrativen Text für die nächste Observation als auch eine strukturierte vorgeschlagene Mutation $\Delta_t$ (eine Liste von JSON-Operationen: Pfad, Operation, Wert) enthält.
Validate: Jede vorgeschlagene Änderung $\delta_j$ $δ_{j}$ unterliegt einer strengen Validierung:
- SchemaOK: Muss dem JSON-Schema entsprechen.
- PermOK: Muss innerhalb des Berechtigungsbereichs des vorschlagenden Akteurs liegen.
- RuleOK: Muss die Spielregeln erfüllen.
Apply: Validierte Änderungen werden atomar in den JSON-Baum übertragen. Der neue Zustand wird mittels Content-Hashing (SHA256) versioniert, um eine kanonische Historie zu gewährleisten.

3. Der World-Agent

Der World-Agent fungiert als Singleton Game Master (GM). Er besitzt das Welt-Verzeichnis, verwaltet den Turn-Loop und erzwingt das „Deny-First“-Berechtigungsmodell.

Memory Injection: Anstatt sich auf die Retention im Kontextfenster zu verlassen, injiziert der World-Agent relevante kanonische JSON-Einträge bei jedem Zug direkt in den Prompt des agierenden Modells.
Atomare Commits: Vorschläge des Spielers, spezialisierter Sub-Agenten (z. B. Kampf-Schiedsrichter) oder zukünftiger NPC-Geister werden durch den World-Agent gefiltert. Pro Zug wird nur ein einziger atomarer, content-gehashter Commit auf die Festplatte geschrieben, um Race Conditions zu verhindern.

Wichtigste Beiträge

Das Paper berichtet über laufende Arbeiten mit drei primären Beiträgen:

Formalisierung: Eine formale Definition von LLM-gesteuerten Spielwelten als PA-POMDP, bei dem ein einzelner World-Agent sowohl als Transition Kernel (via PDVA) als auch als Observation Kernel (via Narration) dient.
JSON-Zustandsmodell: Eine konkrete Implementierung, bei der die Welt ein Baum aus JSON-Dokumenten ist, was den Zustand inspizierbar, differenzierbar und via Content-Hashing reproduzierbar macht.
Incident Catalogue: Eine Sammlung von 15 auditierbaren Vorfällen aus einer realen Implementierung (unter Beteiligung von ca. 5 Testern über drei Monate). Diese Vorfälle demonstrieren die Mechanismen des Frameworks in Aktion, insbesondere:
- Multi-Agent-Orchestrierung: Verteilung von Zügen auf spezialisierte Sub-Agenten.
- JSON-erzwungene Memory Injection: Wiederauffinden von Entitäten nach langen Intervallen basierend auf re-injiziertem State statt Chat-Historie.
- JSON-Flow-State-Commits: Schema-validierte Deltas, die auf Dateien angewendet werden.

Ergebnisse und Beobachtungen

Das Paper präsentiert keine abschließenden statistischen Ergebnisse aus einer groß angelegten Spielerstudie, da dies geplante zukünftige Arbeit ist. Es bietet jedoch frühe Beobachtungen aus informellen Tests und einer analysierten Spielhistorie:

Hypothese H1: Voraussetzungsgesteuerte Umgebungsevents (z. B. Zeitfortschritt, geplante Ereignisse) erzeugen ein Gefühl einer „lebendigen Welt“, selbst ohne aktiven Charakterdialog.
Hypothese H2: Narrativierte Ablehnungen ungültiger Aktionen (Validierungsfehler) erhöhen das Gefühl von Konsequenzen beim Spieler, ohne die Immersion zu brechen.
Hypothese H3: Ein inspizierbarer, durch Hashes identifizierter Zustand senkt die Barriere für Autoren, Welten zu debuggen und zu verzweigen.

Die 15 Incident-Beispiele dienen als Proof-of-Concept dafür, dass das Framework auf realer Spielhistorie laufen kann und dabei Konsistenz wahrt, wo traditionelle LLM-Chat-Systeme driften würden.

Bedeutung und Ansprüche

Das Paper positioniert Orchestrated Reality als einen Wechsel von „Charakter-basierter Narrationsgenerierung“ zu „Game-Story-Orchestrierung“.

Architektonischer Wandel: Es definiert das Problem neu – weg von einer Limitation des Sprachmodells hin zu einer architektonischen Entscheidung, weg von unvalidierter Prosa hin zu einem validierten, Event-sourced Zustandsmodell.
Fundament für Next-Gen Games: Indem die Welt als ein kanonisches Objekt behandelt wird, das von einem GM-ähnlichen Agenten kontrolliert wird, liefert das System die notwendige Infrastruktur für vollautonome Game Engines.
Zukünftige Richtungen: Die Autoren identifizieren den Weg hin zu Multi-Agent Markov Games (wo NPCs als konkurrierende Agenten agieren) und Reinforcement Learning (RL) Umgebungen für Spielwelten-Modelle. Sie räumen Probleme hinsichtlich der Deterministik unter LLM-Stochastizität, der Kostenkontrolle für konkurrierende Agenten und des narrativen Drifts bei nicht getrackten Details ein.

Das Paper schließt mit der Einladung zur Diskussion über diese Rahmung und den Übergang zu Multi-NPC Markov Games und lernbaren RL-Umgebungen, wobei betont wird, dass die aktuelle Arbeit das notwendige „Runtime World Model“ für diese Fortschritte etabliert.