🤖 AI

Mind-Studio: Executable World Models with Lookahead Evaluation for Partially Observable Games

Mind-Studio is een framework dat grote taalmodellen gebruikt om uitvoerbare, pygame-stijl wereldmodellen te synthetiseren uit interactietrajecten, wat een aanzienlijk verbeterde voorspelling van de volgende toestand en een getrouwheid op takniveau demonstreert in gedeeltelijk observeerbare Atari-games vergeleken met eerdere benaderingen.

Oorspronkelijke auteurs: Yifei Dong, Mingen Zheng, Linquan Wu, Jeff Z. Pan, Jiaxin Bai

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifei Dong, Mingen Zheng, Linquan Wu, Jeff Z. Pan, Jiaxin Bai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een videogame zoals Montezuma's Revenge of Skiing moet spelen. De robot kan het scherm zien, maar hij begrijpt de "regels" van de wereld niet. Hij weet niet dat je van een ladder valt als je eraf springt, of dat het raken van een schedel een leven kost.

Normaal gesproken probeert AI te leren door te raden wat er hierna gebeurt op basis van wat het eerder heeft gezien. Het is alsof je probeert te leren autorijden door alleen naar de auto voor je te kijken en te raden waar die heen gaat, zonder ooit te begrijpen hoe het stuur of de remmen werken.

Mind-Studio is een nieuw systeem dat het spel verandert. In plaats van alleen maar te raden, bouwt het een kleine, werkende game engine binnen de computer. Deze engine is een echt, uitvoerbaar programma dat de AI kan gebruiken om te "dromen" of de toekomst te simuleren voordat hij daadwerkelijk een beweging maakt.

Zo werkt het, met behulp van enkele eenvoudige analogieën:

1. De "Spelhandleiding" (Het Skill File)

Voordat de AI begint met leren, krijgt hij een "spiekbriefje" of een Spelhandleiding. Dit is geen volledige regelboek met door mensen geschreven regels; het is een compacte lijst met feiten die de AI uit het gamescherm extraheert.

Wat het weet: "Er is een speler," "Er zijn ladders," "Er zijn touwen," en "De speler kan naar links, rechts of springen bewegen."
De Magie: Zelfs als de interne code van het spel verborgen is (wat vaak het geval is bij deze oude games), kan Mind-Studio naar de plaatjes (pixels) kijken en deze handleiding voor zichzelf schrijven. Het is alsof je naar een foto van een auto kijkt en opschrijft: "Deze heeft vier wielen en een stuur," zonder ooit de motor te hebben gezien.

2. De "Detective" (Entropy Selection)

De AI kijkt hoe een speler het spel speelt en legt elke beweging vast. Maar hij legt niet alles vast — dat zou te veel data zijn.

De Analogie: Stel je voor dat je een detective bent die probeert te begrijpen hoe een machine werkt. Je hoeft niet toe te kijken hoe de machine een uur lang stilstaat. Je hoeft alleen de momenten te bekijken waarop er iets verandert of onverwachts gebeurt.
Hoe het werkt: Mind-Studio gebruikt een "detective-instinct" (genoemd entropy scoring) om de meest interessante momenten uit te kiezen: wanneer een speler tegen een muur botst, wanneer een vijand verschijnt, of wanneer een touw zwaait. Het negeert de saaie delen waar niets gebeurt. Dit geeft de AI de meest "informatiedichte" lessen mogelijk.

3. De "Architect" (De LLM Synthesizer)

Zodra de AI zijn "Spelhandleiding" en zijn "Detective-notities" heeft, vraagt hij aan een krachtige AI-schrijver (een Large Language Model) om de game engine te bouwen.

De Taak: De AI-schrijver krijgt de opdracht: "Hier is de lijst met objecten, hier zijn de interessante momenten, en hier is het doel. Schrijf alstublieft een Python-programma dat dit spel simuleert."
Het Resultaat: De AI schrijft niet alleen een beschrijving; hij schrijft daadwerkelijke code. Deze code is een miniature versie van het spel. Het weet dat als je op "Rechts" drukt, de speler naar rechts beweegt. Als je een schedel raakt, gaat de speler dood. Het is een "World Model" dat je daadwerkelijk op een computer kunt draaien.

4. De "Repetitie" (Lookahead Evaluation)

Nu heeft de AI deze werkende simulatie. Voordat hij een echte beweging maakt in het spel, gebruikt hij deze simulatie om te oefenen.

De Analogie: Denk aan een schaker die de volgende 8 zetten in zijn hoofd visualiseert voordat hij een stuk aanraakt. Mind-Studio doet dit voor videogames. Het vraagt: "Als ik nu spring, hoe ziet het scherm er dan over 8 seconden uit? Als ik naar links ga, wat gebeurt er?"
De Test: Het systeem draait deze simulatie en vergelijkt het resultaat met wat er daadwerkelijk gebeurt in het echte spel. Als de simulatie voorspelt dat de speler op een platform landt, en het echte spel laat zien dat de speler daar inderdaad landt, dan is de simulatie "getrouw" (faithful).

Waarom is dit een grote zaak?

Het paper testte dit op vier moeilijke Atari-games. Dit is wat ze ontdekten:

Betere Nauwkeurigheid: In het spel Montezuma's Revenge waren eerdere methoden slechts 0,3% van de tijd correct in het voorspellen van de volgende zet. Mind-Studio was 48,7% van de tijd correct. Dat is een enorme sprong van "bijna nooit" naar "bijna de helft van de tijd".
Het Oplossen van Puzzels: Omdat de simulatie zo goed is, kon de AI-planner meer delen van het spel oplossen. In Montezuma bereikte het succesvol 5 van de 8 belangrijke controlepunten (subdoelen), terwijl andere methoden moeite hadden.
Het Werkt als een Mens: Het systeem bootst na hoe een mens een nieuw spel leert:
1. Observeer de wereld.
2. Begrijp de regels (de code).
3. Test die regels in je hoofd (de simulatie).
4. Maak een beweging.

De Kernboodschap

Mind-Studio verandert een videogame in een speelbaar script. In plaats van alleen maar te raden wat er hierna gebeurt, bouwt het een kleine, werkende versie van de wereld, draait het een simulatie om de gevolgen te zien, en neemt het dan een beslissing. Het bewees dat je een AI kunt leren om de "physics" van een spel te begrijpen, simpelweg door te kijken hoe het wordt gespeeld en het te vragen de regels als een computerprogramma te schrijven.

Opmerking over Beperkingen: Het paper geeft toe dat dit nog niet perfect is. Het heeft moeite met zeer complexe, willekeurige gebeurtenissen (zoals vijanden die uit het niets verschijnen) of lastige geometrie (zoals een touw beklimmen terwijl je een schedel ontwijkt). Maar het laat zien dat het bouwen van een "uitvoerbaar wereldmodel" een krachtige manier is om vooruit te kunnen plannen.

Technische Samenvatting: Mind-Studio

Probleemformulering

Het artikel behandelt de uitdaging van het synthetiseren van uitvoerbare wereldmodellen voor deels observeerbare omgevingen, met een specifieke focus op OC-Atari games (Object-Centric Atari). Hoewel bestaande symbolische benaderingen vaak geobserveerde transities of mengsels van lokale regels fitten, falen ze vaak in het produceren van een volledig, zelfstandig uitvoerbaar programma dat onafhankelijk van de echte omgeving kan draaien.

In deels observeerbare omgevingen (POMDP's) kan dezelfde zichtbare staat verschillende interne condities verbergen (bijv. verborgen variabelen, stochastische respawns of prioriteitsgebaseerde botsingsregels). Huidige methoden, inclusief die gebaseerd op Large Language Models (LLMs), zijn vaak transitie-gecentreerd: ze reproduceren input-output gedrag of combineren lokale regel-experts, maar synthetiseren niet noodzakelijkerwijs een coherent mechanisme dat verklaart hoe transities worden geproduceerd. De auteurs stellen dat een nuttig wereldmodel objectidentiteiten, statische scène-restricties, actie-semantiek en de volgorde van updates moet behouden om coherent te blijven wanneer het vanuit verschillende staten wordt uitgevoerd.

Methodologie: Het Mind-Studio Framework

Mind-Studio is een framework ontworpen om uitvoerbare, pygame-stijl wereldmodellen te synthetiseren uit state-action-next-state trajecten met behulp van LLM's. Het proces is verdeeld in twee hoofdfasen: Synthese en Planning/Evaluatie.

1. Synthesefase

De synthese-pipeline transformeert ruwe interactiedata naar een uitvoerbaar Python-programma via vier stappen:

Data-extractie: Ruwe observaties worden omgezet in object-gecentreerde symbolische staten ( $s_t$ ) met behulp van de OC-Atari RAM parser. Deze staten vertegenwoordigen game-objecten (speler, vijanden, items) met getypeerde attribuut-slots (positie, grootte, status).
Entropie-gebaseerde Selectie: In plaats van alle transities te gebruiken, selecteert het framework een regel-dragende subset van transities ($eT$) met behulp van een entropie-gebaseerde scorefunctie $H(r_i)$ . Deze heuristiek geeft prioriteit aan rijen die object-attribuutwijzigingen, relationele transities en discrete game-events vertonen (bijv. botsingen, spawns) boven veelvoorkomende, repetitieve bewegingen. Dit zorgt ervoor dat de LLM-context gevuld wordt met informatieve, mechanisme-onthullende voorbeelden.
Compressie en Integratie van het Skill-bestand: De geselecteerde sporen worden gecomprimeerd in een prompt-vriendelijk formaat bestaande uit:
- Statische Interface ( $P$ ): Persistente object-slots en scène-layout (bijv. doolhofmuren).
- Per-stap Delta's ( $\Delta P$ ): Alleen de attributen die op elk stap zijn veranderd.
- Game Skill File ( $S_{game}$ ): Een bestand dat objecttypes, legale acties, domeinconventies en de statische scène-layout codeert. Cruciaal is dat ontbrekende statische layout-entries in de RAM-afgeleide staten kunnen worden aangevuld via pixel-niveau scène-extractie, waardoor de methode kan functioneren zelfs wanneer de interne staat niet beschikbaar is.
LLM Synthese: Een LLM-synthesizer ( $g_\phi$ ) wordt geprompt met het skill-bestand en de gecomprimeerde sporen om een uitvoerbaar Python-programma ( $M$ ) te genereren. Het resulterende programma is een zelfstandige simulator die object-staten bijwerkt en voorspelde scènes rendert.

2. Evaluatie- en Planningfase

Het gesynthetiseerde model wordt geëvalueerd met beh�elijke K-staps lookahead fidelity protocol:

Lookahead Mechanisme: Voor een gegeven staat en kandidaat-actie worden het wereldmodel ( $M$ ) en de echte omgeving (Real-ALE) geroteerd voor $K$ frames (waarbij $K$ game-specifiek is, bijv. 8 of 16).
Fidelity Metrics:
- Next-State Prediction (NSP): Meet de exacte pixel-niveau match van het middelpunt van de bounding-box van het stuurbare karakter tussen de voorspelling van het model en de echte omgeving.
- Branch NSP: Gemiddelde fidelity over alle kandidaat-acties die aan de planner worden getoond.
- Chosen-Action NSP: Gemiddelde fidelity alleen over de actie die daadwerkelijk door de planner is gekozen.
LLM-als-Planner: Het gesynthetiseerde wereldmodel dient als de lookahead-bron voor een LLM-planner ( $\pi_{LLM}$ ). De planner ontvangt de huidige staat, geverifieerde subdoelen en een tabel met per-actie wereldmodel-voorvertoningen om de volgende actie te selecteren. Een rollback-mechanisme handelt terminal resets of het gebrek aan progressie af.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Single-Pass Synthese-pipeline: Een methode geleid door een game skill file die statische layout en actie-semantiek codeert. Dit stelt het systeem in staat te functioneren zelfs wanneer RAM-gebaseerde staat niet beschikbaar is, door gebruik te maken van pixel-niveau scène-extractie.
Entropie-gebaseerde Selector: Een heuristiek voor het selecteren van transities die verborgen variabelen en context-prioriteitsregels blootlegt, waardoor de trainingsdata diverse game-mechanics dekt in plaats van alleen veelvoorkomende bewegingen.
Object-gecentreerde Programmatische Representatie: Een representatie met een expliciete prioriteitsvolgorde die verborgen regels codeert als uitvoerbare control-flow binnen een enkel programma, in plaats van als een mengsel van gewogen experts.
K-staps Lookahead Evaluatieprotocol: Een gestandaardiseerde harness die een gedeelde LLM-as-Planner gebruikt om verschillende lookahead bronnen (inclusief het gesynthetiseerde model, PoE-World en directe LLM-as-WM) onder gecontroleerde omstandigheden te vergelijken.

Experimentele Resultaten

Het framework werd geëvalueerd op vier OC-Atari games: Montezuma's Revenge, Alien, Assault en Skiing.

Montezuma's Revenge: Mind-Studio verbeterde de chosen-action NSP aanzienlijk van 0,3% (PoE-World) naar 48,7%. Het verifieerde 5/8 subdoelen over verschillende planner-backbones, waarbij het de prestaties van de beste baselines evenaarde terwijl het hogere fidelity bood in actie-voorvertoningen.
Stochastische Games (Alien, Assault, Skiing): Mind-Studio demonstreerde een sterkere branch-level fidelity vergeleken met eerdere geleerde lookahead bronnen.
- In Assault behaalde het de hoogste chosen-action NSP (0,95) en branch NSP (0,87) met de Qwen3-Coder planner, waarmee het PoE-World en LLM-as-WM overtrof.
- In Alien toonde het competitieve resultaten, hoewel de prestaties meer varieerden per planner-backbone.
- In Skiing, hoewel de fidelity competitief was, werd het taaksucces beperkt door de moeilijkheid van het K-hold protocol in het vangen van cumulatieve directionele kosten (bijv. oversturen).
Ablatie-studies: Het verwijderen van de compressiestap (het gebruik van volledige sporen in plaats van delta's) verminderde de prestaties drastisch, wat de belangrijkheid van het compacte ervaring-formaat bevestigt. De game skill file bleek ook cruciaal voor modellen zoals Qwen3-Coder.
Planner Onafhankelijkheid: De gesynthetiseerde programma's bleven effectief over verschillende planner LLM's (Qwen, DeepSeek, Llama, Claude, Gemini), wat aangeeft dat de kwaliteit van het wereldmodel scheidbaar is van de formatterings-effecten van de planner.

Betekenis en Claims

Het artikel claimt dat Mind-Studio erin slaagt de interne "beeld van de wereld" van een agent om te zetten in een uitvoerbaar programma. De betekenis ligt in het aantonen dat een single-pass LLM synthese over entropie-geselecteerde symbolische sporen voldoende is om een uitvoerbaar wereldmodel te produceren dat betekenisvolle planning ondersteunt in deels observeerbare settings.

Belangrijke conclusies zijn onder meer:

Uitvoerbaarheid vs. Voorspelling: In tegen tegenstelling tot methoden die slechts de volgende staat voorspellen of gewogen regel-ensembles gebruiken, produceert Mind-Studio een enkel control-flow programma dat kan worden uitgevoerd, gerenderd en geïnspecteerd.
Bruggen Slaan tussen Visueel en Symbolisch: Het gebruik van een skill file, die kan worden gevoed vanuit pixel-niveau extractie, overbrugt de kloof tussen ruwe visuele observaties en de gestructureerde dynamische kennis die nodig is voor synthese.
Efficiëntie: De aanpak stelt LLM-planners in staat om meer subdoelen te bereiken dan traditionele BFS-planners binnen een wall-time budget dat een orde van grootte kleiner is.
Beperkingen: De auteurs merken bescheiden op dat fouten blijven bestaan in geometrie-gevoelige contexten (bijv. complexe touw/schedel interacties) en dat taaksucces nog steeds afhangt van de kwaliteit van exploratie. De huidige scope is beperkt tot Atari 2600 games met discrete acties en een klein aantal objecttypes.

Het artikel concludeert dat dit ontwerp—skill-file-gestuurde single-pass synthese geëvalueerd door K-staps lookahead fidelity—een herbruikbaar blauwdruk biedt voor het bouwen van lichtgewicht, interpreteerbare wereldmodellen in domeinen waar object-niveau observaties en discrete acties beschikbaar zijn.