💻 computer science

ActSWM: Action-Sensitive World Models for Long-Horizon Planning in Open-World Games

Dit artikel introduceert ActSWM, een actiegevoelig latent wereldmodel dat het "Context Collapse"-foutmodus aanpakt door een transitie-scheidingsprincipe af te dwingen om te waarborgen dat langetermijn-rollouts onderscheidbaar blijven over verschillende actiesequenties, waardoor de planningsprestaties in open-wereld games worden verbeterd en actieherstel uit offline video's mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Zhenfeng Gan, ZiTong Zeng, Jiajun Cheng, Yeke Song, Yongyi Tang, Xueqian Wang

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenfeng Gan, ZiTong Zeng, Jiajun Cheng, Yeke Song, Yongyi Tang, Xueqian Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een videogame te spelen, maar je kunt de robot niet voor elke enkele beweging aan de controller laten zitten. In plaats daarvan wil je dat de robot een "droom" van het spel in zijn hoofd bouwt. Hij kijkt naar het scherm, stelt zich voor wat er zou gebeuren als hij zou springen, en wat er zou gebeuren als hij zou rennen, en kiest vervolgens het beste pad vooruit zonder daadwerkelijk tegen een muur te botsen. Dit is de wereld van World Models, een tak van kunstmatige intelligentie waarbij machines leren de toekomst te voorspellen door deze in hun hoofd te simuleren in een gecomprimeerde, wiskundige "droomruimte".

Om dit te laten werken, moet de droom van de robot gevoelig zijn voor zijn keuzes. Als de robot zich voorstelt te springen, moet de droom hem omhoog zien vliegen. Als hij zich voorstelt te rennen, moet de droom hem naar voren zien versnellen. Het grote probleem waar wetenschappers tegenaan zijn gelopen, is dat deze dromen vaak "lui" worden. De robot kan een toekomst voorspellen die er perfect uitziet, maar die niet daadwerkelijk verandert op basis van wat de robot besluit te doen. Het is alsof je naar een film kijkt waarvan het plot al vaststaat; ongeacht hoe hard het personage probeert naar links af te slaan, de camera pant toch naar rechts. Dit artikel pakt dit specifieke defect aan, met de vraag: Kunnen we een robot leren om te dromen op een manier waarop de toekomst daadwerkelijk luistert naar zijn acties?

Het "Lauze Droom"-probleem

Maak kennis met ActSWM, een nieuw soort AI-brein ontworien om robots te beschermen tegen "luie dromen". In de wereld van open-world games zoals Minecraft moeten agenten (de robots) ver in de toekomst kunnen plannen. Ze moeten uitzoeken: "Als ik nu deze steen hak, kan ik dan later een huis bouwen?" Om dit te doen, gebruiken ze een Latent World Model. Beschouw dit model als een supersnelle simulator die op de achtergrond draait. In plaats van elke pixel van het gamescherm te verwerken, comprimeert het de wereld tot een vereenvoudigde "latente" code—een mentale afkorting.

Het doel is dat de agent duizenden van deze mentale simulaties in een fractie van een seconde uitvoert om de beste zet te vinden. Maar hier zit de crux: veel bestaande simulators lijden aan een bug die de auteurs Context Collapse noemen.

Stel je voor dat je een verhaal vertelt aan een vriend. Als je zegt: "Ik ging naar het park," stelt je vriend zich een zonnige dag voor. Als je zegt: "Ik ging naar het park en het regende," stelt hij zich een natte dag voor. Dat is goed. Maar Context Collapse is als een vriend die, wat je ook zegt, altijd exact dezelfde zonnige dag voorstelt. Ze zijn zo gefocust op het algemene idee van "het park" dat ze stoppen met luisteren naar jouw specifieke details over de regen. In de AI-wereld betekent dit dat de simulator een plausibele toekomst voorspelt (een zonnig park), maar er niet in slaagt om die voorspelling te veranderen op basis van de specifieke acties die de robot onderneemt. De robot denkt: "Ik kan springen of ik kan rennen, en de toekomst ziet er in beide gevallen hetzelfde uit," wat plannen onmogelijk maakt.

De Oplossing: Een Bevroren "Actie-Detective"

De auteurs stellen ActSWM (Action-Sensitive World Model) voor om dit op te lossen. Hun geheime ingrediënt is een principe dat ze Transition Separation noemen. Ze willen ervoor zorgen dat als de robot twee verschillende paden neemt, de resulterende dromen er verschillend uit moeten zien.

Om dit af te dwingen, introduceren ze een slimme truc: een Fixed Action Readout. Stel je voor dat je een detective hebt wiens taak het is om naar een scène te kijken en te raden welke actie er net heeft plaatsgevonden. Meestal, als de detective samen met de scène leert, kan hij valsspelen. Als de scène voor twee verschillende acties te veel op elkaar lijkt, kan de detective simpelweg zijn definitie van "springen" aanpassen om bij de scène te passen, in plaats van de scène te dwingen om anders te zijn.

ActSWM stopt dit valsspelen door de detective te bevriezen. Ze geven de AI een detective met een vaste, onveranderlijke regelbundel. De AI wordt vervolgens gedwongen om zijn "dromen" (de latente transities) zo onderscheidend te maken dat deze bevroren detective de acties nauwkeurig van elkaar kan onderscheiden. Als de AI probeert de "spring"-droom en de "ren"-droom hetzelfde te laten lijken, zal de bevroren detective er niet in slagen de actie te raden, en krijgt de AI een straf. Dit dwingt de AI om zijn toekomstvoorspellingen scherp en responsief te houden voor elke specifieke knopdruk.

Wat ze vonden

Het team testte dit nieuwe brein in de chaotische, blokkerige wereld van Minecraft en in drie andere spellen (Counter-Strike 2, GTA V en Apex Legends).

1. Het stoppen van de Collaps:
Toen ze ActSWM vergeleken met oudere modellen, was het verschil treffend. In een test waarbij ze de AI vroegen om een toekomst te verbeelden met echte acties versus een toekomst waarin de robot niets deed (alleen nul-acties), produceerden de oude modellen bijna identieke toekomsten. De nieuwe ActS%， creëerde echter een enorme kloof. De auteurs maten deze "actie-kloof" en vonden dat ActSWM een scheiding produceerde die ongeveer 380 keer groter was dan de sterkste vorige baseline. De dromen van de robot luisterden eindelijk naar de controller.

2. Beter Plannen:
Omdat de dromen nauwkeuriger waren, werd de robot beter in het spelen. In Minecraft, toen de AI werd gevraagd taken uit te voeren zoals een fakkel plaatsen, een stenen blok hakken of een pilaar bouwen, verbeterde ActSWM de succespercentages aanzienlijk. Bijvoorbeeld, het verbeterde het succespercentage van het hakken van een stenen blok met 90,0% en het bouwen van een pilaar met 54,5% vergeleken met de baseline. De robot kon nu betrouwbaar onderscheid maken tussen een pad dat naar een huis leidt en een pad dat naar een klif leidt.

3. De Geest Lezen uit Video:
Ten slotte testten ze of de AI een video van een mens die speelt kon bekijken en kon raden welke knoppen diegene indrukte. Dit is als het kijken naar een film en de bewegingen van de acteur raden. Met behulp van een methode genaamd Cross-Entropy Minimization (CEM), was ActSWM in staat om de juiste acties uit offline video's veel beter te herstellen dan bij willekeurige gokken. In GTA V verbeterde het de "kosten" van het vinden van de juiste actie met 252,38 vergeleken met een willekeurige zoekopdracht, en het identificeerde actieve toetsaanslagen (zoals wanneer een speler daadwerkelijk een knop indrukt) met een nauwkeurigheidsverbetering van wel 0,711.

De Conclusie

Het artikel suggereert dat voor AI-agenten om complexe, open-ended games echt te beheersen, ze meer nodig hebben dan alleen nauwkeurige voorspellingen van de toekomst; ze hebben voorspellingen nodig die gevoelig zijn voor actie. Als de toekomst niet verandert wanneer je van gedachten verandert, kun je niet plannen. Door een eenvoudige "actie-detective" te bevriezen en de AI te dwingen om zijn toekomstige scenario's onderscheidend te houden, bewijst ActSWM dat we world models kunnen bouwen die niet alleen dagdromen, maar ook daadwerkelijk luisteren naar de speler. Dit is niet zomaar een kleine aanpassing; het is een fundamentele verschuiving in hoe we machines leren de gevolgen van hun eigen keuzes te verbeelden.

Technische Samenvatting: ActSWM – Actiegevoelige Wereldmodellen voor Lange-Termijn Planning

Probleemstelling: Context Collaps in Latente Wereldmodellen

Latente wereldmodellen faciliteren efficiënte model-predictieve controle (MPC) door controle-sequenties te optimaliseren binnen een gecomprimeerde latente ruimte. Bestaande autoregressieve latente voorspellers lijden echter vaak aan Context Collapse, een specifieke faalmodus die verschillend is van standaard voorspellingsfout-accumulatie.

Bij Context Collapse kan een voorspeller een hoge gelijkenis met toekomstige toestanden behouden op basis van visuele historie alleen, maar ongevoelig worden voor de specifieke actie-sequenties die de rollout conditioneren. Bijgevolg produceren verschillende actie-sequenties (bijv. een opgenomen traject versus een sequentie van enkel nul-acties) bijna ononderscheidbare latente toekomsten. Dit fenomeen maakt het model ineffectief voor planning: als alternatieve acties geen onderscheidbare latente gevolgen induceren, kan een planner de resultaten van downstream-uitkomsten niet betrouwbaar vergelijken of controle-sequenties optimaliseren. Hoewel bestaande methoden zoals het World-Action Model (WAM) inverse dynamica integreren om actie-informatie in lokale transities te behouden, beperken zij de voorspelde rollouts onder alternatieve toekomstige actie-sequenties niet expliciet om onderscheidbaar te blijven.

Methodologie: Het ActSWM-framework

De auteurs stellen ActSWM (Action-Sensitive World Model) voor, een JEPA-gebaseerd latent wereldmodel dat ontworpen is om actiegevoeligheid af te dwingen via een transitie-scheidingsprincipe. De kernhypothese is dat een voor planning bruikbaar latent dynamica-model de toekomsten onder alternatieve acties onderscheidbaar moet houden en moet waarborgen dat de actie geassocieerd met elke lokale transitie herstelbaar is.

Architectuur en Componenten

ActSWM breidt een standaard latente voorspellings-backbone uit met twee specifieke mechanismen:

Rollout-niveau Scheiding: Het model wordt getraind om te waarborgen dat latente trajecten gegenereerd vanuit dezelfde context, maar geconditioneerd op verschillende actie-sequenties (specifiek: opgenomen acties versus nul-acties), onderscheidbaar blijven.
Vaste Actie-Readout: Om sensitiviteit op transitiemateriaal af te dwingen, gebruikt ActSWM een parameter-bevroren actie-readout ( $q_{\phi_0}$ ). In tegenstelling tot adaptieve decoders die hun beslissingsgrenzen kunnen verschuiven om de loss te minimaliseren, dwingt een vaste readout de latente transitie-representaties zelf om onderscheidbaar te worden, zodat nauwkeurige actie-reconstructie mogelijk is.

Trainingsdoelstelling

De trainingsdoelstelling ( $\mathcal{L}$ ) combineert vier termen om een balans te vinden tussen voorspellingsgetrouwheid en actiegevoeligheid:

Voorspellingsverlies ( $\mathcal{L}_{pred}$ ): Standaard multi-step voorspellingsverlies dat de rollout geconditioneerd op opgenomen acties afstemt op de gecodeerde toekomstige trajecten.
Hinge Loss ( $\mathcal{L}_{hinge}$ ): Een contrastieve term die excessieve gelijkenis bestraft tussen de rollout geconditioneerd op opgenomen acties en de rollout geconditioneerd op nul-acties. Dit moedigt het model expliciet aan om actie-afhankelijke verschillen over lange horizonten te behouden.
Readout Loss ( $\mathcal{L}_{readout}$ ): Een verliesterm toegepast op zowel gecodeerde transities als de door de rollout voorspelde transities met behulp van de bevroren readout. Dit zorgt ervoor dat latente transities voldoende informatie bevatten om de invoer-actie te herstellen.
SigReg Loss ( $\mathcal{L}_{sig}$ ): Overgenomen van LeWorldModel (LeWM) om de schaal en distributie van voorspellingsruimte-features te stabiliseren.

De totale doelstelling is:
$\mathcal{L} = \mathcal{L}_{pred} + \lambda_{sig}\mathcal{L}_{sig} + \lambda_{hinge}\mathcal{L}_{hinge} + \lambda_{readout}\mathcal{L}_{readout}$

Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

ActSWM Model: Introductie van een JEPA-gebaseerd latent wereldmodel dat specifiek is ontworend voor het ondersteunen van lange-termijn voorspellingen terwijl het actiegevoelige rollout-dynamica behoudt.
Validatie in Open-Ended Taken: Demonstratie van verbeterde closed-loop planning in MineStudio-taken (steen mijnen, pilaren bouwen, fakkels plaatsen), wat een significante verbetering in succesratio's laat zien ten opzichte van de LeWM-baseline.
Diagnose van Context Collapse: Een diagnostisch protocol dat rollouts vergelijkt die geconditioneerd zijn op opgenomen acties versus nul-acties. ActSWM bereikt een ongeveer 380× grotere scheiding tussen deze toekomsten vergeleken met de sterkste baseline, wat bewijst dat de rollouts responsief blijven op actie-inputs.
Offline Actie-reconstructie: Validatie dat de geleerde dynamica controle-sequenties kan herstellen uit offline gameplay-video's over drie verschillende domeinen (Counter-Strike 2, GTA V, Apex Legends) met behulp van de Cross-Entropy Method (CEM) optimalisatie, waarbij een verbetering van tot wel 16,5× in kosten wordt behaald ten opzichte van random search.

Experimentele Resultaten

Q1: Diagnostiek van Context Collapse

Gebruikmakend van offline Minecraft-trajecten evalueerden de auteurs of modellen vertrouwen op actie-inputs of enkel op de context.

Baseline Gedrag: Modellen met langere contexten of multi-step training verbeterden de voorspellingskwaliteit onder opgenomen acties, maar faalden in het differentiëren tussen opgenomen en nul-actie rollouts (kleine $\Delta_k$ ).
ActSWM Prestaties: ActSWM verminderde de gelijkenis onder nul-actie condities met meer dan 80% terwijl de getrouwheid voor opgenomen acties hoog bleef, waarbij het de grootste actie-gap ( $\Delta_k = 0,760$ ) bereikte.

Q2: Closed-Loop Model-Based Planning

In MineStudio werd ActSWM gebruikt als het dynamica-model voor MPC.

Prestatiewinsten: Vergeleken met LeWM verbeterde ActSWM de succesratio's van taken door:
- 5,3% voor het plaatsen van een fakkel.
- 90,0% voor het mijnen van een steenblok.
- 54,5% voor het bouwen van een pilaar.
Implicatie: De resultaten geven aan dat actiegevoelige rollouts cruciaal zijn voor planningstaken die constante controle en sequentiële besluitvorming vereisen.

Q3: Discriminatieve Actie-representaties

Het model werd getest op zijn vermogen om acties te extraheren uit offline video's in CS2, GTA V en Apex Legends met behulp van CEM.

Actie-gap: ActSWM verbeterde de CEM-reconstructiekosten ten opzichte van random search met tot wel 16,5× (bijv. 252,38 in GTA).
Actieve Nauwkeurigheid: ActSWM verbeterde de nauwkeurigheid van het herstellen van acties wanneer toetsen daadwerkelijk werden ingedrukt aanzienlijk (tot 0,711 absolute verbetering), terwijl baselines vaak faalden om actieve toetsen te onderscheiden van de dominante inactieve klasse.

Betekenis en Claims

Het artikel stelt dat actiegevoeligheid een kernvereiste is voor planning-georiënteerde latente wereldmodellen, die verschillend is van en complementair is aan toekomstige-toestand voorspellingsnauwkeurigheid. De auteurs claimen dat:

Context Collapse een specifieke faalmodus is waarbij nauwkeurige rollouts niet reageren op alternatieve acties, waardoor ze onbruikbaar zijn voor planning.
Actiegevoeligheid de link vormt tussen counterfactual (tegenfeitelijke) rollout-vergelijking, betrouwbare closed-loop planning en schaalbare actie-labeling vanuit gameplay-video.
Door een principe van transitie-scheiding af te dwingen via een vaste readout en contrastieve training van rollouts, stelt ActSWM wereldmodellen in staat om effectieve planners te zijn in open-world omgevingen, waarbij ze verder gaan dan eenvoudige toestandsprognose naar acteerbare dynamica.

Het werk claimt niet alle uitdagingen van open-world agents op te lossen (zoals sample-efficiëntie of implementatiekosten), maar richt zich specifiek op de beperking van bestaande latente modellen in het onderscheiden van de gevolgen van verschillende actie-sequenties over lange horizonten.