In de digitale landschappen van videogames is de wereld vaak een podium voor de reis van een enkele speler. Toch ontstaan de meest memorabele momenten vaak niet uit de acties van de speler zelf, maar uit de reacties van de personages die zij onderweg tegenkomen. Deze non-player characters, of NPC's, zijn de inwoners van de spelwereld, belast met het levend maken van de omgeving. Decennialang hebben gameontwerpers vertrouwd op rigide scripts om deze personages te laten bewegen en handelen, wat gedragingen creëerde die voorspelbaar en vaak repetitief waren. Recentelijk heeft kunstmatige intelligentie een nieuwe weg ingeslagen door modellen aan te bieden die volledige videosequenties van gameplay kunnen genereren. Er blijft echter een aanzienlijke hindernis bestaan: in deze nieuwe AI-systemen is het gedrag van de personages vaak slechts een bijproduct van de gegenereerde video, of wordt het gedwongen om instructies van buiten het systeem te volgen. Dit betekent dat de personages de veranderende situatie om hen heen niet echt kunnen "zien" en niet zelfstandig kunnen beslissen hoe ze in het moment moeten reageren. Ze missen een geest die verbindt wat er op het scherm gebeurt met wat ze vervolgens moeten doen.

Een team onderzoekers van Tencent en de National University of Singapore heeft deze kloof gedicht door een nieuw framework genaamd WorldMind te introduceren. Hun werk vertegenwoordigt een verschuiving in hoe spelwerelden worden gemodelleerd, waarbij ze afstappen van systemen waarbij het gedrag van personages verborgen zit binnen het videogeneratieproces. In plaats daarvan hebben ze een systeem gebouwd dat de handeling van het begrijpen van de speltoestand expliciet scheidt van de handeling van het genereren van de video. Stel je een spel voor waarin de computer eerst even pauzeert om de afstand tussen een speler en een monster te beoordelen, controleert welke vaardigheden het monster beschikbaar heeft, en vervolgens bewust besluit op een specifieke zet te gaan voordat de volgende frame van de video wordt getekend. Dit is de kern van WorldMind. De onderzoekers toonden aan dat door het proces op te splitsen in afzonderlijke stappen—het begrijpen van de scène, redeneren over een reactie, en vervolgens het visuele resultaat genereren—ze non-player characters konden creëren die reageren op de evoluerende speltoestand met een niveau van tactisch bewustzijn dat voorheen ongezien was in generatieve modellen.

De basis van deze nieuwe aanpak ligt in een vierlaagse structuur die een cyclus van perceptie en actie nabootst. De eerste laag fungeert als de ogen van het systeem en neemt de tot nu toe gegenereerde videoframes en reconstrueert een compacte, digitale samenvatting van de huidige situatie. Deze samenvatting bevat specifieke details zoals de afstand tussen de speler en de baas, de hoek waaronder ze elkaar aankijken, en een geschiedenis van de vaardigheden die de baas onlangs heeft gebruikt. Dit is een cruciale stap, omdat in eerdere modellen de AI deze details moest raden terwijl hij tegelijkertijd probeerde de video te tekenen, wat vaak leidde tot verward of ongevoelig gedrag. Door deze duidelijke, gescheiden samenvatting van de toestand te creëren, zorgt het systeem ervoor dat het besluitvormingsproces beschikt over een solide fundament van feiten.

Zodra deze compacte toestand is vastgesteld, wordt deze doorgegeven aan de tweede laag, die dient als het brein van de operatie. Hier leest een groot taalmodel—een type kunstmatige intelligentie dat getraind is om menselijke taal te begrijpen en te genereren—de samenvatting van de speltoestand samen met een lijst van de beschikbare vaardigheden van de baas en hun beschrijvingen. Het model redeneert vervolgens over de situatie om de volgende zet te plannen. Het stelt zichzelf vragen als: "De speler is erg dichtbij, dus een aanval om de afstand te verkleinen is noodzakelijk," of "De speler is ver weg, dus ik moet een vaardigheid op lange afstand gebruiken." Deze laag gokt niet simpelweg; het formuleert een tactisch plan gebaseerd op de mechanica van het spel en de huidige realiteit van de scène. De onderzoekers waren zorgvuldig om ervoor te zorgen dat dit redeneren geworteld was in de werkelijke regels van het spel, in plaats van alleen patronen uit trainingsdata na te bootsen. Ze ontdekten dat wanneer ze de beschrijvingen van de vaardigheden of de toestand van het spel wijzigden, het model zijn beslissingen dienovereenkomstig aanpaste, wat bewees dat het de mechanica werkelijk begreep in plaats van alleen uitkomsten te memoriseren.

De derde laag fungeert als een vertaler die het hoogwaardige plan van het brein omzet in een reeks instructies die de videogenerator kan begrijpen. Het neemt de gekozen actie en de bewegingen van de speler en zet deze om in een getimede sequentie van natuurlijke taalprompts. Bijvoorbeeld, het kan een zin genereren als "de speler voert een aanval uit terwijl de baas een sprong-slam uitvoert." Dit zorgt ervoor dat de visuele generatielaag, de vierde en laatste component, precieze, tijdsafgestemde instructies ontvangt. De videogenerator creëert vervolgens het volgende segment van de gameplayvideo op basis van deze prompts. Cruciaal is dat de frames die het produceert niet het eindpunt zijn; ze worden teruggevoerd naar de eerste laag om de cyclus opnieuw te starten. Dit creëert een gesloten lus waarbij de wereld constant wordt geobserveerd, geanalyseerd en bijgewerkt, waardoor de non-player character kan reageren op de gevolgen van zijn eigen vorige acties in realtime.

Om dit systeem te trainen en te testen, werden de onderzoekers geconfronteerd met een aanzienlijke data-uitdaging. Standaard video game opnames leggen meestal alleen vast wat de speler doet en wat het scherm toont, zonder de interne data over de speltoestand die de AI nodig heeft om te leren hoe hij beslissingen moet nemen. Om dit op te lossen, bouwden ze een geautomatiseerde pijplijn om een enorme nieuwe dataset genaamd BOSS-140K te verzamelen. Deze dataset bevat meer dan 140.000 clips van gameplay, in totaal meer dan 200 uur, met gevechten tegen 14 verschillende bazen in drie verschillende spellen. In tegenstelling tot eerdere datasets, koppelt deze dataset de videobeelden aan gedetailleerde, frame-voor-frame annotaties van de interne speltoestand, inclusioneel exacte afstanden, skill-cooldowns en player-inputs. Ze gebruikten een gespecialiseerde agent om de spellen automatisch te spelen, waardoor een breed scala aan interacties werd opgenomen zonder dat menselijke operators elke beweging handmatig hoefden te besturen. Deze rijke, gestructureerde data was essentieel om het systeem te leren hoe de visuele wereld te koppelen aan de onderliggende regels van het spel.

Wanneer de onderzoekers WorldMind testten, lieten de resultaten een duidelijke verbetering zien in hoe de non-player characters zich gedroegen. In directe vergelijkingen met bestaande methoden, waarbij personages ofwel impliciet binnen de video handelden of externe commando's volgden, werd het nieuwe systeem in ongeveer 70% van de gevallen door evaluatoren geprefereerd. De personages gegenereerd door WorldMind waren niet alleen tactisch gepaster, maar ook coherenter, waarbij ze een consistente strategie tijdens het gevecht behielden. Ze konden zich aanpassen aan de bewegingen van een speler, de afstand verkleinen wanneer nodig of terugtrekken om aanvallen op lange afstand te gebruiken, terwijl de videogeneratie het tempo van ongeveer 20 frames per seconde bijhield. Deze snelheid is voldoende voor realtime interactie, wat betekent dat het systeem soepel kan draaien terwijl een mens speelt. De studie bevestigde ook dat het systeem zijn begrip kon generaliseren naar spellen die het niet tijdens de training had gezien, mits het de juiste interne toestandinformatie kreeg, wat suggereert dat de aanpak robuust genoeg is om verder te worden toegepast dan de specifieke spellen die in de studie werden gebruikt.

Het werk gepresenteerd in dit artikel suggereert een nieuwe weg voor interactief entertainment, waarbij de kunstmatige intelligentie die een spelwereld beheert niet alleen een generator van beelden is, maar een deelnemer aan de logica van het spel. Door het begrijpen van de toestand te ontkoppelen van het genereren van de video, hebben de onderzoekers een framework gecreëerd waarin non-player characters een vorm van situationeel bewustzijn kunnen bezitten. Ze zijn niet langer gebonden aan vooraf geschreven scripts of de beperkingen van een enkel generatief proces. In plaats daarvan kunnen ze de wereld observeren, redeneren over hun opties en handelen met een intentie. Hoewel het systeem momenteel gericht is op baasgevechten en specifieke spelgenres, biedt het onderliggende principe van het scheiden van toestandbegrip van actiegeneratie een veelbelovende richting voor het creëren van meer dynamische en responsieve digitale werelden in de toekomst. De onderzoekers hebben aangetoond dat wanneer je een AI een duidelijk zicht geeft op de speltoestand en een manier om erover na te denken, de personages die het creëert werkelijk tot leven kunnen komen.