Stel je voor dat je naar een enorme, chaotische multiplayer videogame kijkt waar honderden spelers tegelijkertijd rennen, springen en dingen gooien. In de echte wereld, als jij en je vriend allebei naar een vallende boom kijken, zien jullie allebei dezelfde boom de grond raken op hetzelfde moment, zelfs als jullie op verschillende plekken staan. Maar een computer leren om dit te begrijpen is ongelooflijk moeilijk. Meestal zijn computers die proberen de toekomst van een scène te voorspellen — zogenaamde "world models" — als camera's met slechts één persoon. Ze kunnen raden wat één persoon hierna zal zien, maar als je plotseling een tweede persoon of een honderd toevoegt, raakt de computer in de war. Het is alsof je probeert een plaatje van een feestje te tekenen door alleen te weten hoe één gast het ziet; als je probeert meer gasten toe te voegen, valt de tekening vaak uit elkaar of moet je de hele tekening volledig opnieuw maken. Wetenschappers hebben geprobeerd een "universele simulator" te bouwen die elke hoeveelheid spelers kan verwerken zonder vast te lopen, waarbij de wereld consistent blijft voor iedereen, ongeacht hoeveel mensen er bij de game komen.

Dit artikel introduceert een nieuw systeem genaamd Khora, dat fungeert als een superintelligente, onzichtbare game master voor deze virtuele werelden. In plaats van de computer te dwingen om een vast aantal spelers te jongleren, scheidt Khora de "regels van de wereld" van de "cameraview". Denk aan een gedeeld whiteboard in het midden van een kamer. Iedereen schrijft zijn acties en waarnemingen op dit whiteboard (wat de auteurs de STBoard noemen). Wanneer een speler wil zien wat er gebeurt, vraagt hij niet direct aan de andere spelers; hij kijkt gewoon naar het whiteboard en tekent wat hij ziet vanuit zijn specifieke positie. Omdat het whiteboard niet geeft hoeveel mensen er in de kamer zijn, kun je op elk moment een nieuwe speler toevoegen, en kan deze onmiddellijk het bord lezen en zijn eigen beeld tekenen zonder dat iemand opnieuw hoeft te leren hoe het spel werkt.

De onderzoekers ontdekten dat deze aanpak prachtig werkt. In hun tests begonnen ze met een kleine groep agents (virtuele personages) en voegden vervolgens plotseling meer toe, tot wel 6at verschillende gezichtspunten tegelijkertijd. Het systeem hoefde niet opnieuw getraind of aangepast te worden; het hield de wereld consistent. Of een agent nu een granaat gooide of gewoon liep, iedereen zag dezelfde gebeurtenis op hetzelfde moment plaatsvinden. Het systeem was ook snel: zelfs met 80 agents groeide de tijd die nodig was om één stap van de simulatie te genereren slechts licht, en bleef rond de 116 milliseconden. Dit suggerekert dat we eindelijk open-world simulaties kunnen bouwen waarin duizenden agents kunnen interageren en allemaal dezelfde consistente realiteit zien, zonder dat de computer overbelast raakt.

Het Probleem: De "Vaste Stoel"-valstrik

Stel je voor dat je bij een diner bent, maar de tafel heeft precies vier stoelen. Als er een vijfde vriend arriveert, kun je niet zomaar een stoel bijzetten; je moet een hele nieuwe tafel bouwen, het eten verplaatsen en de hele kamer opnieuw inrichten. Dit is hoe de meeste huidige "multi-agent world models" werken. Ze zijn getraind met een specifiek aantal spelers in gedachten. Als je een gevecht met 10 soldaten wilt simuleren, train je een model voor 10 soldaten. Als je plotseling een 11e soldaat wilt toevoegen, breekt het model. Het is als een videogame die crasht als je een speler probeert toe te voegen nadat het spel is gestart.

De auteurs stellen dat dit de verkeerde manier is om naar de wereld te kijken. In het echte leven geven de natuurwetten niet om hoeveel mensen er in de kamer zijn. Zwaartekracht werkt hetzelfde of er nu één persoon is of een miljoen. Het probleem met de huidige AI is dat het probeert de "regels" te leren door specifieke interacties tussen een vaste groep te onthouden. Als de groep verandert, lijken de regels ook te veranderen. Het artikel suggereert dat we, in plaats van de AI elke mogelijke combinatie van spelers te laten onthouden, de AI moeten leren om een enkele, gedeelde "waarheid" over de wereld te onderhouden, en de speler vervolgens hun eigen beeld daaruit te laten afleiden.

De Oplossing: Het Gedeelde Whiteboard (STBoard)

Khora lost dit op door het probleem in twee duidelijke delen te splitsen: het de wereld levend houden en het plaatje tekenen.

1. Het Gedeelde Whiteboard (STBoard): Dit is het brein van de operatie. Het is een persistent geheugen dat de "waarheid" van de wereld vasthoudt. Het weet waar elk object is, waar elke agent staat en wat ze doen. Cruciaal is dat dit whiteboard geen vast aantal slots heeft. Het is een dynamische lijst. Als een nieuwe agent binnenloopt, voegt het systeem gewoon een nieuwe vermelding toe aan de lijst. Als een agent vertrekt, verwijdert het simpelweg de vermelding. Het whiteboard geeft niet om hoeveel vermeldingen er op staan.
2. De Action-Conditioned Evolution: Dit is het deel dat de STBoard bijwerkt. Wanneer een agent besluit te bewegen of iets te gooien, berekent het systeem hoe die actie de wereldtoestand verandert. Het voorspelt waar de agent zich de volgende stap zal bevinden en werkt de STBoard dienovereenkomstig bij. Dit gebeurt voordat er plaatjes worden getekend.
3. De View Synthesis (De Camera): Dit is de kunstenaar. Wanneer een agent wil zien wat er gebeurt, neemt het systeem de huidige toestand van het whiteboard en projecteert dit op een 2D-afbeelding, net als een cameraglens. Omdat de kunstenaar alleen naar het whiteboard en de specifieke camerahoek hoeft te kijken, hoeft hij niet met de andere kunstenaars te praten. Elk beeld wordt onafhankelijk getekend op basis van dezelfde gedeelde waarheid.

Waarom dit een Groot Ding is

De magie van Khora is dat het de link tussen het aantal spelers en de complexiteit van het brein van de computer verbreekt. In oudere systemen betekende het toevoegen van meer spelers dat de computer een enorme hoeveelheid extra werk moest verrichten om ervoor te zorgen dat iedereen het eens was over wat er gebeurde. Het was alsof je probeerde 100 mensen het eens te laten worden over een verhaal door hen allemaal tegelijkertijd met elkaar te laten praten; dat wordt heel snel rommelig en traag.

Met Khora vindt de "overeenstemming" plaats op het whiteboard, niet in het tekenproces. De computer werkt de wereldtoestand één keer bij, en daarna kan iedereen vragen: "Wat zie ik van hier?", en direct een antwoord krijgen. Het artikel laat zien dat dit toestaat dat het systeem bijna lineair schaalt. Dit betekent dat als je het aantal agents verdubbelt, je ook alleen maar het dubbele werk doet, in plaats van dat het exponentieel explodeert.

De Resultaten: Een Wereld die Groeit

De onderzoekers hebben Khora op een paar verschillende manieren getest om te zien of het echt werkte.

• Visuele Kwaliteit: Ze controleerden of de plaatjes er goed uitzagen. Zelfs met 8 verschillende gezichtspunten waren de afbeeldingen scherp en helder. Het systeem behield de kwaliteit en werd niet waziger alleen omdat er meer mensen keken.
• Consistentie: Dit was de grote test. Ze vroegen menselijke beoordelaars om video's vanuit verschillende hoeken te bekijken en te zien of de gebeurtenissen overeenkwamen. Bijvoorbeeld: als Agent A een bal gooide, zag Agent B de bal dan op hetzelfde moment en in dezelfde richting vliegen? Khora scoorde zeer hoog. Het hield de wereld consistent, terwijl systemen zonder het gedeelde whiteboard vaak tegenstrijdigheden vertoonden, zoals een bal die in de ene weergave bewoog maar in een andere stil bleef liggen.
• Dynamische Populaties: Ze simuleerden een scenario waarin agents halverwege een run aan de game toetraden en de game verlieten. Ze begonnen met twee agents, voegden er twee toe, en verwijderden vervolgens de eerste twee. Het systeem handelde dit naadloos af. De nieuwe agents verschenen natuurlijk en de oude verdwenen zonder de simulatie te breken. Er was geen hertraining nodig.
• Snelheid: Ze maten hoe lang het duurde om een frame te genereren. Met 1 agent duurde het ongeveer 107 milliseconden. Met 80 agents duurde het ongeveer 117 milliseconden. Dat is een minimale toename voor een enorme sprong in complexiteit. Het systeem kon 37 weergaven per seconde renderen met één agent, en meer dan 2.700 weergaven per seconde wanneer het over 80 GPU's werd verdeeld.

Wat het betekent voor de Toekomst

De auteurs suggereren dat deze aanpak een stap kan zijn naar echt open-world simulaties. Stel je een virtuele stad voor waar duizenden AI-personages leven, werken en met elkaar interageren, en waarbij je op elk moment vanuit het perspectief van een van hen kunt kijken. Of denk aan het trainen van robots in een simulatie waarbij ze kunnen oefenen met honderden andere robots, en leren navigeren door drukke ruimtes zonder dat de simulatie vastloopt.

De paper merkt echter voorzichtig op dat dit nog geen toverstaf is. Het systeem heeft nog steeds een basiskaart van de omgeving nodig (een "coarse static prior") om mee te beginnen, zodat het niet zomaar in een volledig onbekende wereld kan springen zonder enige opzet. Ook al is het systeem snel, het vereist nog steeds veel rekenkracht om al die weergaven te renderen, vooral als je duizenden agents tegelijk wilt simuleren. Maar de kern van het idee — dat we de "regels van de wereld" kunnen scheiden van de "cameraviews" — lijkt een solide pad vooruit te zijn om AI-simulaties flexibeler en realistischer te maken.

Kortom, Khora bewijst dat je niet het hele huis opnieuw hoeft te bouwen telkens wanneer er een nieuwe gast arriveert. Je hebt alleen een goed gedeeld whiteboard nodig en een paar kunstenaars die weten hoe ze ervan moeten tekenen.