LiveWorld: Simulating Out-of-Sight Dynamics in Generative Video World Models

Each language version is independently generated for its own context, not a direct translation.

LiveWorld: De "Onzichtbare Wereld" die niet stopt met leven

Stel je voor dat je een virtuele wereld bezoekt, zoals in een video-game of een droom. In de huidige generatieve video's (AI die video's maakt) is er een groot probleem: zodra je wegkijkt, bevriest de wereld.

Als je naar een hond kijkt die aan het eten is, en je draait je hoofd om naar links, stopt de tijd voor die hond. Als je later weer naar rechts kijkt, is de hond nog steeds met zijn neus in de borden, alsof er geen seconde is verstreken. De AI "vergeet" dat de hond zijn eten op heeft, omdat de AI alleen kijkt naar wat er nu op het scherm te zien is.

De auteurs van dit paper noemen dit het "uit het zicht" probleem. Hun oplossing heet LiveWorld. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Bevroren Foto"

Huidige AI-modellen werken als een camera met een heel kort geheugen. Ze onthouden alleen wat ze net hebben gezien. Zodra iets uit beeld verdwijnt, wordt het als een statische foto in het geheugen opgeslagen. De wereld evolueert niet meer als je er niet naar kijkt.

2. De Oplossing: LiveWorld als een "Levend Dagboek"

LiveWorld maakt een fundamenteel onderscheid tussen kijken en leven.

Kijken (Rendering): Dit is wat je op je scherm ziet.
Leven (Evolutie): Dit is wat er echt gebeurt in de wereld, ook als niemand kijkt.

LiveWorld zegt: "De wereld stopt niet met draaien alleen omdat jij even naar de lucht kijkt."

3. Hoe werkt het? De "Wachters" (Monitors)

Om dit te bereiken, gebruikt LiveWorld een slimme truc met twee delen:

De Stille Achtergrond (Het Toneel): De statische dingen (muren, bomen, de grond) worden opgeslagen als een 3D-model. Die veranderen niet snel, dus die hoeven niet constant te worden bijgewerkt.
De Actieve Wachters (De Monitors): Dit is het magische deel. Zodra de AI een bewegend object ziet (bijvoorbeeld die hond die eet), plaatst ze een virtuele "wachter" (een Monitor) bij dat object.

De Analogie van de Wachter:
Stel je voor dat je een film draait, maar je verlaat de set.

In een oude film zou de acteur op het podium bevriezen.
In LiveWorld krijgt de acteur een regisseur (de Monitor) die bij hem blijft staan. Zelfs als jij (de camera) wegloopt, zegt de regisseur tegen de acteur: "Ga maar door met eten, kauwen en opstaan." De regisseur houdt de tijd voor die acteur vooruit.

Zodra je weer terugloopt naar de set, is de hond niet meer halverwege zijn maaltijd, maar heeft hij zijn bord leeggegeten en loopt hij weg. De "wachter" heeft de tijd vooruitgespoeld terwijl jij niet keek.

4. Het Resultaat: Een Wereld die "Live" is

Met LiveWorld kun je door een virtuele wereld lopen, wegkijken, iets anders doen, en terugkomen. De wereld is dan echt veranderd:

De zon is verder gezakt.
De mensen die je zag, zijn verder gelopen.
De hond heeft zijn eten op.

Het systeem houdt rekening met de tijd die is verstreken, zelfs voor dingen die je niet zag. Het maakt de wereld niet langer een reeks van statische foto's, maar een levend, 4D-gebeuren (ruimte + tijd) dat nooit stopt.

Samenvatting in één zin

LiveWorld is als het geven van een eigen horloge en een regisseur aan elk object in een virtuele wereld, zodat ze blijven leven en bewegen, zelfs als jij even wegkijkt.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling: Het "Out-of-Sight Dynamics" Probleem

Huidige generatieve videowereldmodellen (World Models) hebben een fundamentele beperking: ze verwarren de autonome evolutie van de wereld met het renderen van observaties afhankelijk van de camera.

De beperking: Deze modellen gaan er impliciet van uit dat de wereld alleen evolueert binnen het gezichtsveld van de waarnemer. Zodra een object het beeld verlaat, wordt zijn staat "bevroren" in het geheugen (bijv. in een KV-cache of 2D-snapshot).
Het gevolg: Als een waarnemer later terugkeert naar een eerder bezochte regio, ziet het model het object in dezelfde staat als toen het wegkeek, in plaats van de verstreken tijd en de dynamiek die in die tussentijd hebben plaatsgevonden (bijv. een hond die zijn eten heeft opgegeten, wordt niet getoond als "volledig", maar blijft "halverwege").
Definitie: Dit paper formaliseert dit als het "out-of-sight dynamics" probleem, wat het onmogelijk maakt om een continu evoluerende wereld te representeren.

Methodologie: LiveWorld Framework

LiveWorld lost dit op door de wereldmodellering expliciet te ontkoppelen in twee processen: wereld-evolutie en observatie-rendering. In plaats van een volledig dichte 4D-wereld te modelleren (wat computationally onhaalbaar is), gebruikt het een gestructureerde benadering.

1. Gestructureerde Wereldstaat Benadering

De globale wereldstaat $W_t$ wordt gefactoriseerd in twee componenten:

Statische Achtergrond ( $M_{static}$ ): Een tijdsinvariante 3D-scene, weergegeven als een geaccumuleerd 3D-puntwolk. Deze verandert niet in de tijd.
Dynamische Entiteiten ( $M_{dyn,t}$ ): Sparsely verspreide actieve objecten die hun tijdsdimensie behouden en blijven evolueren, zelfs als ze niet worden waargenomen.

2. Monitor-gedreven Evolutie

Om de dynamiek van onzichtbare objecten te behouden, introduceert LiveWorld een Monitor-mechanisme:

Registratie: Zodra een dynamisch object wordt gedetecteerd, wordt er een virtuele "Monitor" geregistreerd op de locatie van het object.
Autonome Evolutie: Zelfs als het object uit het zicht is, "spoelt" de monitor de tijd vooruit voor dat specifieke object. Dit gebeurt via een Evolution Engine ( $G^{evo}_\theta$ ), een video-diffusiemodel dat de voortgang van het object simuleert op basis van tekst-prompten en de laatste waarneming.
Synchronisatie: Wanneer de waarnemer terugkeert, worden de geëvolueerde staten van de monitor gesynchroniseerd met de globale tijdlijn.

3. Unified State-Conditioned Video Backbone

Zowel de evolutie (voor monitors) als de rendering (voor de waarnemer) gebruiken dezelfde onderliggende architectuur: een Video Diffusion Transformer (DiT) met een dubbele injectie-ontwerp:

State Adapter: Injecteert expliciete geometrische projecties (de 3D-puntwolk en de geprojecteerde dynamische staten) om strikte ruimtelijke consistentie te garanderen.
LoRA voor Referenties: Gebruikt historische referentieframes voor visuele details en textuurconsistentie.

4. Rendering Process

De Renderer ( $G^{render}_\theta$ ) projecteert de samengestelde wereldstaat (statische 3D-wolk + geëvolueerde 4D-monitoren) op de huidige cameratrajectorie. Hierdoor wordt een coherent beeld gegenereerd dat de verstreken tijd en dynamiek correct weergeeft, zelfs voor objecten die net uit het zicht waren.

Belangrijkste Bijdragen

Formalisatie van het Probleem: Het paper identificeert en formaliseert het ontbreken van "out-of-sight dynamics" als een kritieke fout in bestaande wereldmodellen.
LiveWorld Framework: Een nieuw model dat wereld-evolutie en rendering ontkoppelt, waardoor autonome tijdsvoortgang van onwaargenomen entiteiten mogelijk wordt.
LiveBench: De introductie van de eerste specifieke benchmark voor het kwantitatief evalueren van langetermijn "out-of-sight" dynamiek en gebeurtenis-permanente.
Monitor-mechanisme: Een innovatieve aanpak om lokale dynamiek te simuleren zonder de hele wereld te hoeven renderen.

Resultaten

De experimenten op LiveBench tonen aan dat LiveWorld aanzienlijk beter presteert dan state-of-the-art baselines (zoals Matrix-Game-2.0, Hunyuan-GameCraft-1.0 en Spatia):

Ruimtelijke Consistentie: LiveWorld behoudt de statische achtergrond perfect bij herbezoeken (hoge PSNR/SSIM, lage LPIPS), terwijl baselines vaak vervormingen vertonen bij langere trajecten.
Dynamische Behoud: Het model behoudt de identiteit en geometrie van dynamische objecten (lage Chamfer Distance, hoge DINOfg scores) zelfs na lange periodes van onzichtbaarheid. Baselines falen hier volledig; ze tonen vaak bevroren of vervormde objecten.
Gebeurtenisvoortgang: LiveWorld slaagt erin tekst-gestuurde scripts correct uit te voeren over tijdsgaten heen (hoge VQA-Accuracy). Baselines kunnen de logica van gebeurtenissen niet volgen als de camera wegkijkt.
Meerdere Gebeurtenissen: In tests met gelijktijdige, late-verschijnende gebeurtenissen behaalde LiveWorld een succespercentage van 26% voor volledige scenario's, terwijl baselines volledig faalden (0%).

Betekenis

LiveWorld vertegenwoordigt een belangrijke stap in de evolutie van generatieve wereldmodellen. Het schakelt over van een 2D-observatiegeheugen (waarbij de wereld statisch wordt gezien als je wegkijkt) naar een echte 4D-dynamische simulatie. Dit maakt het mogelijk om virtual environments te creëren die zich realistisch gedragen, ongeacht waar de waarnemer kijkt, wat essentieel is voor toepassingen zoals agent-training, besluitvorming en het genereren van synthetische omgevingen voor robuuste AI-systemen.