Beyond Pixel Histories: World Models with Persistent 3D State

Dit paper introduceert PERSIST, een nieuw wereldmodel dat een persistente 3D-ruimtelijke staat simuleert om consistente geometrie en langdurig ruimtelijk geheugen te garanderen, waardoor realistischere interactieve video-generatie en directe 3D-bewerking mogelijk worden.

De kern

Stel je voor dat je een videospelletje speelt, maar in plaats van dat de computer elke frame (beeld) apart tekent op basis van wat je net hebt gezien, heeft de computer een droomwereld in zijn hoofd.

Dit is het verhaal van PERSIST, een nieuwe manier voor computers om interactieve werelden te creëren, zoals beschreven in dit onderzoek. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Geheugenkorte"

Stel je voor dat je een verhaal vertelt aan iemand die een heel slecht geheugen heeft. Die persoon kan zich alleen de laatste paar seconden van je verhaal herinneren. Als je vraagt: "Zie je die rode boom links nog?" en je kijkt even weg en komt terug, zegt die persoon: "Ik weet het niet meer, ik zag alleen de laatste paar woorden."

Dit is hoe de meeste huidige AI's werken. Ze kijken alleen naar de laatste paar beelden om het volgende beeld te maken.

• Het gevolg: Als je in een spel een hoek om loopt en terugkijkt, is de boom misschien verdwenen, of staat hij nu aan de verkeerde kant. De wereld voelt "plakkerig" en onstabiel, alsof je door een droom loopt die voortdurend verandert.

2. De oplossing: Een "3D-Dagboek"

PERSIST lost dit op door niet naar de beelden te kijken, maar naar een 3D-dagboek (een latente 3D-ruimte) dat de computer in zijn hoofd bijhoudt.

• De Analogie: In plaats van dat de computer elke foto opnieuw tekent, houdt hij een virtueel model van de hele kamer bij.
  • Als jij (de speler) naar links loopt, draait de computer niet de camera, maar draait hij het hele 3D-model in zijn hoofd.
  • Hij weet precies waar de tafel staat, hoe die eruitziet, en wat er onder de tafel ligt, zelfs als jij er niet naar kijkt.
  • Als je terugkijkt, is de tafel er nog steeds, op precies dezelfde plek.

3. Hoe werkt het? (De Drie Delen)

Het systeem bestaat uit drie onderdelen die samenwerken als een regisseur, een cameraman en een schilder:

1. De Regisseur (De Wereld): Deze houdt bij hoe de wereld verandert. Als je een blokje weghaalt, past de regisseur het 3D-model aan. Hij weet dat als je een blokje weghaalt, er nu een gat is, zelfs als je dat gat niet ziet.
2. De Cameraman: Deze houdt bij waar jij kijkt. Hij zegt tegen de regisseur: "Ik kijk nu naar de hoek links, haal de details van daar op."
3. De Schilder (De Pixel-generator): Deze tekent het daadwerkelijke beeld voor jou. Maar in plaats van te raden wat er te zien is, kijkt hij eerst naar het 3D-model van de regisseur. "Ah, de regisseur zegt dat er hier een boom staat, dus ik schilder een boom."

4. Waarom is dit zo cool?

Dit systeem heeft een paar magische trucs in zijn mouw:

• Onverbrekelijke Geheugen: Je kunt uren door het spel lopen, naar andere werelden gaan en terugkomen. De wereld is nog steeds hetzelfde. De boom staat er nog steeds.
• Magische Redding: Als de computer per ongeluk een foutje maakt (bijvoorbeeld: een boom verdwijnt even), kan hij dit later corrigeren omdat hij weet hoe de wereld had moeten zijn in zijn 3D-model. Het is alsof je een fout in een tekening maakt, maar omdat je het originele model hebt, kun je het later weer goedmaken.
• Wereldwijziging: Je kunt de wereld midden in het spel veranderen. Je kunt zeggen: "Verander de grond in lava" of "Voeg een boom toe". Omdat de computer een 3D-model heeft, past hij dit direct toe op de wereld, en niet alleen op het beeldscherm.

Samenvatting

Vroeger probeerden AI's een film te maken door te raden wat er op het volgende beeld te zien zou zijn, gebaseerd op de vorige paar seconden. Dat werkte niet goed voor lange verhalen.

PERSIST is als een architect die eerst een perfect 3D-model van een stad bouwt. Vervolgens loopt hij door die stad met een camera. Wat je ziet op het scherm, is gewoon een foto van dat model op dat moment. Omdat het model echt bestaat in de computer, is de wereld altijd consistent, stabiel en eerlijk, ongeacht hoe lang je erin loopt.

Het is de stap van "een reeks foto's maken" naar "een echte, levende wereld simuleren".

Technische samenvatting

1. Het Probleem

Bestaande interactieve wereldmodellen voor het genereren van video's vertrouwen doorgaans op autoregressieve (AR) modellen die werken op basis van een geschiedenis van pixelobservaties. Hoewel deze modellen realistische video's kunnen genereren, hebben ze fundamentele beperkingen:

• Gebrek aan 3D-consistentie: Ze leren 3D-consistentie impliciet uit data, wat leidt tot onrealistische vervormingen en inconsistenties wanneer de camera beweegt of wanneer objecten opnieuw worden bezocht.
• Beperkt ruimtelijk geheugen: De contextvensters zijn beperkt door hardwarebeperkingen. Modellen kunnen vaak slechts enkele seconden aan verleden footage onthouden.
• Redundantie: Het ophalen van sleutelframes uit een groeiende geschiedenis van pixels is inefficiënt en levert slechts gedeeltelijke, viewpoint-afhankelijke informatie op.
• Geen persistente staat: Er is geen expliciete representatie van de omgeving die evolueert, wat het moeilijk maakt om dynamische processen buiten het zicht van de agent te modelleren of om agents te trainen die lange-termijn plannen moeten maken.

2. Methodologie: PERSIST

De auteurs introduceren PERSIST (Persistent Environment Representations for Simulating Interactive Space-Time), een nieuw paradigma dat de focus verlegt van pixelgeschiedenissen naar een persistente, latente 3D-staat. Het model simuleert de evolutie van drie gekoppelde componenten:

A. Architectuur en Componenten

Het systeem decomposeert de wereldsimulatie in drie hoofdmodules, allemaal getraind met Rectified Flow Matching (een variant van diffusion models):

1. World-Frame Model ($W_\theta$):

   • Voorspelt hoe een 3D-voorstelling van de omgeving evolueert over tijd.
   • De wereld wordt weergegeven als een latent world-frame (een 3D-voxelgrid) gecentreerd rond de agent.
   • Dit model neemt als input de vorige wereld-frames, acties en camera-parameters.
   • Het kan een initiële wereld genereren op basis van slechts één RGB-frame (indirecte 3D-initialisatie) of direct een 3D-voorstelling gebruiken als startpunt.

2. Camera Model ($C_\theta$):

   • Voorspelt de positie, oriëntatie en het gezichtsveld (FOV) van de camera binnen de 3D-wereld.
   • Functioneert als een "zoektoets" (lookup key) om relevante informatie uit het wereld-frame op te halen.
   • Het model is een causal transformer die de camera-parameters voorspelt op basis van de huidige wereldtoestand en acties.

3. World-to-Pixel Generator ($P_\theta$):

   • Genereert de uiteindelijke pixelobservaties.
   • Projecteert het 3D wereld-frame naar het schermvlak (screen-space) via een differentieerbare rasterisatie (gebaseerd op deferred neural rendering).
   • Dit creëert een diepte-geordende stapel van 3D-features ($w_{2D}$) die dienen als conditionering voor de pixel-generator.
   • $P_\theta$ fungeert als een "learned deferred shader" die texturen, belichting en deeltjeseffecten toevoegt die niet expliciet in de 3D-voxels staan, maar zorgt wel voor geometrische consistentie.

B. Training en Inference

• Training: Het model wordt getraind op een dataset van trajecten uit een voxel-based game-engine (Luanti/Minecraft-achtig). Het gebruikt Diffusion Forcing om robuust te zijn tegen exposure bias (het verschil tussen training op grondwaarheid en inferentie op eigen voorspellingen).
• Inference: Tijdens het genereren wordt een autoregressieve lus gebruikt. De wereld- en camera-modellen voorspellen de volgende staat, die wordt geprojecteerd naar 2D om de pixel-frames te genereren. Dit proces kan onbeperkt doorgaan met een vaste kostprijs voor het geheugen, omdat de 3D-wereld de "bron van waarheid" is.

3. Belangrijkste Bijdragen

• Paradigmaverschuiving: De eerste wereldmodellen die expliciet een persistente 3D-voorstelling modelleren in plaats van te vertrouwen op pixelgeschiedenissen.
• Persistente Ruimtelijke Geheugen: Het model kan gebieden die lang niet zijn bezocht, correct reconstrueren omdat de 3D-wereldtoestand behouden blijft, zelfs buiten het zicht van de camera.
• Geometrische Consistentie: Door de wereld te modelleren in 3D, wordt 3D-consistentie "by construction" afgedwongen, wat leidt tot stabielere rollouts.
• Nieuwe Capabiliteiten:
  • 3D-initialisatie: Het genereren van diverse, coherente werelden vanuit één enkele afbeelding.
  • Midden-episode bewerkingen: Gebruikers kunnen de 3D-wereldtoestand direct bewerken (bijv. bomen toevoegen of terrein veranderen) en de generatie hervatten met deze nieuwe staat.
  • Onzichtbare dynamiek: Het model kan processen modelleren die buiten het zicht gebeuren (bijv. water dat een grot vult) en deze effecten tonen wanneer de agent terugkeert.

4. Resultaten

De auteurs evalueren PERSIST in complexe 3D-omgevingen en vergelijken het met state-of-the-art baselines zoals Oasis en WorldMem.

• Kwantitatieve Resultaten:

  • PERSIST behaalt een aanzienlijk lagere Fréchet Video Distance (FVD) (beter: 116-209 vs. 596-706 bij baselines), wat aangeeft dat de gegenereerde video's statistisch dichter bij de echte data liggen.
  • Er is een duidelijke verbetering in ruimtelijke en temporele consistentie.

• Kwalitatieve Resultaten (User Study):

  • Een studie met 28 deelnemers toonde aan dat PERSIST significant beter scoort op 3D-spatiale consistentie en temporele stabiliteit dan bestaande methoden.
  • Zelfs bij lange rollouts (600+ timesteps) blijft de wereld coherent, terwijl baselines vaak instorten of objecten laten verdwijnen.
  • De variatie met expliciete 3D-initialisatie (PERSIST-XL+w0) levert de beste resultaten op, wat aantoont dat het model de extra 3D-informatie effectief kan benutten.

5. Betekenis en Toekomstperspectief

PERSIST markeert een belangrijke stap in de ontwikkeling van interactieve wereldmodellen en embodied AI.

• Voor Agents: Het biedt een veilige en realistische simulator voor het trainen van robots en AI-agents, omdat ze kunnen leren in een omgeving met stabiele fysica en ruimtelijke logica.
• Voor Gaming: Het opent de deur naar open-ended generatieve games waar de wereld niet alleen visueel verandert, maar ook structureel en persistent evolueert.
• Beperkingen: Het model vereist momenteel grondwaarheid 3D-data voor training (wat beperkt is tot simulators). Toekomstig werk richt zich op het leren van 3D-voorstellingen direct uit 2D-pixels (via foundation models) en het elimineren van exposure bias door end-to-end post-training.

Kortom, PERSIST lost het probleem van "vergeten" en "inconsistentie" in lange video-generaties op door de wereld te behandelen als een dynamisch 3D-object in plaats van een reeks 2D-beelden.