UniFuture: A 4D Driving World Model for Future Generation and Perception

In dit artikel wordt UniFuture gepresenteerd, een unificerend 4D-wereldmodel voor autonoom rijden dat RGB-afbeeldingen en dieptekaarten gezamenlijk genereert via een gedeelde latentruimte, waardoor het zowel de toekomstige visuele evolutie als de geometrische consistentie van de omgeving nauwkeuriger simuleert dan bestaande methoden.

De kern

Stel je voor dat je een zelfrijdende auto bent. Je kijkt door je ramen en ziet de wereld om je heen. Maar een gewone camera ziet alleen een platte film: twee dimensies (hoogte en breedte). Een echte auto moet de wereld echter zien als een drie-dimensionale ruimte die in de tijd beweegt. Dat is vier dimensies: lengte, breedte, hoogte én tijd.

Het probleem met de meeste huidige systemen is dat ze ofwel heel goede films maken (maar dan zonder diepte, alsof het een tekening is), ofwel heel goede 3D-kaarten maken van het nu, maar dan niet kunnen voorspellen wat er straks gebeurt.

UniFuture is de nieuwe oplossing die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Twee-in-één" Superkracht

Stel je voor dat je een film kijkt.

• De oude manier: De ene computer kijkt alleen naar de kleuren en beweging (de film). De andere computer kijkt alleen naar de afstanden en vormen (de 3D-kaart). Ze praten niet met elkaar.
• De UniFuture-methode: UniFuture is als een tweeling die in één hoofd woont. Ze denken dat "de film" en "de 3D-kaart" eigenlijk twee verschillende manieren zijn om naar dezelfde wereld te kijken.

Ze gebruiken een trucje genaamd Dual-Latent Sharing. In plaats van twee aparte hersenen te trainen, dwingen ze de computer om de kleuren (de auto's, de bomen) en de diepte (hoe ver ze weg zijn) in dezelfde geheugenruimte op te slaan.

• Analogie: Het is alsof je niet alleen een foto van een cake maakt, maar ook direct de receptuur (hoeveel suiker, hoe hoog hij is) in dezelfde notitieboekje schrijft. Als je de foto wilt veranderen, weet je automatisch ook hoe de cake eruit moet zien.

2. De "Glasvezel" die Alles Verbindt

Nu hebben ze een gedeeld geheugen, maar hoe zorgen ze ervoor dat de film en de kaart perfect op elkaar aansluiten? Ze gebruiken een systeem genaamd Multi-scale Latent Interaction.

Stel je voor dat je een bouwpakket hebt.

• De film (de kleuren) zegt: "Hier komt een rode auto."
• De diepte (de vorm) zegt: "Die auto moet op de weg staan, niet zweven."

UniFuture laat deze twee voortdurend met elkaar praten via een tweeweg-communicatie:

1. Van vorm naar kleur: De 3D-structuur zegt tegen de film: "Hé, die auto mag niet door de muur gaan!" Dit voorkomt dat de computer hallucinaties maakt (zoals zwevende auto's).
2. Van kleur naar vorm: De film zegt tegen de 3D-structuur: "Kijk, die auto is rood en glanst, dus hij moet hier zijn." Dit helpt de computer om de afstand beter te schatten.

Dit gebeurt op verschillende niveaus (van grove lijnen tot fijne details), net zoals je eerst de contouren van een tekening maakt en daarna pas de details invult.

3. Wat levert dit op?

Wanneer UniFuture een foto van het heden krijgt, doet het niet alleen een gokje over hoe de volgende beelden eruit zien. Het simuleert de toekomst.

• Voor de auto: Het kan zien hoe de wereld eruit zal zien over 10 seconden, inclusief hoe ver andere auto's weg zijn. Dit is cruciaal om veilig te remmen of te sturen.
• Voor de mens: Het is alsof je een "tijdreis-motor" hebt. Je kijkt naar een statische foto, en UniFuture bouwt daar een levendige, 3D-animatie van op, waarbij alles logisch blijft (geen vervormingen, geen zwevende objecten).

Waarom is dit zo belangrijk?

Tot nu toe waren systemen ofwel kunstenaars (mooie films maken, maar fysiek onmogelijk) ofwel architecten (precieze 3D-plannen, maar stilstaand).

UniFuture is de regisseur én de architect in één. Het zorgt ervoor dat de auto niet alleen ziet wat er gebeurt, maar ook begrijpt hoe de ruimte eromheen zich in de tijd verplaatst. Hierdoor kunnen zelfrijdende auto's veiliger worden, omdat ze de toekomst niet alleen "zien", maar ook "voelen" in 3D.

Kortom: UniFuture is de eerste computer die de wereld niet als een platte film ziet, maar als een levendige, driedimensionale ruimte die in de tijd beweegt, en dat allemaal in één keer.

Technische samenvatting

Probleemstelling

Autonome voertuigen opereren in een fysieke wereld die inherent vierdimensionaal is: drie ruimtelijke dimensies (3D-geometrie) die evolueren over de tijd (temporele dimensie). Bestaande "Driving World Models" (DWM's) vertonen echter twee belangrijke tekortkomingen:

1. 2D-gebaseerde generatiemodellen: Deze modellen (vaak gebaseerd op diffusie) zijn uitstekend in het genereren van visueel realistische RGB-videosequenties, maar missen onderliggende 3D-geometrie (diepte). Ze voorspellen vaak "cinematische hallucinaties" die visueel plausibel zijn maar fysiek inconsistent, wat leidt tot problemen bij ruimtelijke redenering, zoals het schatten van afstanden of het omgaan met occlusies.
2. Statische perceptiemodellen: Modellen voor monocular diepteschatting zijn goed in het extraheren van geometrische structuren uit huidige of verleden beelden, maar ze kunnen niet voorspellen hoe deze structuren zich in de toekomst zullen ontwikkelen. Ze missen de temporele dynamiek.

Er is een significante kloof in de huidige technologie: er ontbreekt een unificatie van uiterlijk (RGB), geometrie (diepte) en dynamiek om de authentieke 4D-evolutie van rijscènes te voorspellen.

Methodologie: UniFuture

UniFuture is een unificerend 4D-rijwereldmodel dat toekomstige scène-uitstraling (RGB) en geometrie (diepte) gelijktijdig voorspelt. Het model behandelt RGB-afbeeldingen en dieptekaarten als gekoppelde projecties van dezelfde onderliggende 4D-realiteit. De architectuur is gebouwd op een SVD-gebaseerd videogeneratiekader en introduceert twee kerncomponenten:

1. Dual-Latent Sharing (DLS) Schema

In plaats van aparte encoders te trainen voor textuur en geometrie, mappen DLS beide modaliteiten (beeld en diepte) naar een gedeelde spatiotemporele latente ruimte.

• Werking: Een gedeelde, vooraf getrainde latente encoder verwerkt zowel de beeldsequentie als de dieptekaarten.
• Voordeel: Dit zorgt ervoor dat textuur en structuur op feature-niveau met elkaar verweven zijn (entangled), wat de fysieke correlatie in de echte wereld nabootst. Het elimineert de noodzaak voor extra vooraf training specifiek voor diepte.

2. Multi-scale Latent Interaction (MLI) Mechanisme

Om spatiotemporele consistentie te garanderen, introduceert MLI een bidirectionele feedbacklus binnen een multi-scale UNet-architectuur.

• Inside Feedback (Geometrie naar Textuur): Diepte-latent features worden via een "Zero-Conv" (geinitialiseerd met nul) injecteerd in de videogeneratiestroom. Dit zorgt ervoor dat de geometrie de visuele synthese beperkt, waardoor structurele hallucinaties (zoals vervormde objecten) worden voorkomen.
• Outside Feedback (Textuur naar Geometrie): De gegenereerde beeldfeatures worden teruggevoerd naar de dieptestroom om de geometrische schatting te verfijnen op basis van visuele semantiek.
• Multi-scale Fusie: Interactie vindt plaats op meerdere schalen (1, 1/2, 1/4, 1/8) om zowel hoog-niveau semantische context (objectgrenzen) als laag-niveau structurele details (randen) te harmoniseren.

Training en Inferentie

• Training: Het model wordt getraind op sequenties van beeld-diepteparen. De objectief funktie combineert reconstructieverliezen voor beelden en diepte, plus een schaal- en verschuivingsinvariant verlies (LSSI) voor fysieke validiteit van de diepte.
• Inferentie: Gegeven slechts één huidige frame, voorspelt het model toekomstige beeld-diepteparen door (M-1) ruis-embeddings te concateneren en deze door de MLI-versterkte UNet te laten denoisen. Het resultaat is een coherente 4D-puntwolksequentie.

Belangrijkste Bijdragen

1. UniFuture Framework: Een nieuw 4D-rijwereldmodel dat toekomstige generatie en perceptie naadloos integreert, waardoor wereldmodellering wordt uitgebreid van 2D-pixelruimte naar 4D-geometrische ruimte.
2. Nieuwe Architecturale Modules: Introductie van DLS en MLI om heterogene modaliteiten in een gedeelde ruimte te verenigen en bidirectionele spatiotemporele consistentie af te dwingen.
3. State-of-the-Art Prestaties: Het bewijzen dat een unificerend model superieur is aan gespecialiseerde modellen voor zowel toekomstige generatie als geometrische perceptie.

Resultaten

De methode is geëvalueerd op de nuScenes en Waymo datasets.

• Generatiekwaliteit: UniFuture presteert beter dan Vista (een sterke baseline) met een 23,9% reductie in FID (van 15,5 naar 11,8 op nuScenes) en een concurrerende FVD-score. De toevoeging van geometrie voorkomt tijdelijke flickering en objectvervorming.
• Diepteschatting: Het model overtreft gespecialiseerde diepteschatting modellen zoals Marigold, met name in toekomstige frames. Waar Marigold's prestaties drastisch dalen bij langere voorspellingshorizons (AbsRel 39,0 op frame 12), behoudt UniFuture hoge nauwkeurigheid (AbsRel 8,936) dankzij dynamische priors.
• Zero-Shot Generalisatie: Op de Waymo dataset (zonder fine-tuning) behaalt UniFuture een FID van 16,3 tegenover 23,8 voor Vista, en levert bovendien nauwkeurige diepteaantekeningen (AbsRel 9,517), wat aantoont dat het model fundamentele 4D-dynamiek heeft geleerd die generaliseert over verschillende omgevingen.
• Ablatie Studies: Deze bevestigen dat gezamenlijke training (joint training) superieur is aan gescheiden training, dat het DLS-schema essentieel is voor koppeling, en dat de Zero-conv initialisatie cruciaal is voor stabiele feedback.

Betekenis en Impact

UniFuture markeert een verschuiving van 2D-videovoorspelling naar echte 4D-wereldmodellering. De betekenis voor autonoom rijden is groot:

• Fysiek Realisme: Het biedt niet alleen visueel realistische video's, maar "rendert" een fysiek onderbouwde 4D-wereld, wat essentieel is voor veilig ruimtelijk redeneren.
• Downstream Taken: Het model fungeert als een krachtige simulator voor het trainen van end-to-end reinforcement learning modellen, omdat het controleerbare toekomstige scenario's kan genereren (bijv. "draai rechtsaf") met consistente geometrie.
• Data Generatie: Het kan hoogwaardige, geannoteerde data genereren voor het trainen van andere systemen, wat de afhankelijkheid van dure handmatige annotaties vermindert.

Kortom, UniFuture bewijst dat het unificeren van generatie en perceptie leidt tot robuustere, nauwkeurigere en fysiek consistente wereldmodellen voor de toekomst van autonoom rijden.