RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space

RAYNOVA introduceert een geometrie-agnostisch wereldmodel voor rijscenario's dat een dual-causale autoregressieve framework en Plücker-ray positiecodering combineert om robuuste, schaal- en tijdsgebonden 4D-spatiotemporale redenering te bereiken zonder expliciete 3D-scènevoorstelling.

De kern

Stel je voor dat je een tovenarij hebt die de toekomst kan voorspellen, niet door te gokken, maar door de regels van de fysieke wereld te begrijpen. Dat is wat RAYNOVA doet.

In dit artikel presenteren de onderzoekers van Applied Intuition en UC Berkeley een nieuwe manier om computers te leren hoe de wereld om ons heen beweegt. Hier is een uitleg in gewoon Nederlands, vol met plaatjes en vergelijkingen.

1. Het Probleem: De "Stijve" Voorspellers

Vroeger waren computers die video's maakten (zoals voor zelfrijdende auto's) als een stijve poppenkast.

• Ze keken naar de ruimte (links, rechts, voor, achter) en de tijd (vandaag, morgen) als twee volledig gescheiden dingen.
• Of ze probeerden een 3D-model van de wereld te bouwen (zoals een digitale Lego-constructie) voordat ze een video maakten.

Het probleem? Als je de camera verplaatste, of als de auto een bocht nam die ze nooit eerder hadden gezien, raakten deze modellen in de war. Ze waren te afhankelijk van vaste regels en konden niet goed improviseren.

2. De Oplossing: RAYNOVA, de "Alles-zienende" Droom

RAYNOVA is anders. Het is geen poppenkast, maar meer als een dromer die de wereld in zijn hoofd ziet.

Het werkt met twee slimme trucs:

A. De "Twee-Weg" Tijdlijn (Dual-Causal)

Stel je voor dat je een verhaal schrijft.

• Schaal: Je begint met een ruwe schets (een wazig beeld) en verfijnt het daarna tot een scherp detail. RAYNOVA doet dit stap voor stap: eerst de grote lijnen, dan de details.
• Tijd: Je schrijft het verhaal niet alleen voor nu, maar kijkt ook naar wat er eerder gebeurde in alle camera's tegelijk.

In plaats van te zeggen "Kijk eerst naar links, dan naar rechts, dan naar de volgende seconde", zegt RAYNOVA: "Kijk naar alles, overal en altijd, in één grote, vloeiende stroom." Dit maakt het veel flexibeler.

B. De "Straal" van het Licht (Ray Space)

Dit is de magische truc. De meeste modellen proberen de wereld te bouwen als een vast object (een 3D-gebouw). RAYNOVA doet dit niet.

Stel je voor dat je in een donkere kamer staat en een zaklamp vasthoudt. Je ziet niet de kamer zelf, maar alleen de stralen licht die van je lamp naar de muren schijnen.

• RAYNOVA kijkt niet naar "de auto links van mij" (een vast punt).
• Het kijkt naar de straal die van de camera naar de auto gaat.

Waarom is dit slim?
Stel je voor dat je de camera een beetje draait of verplaatst. Bij een vast 3D-model moet je het hele gebouw herbouwen. Bij RAYNOVA verandert alleen de hoek van de lichtstraal. Omdat het model werkt met relatieve stralen (hoe de stralen ten opzichte van elkaar staan) in plaats van vaste plekken, kan het zich aanpassen aan elke camera, elke hoek en elke snelheid. Het is alsof het model "blind" is voor de camera, maar "slim" voor het licht.

3. Wat kan het doen? (De Magische Krachten)

• Zelfrijdende Auto's: Het kan video's maken van een ritje door Singapore of Boston, zelfs als de auto linksom of rechtsom rijdt, zonder dat het model daarvoor is getraind. Het is als een acteur die elke rol kan spelen, ongeacht het decor.
• Onbekende Camera's: Je kunt het een camera geven die er nooit eerder is geweest (bijvoorbeeld een camera op het dak van een vrachtwagen in plaats van op een auto), en het maakt er toch een realistische video van.
• Lange Ritten: Het kan video's maken van 20 seconden of langer zonder dat de beelden gaan "drijven" of vervormen. Dit doet het door een slimme trainingsmethode waarbij het zichzelf corrigeert terwijl het leert.
• Besturing: Je kunt zeggen: "Laat een rode auto voorbij komen" of "Het moet gaan regenen", en het model past de video direct aan.

4. Waarom is dit belangrijk?

Vroeger moesten we computers dwingen om de wereld te zien zoals wij die zien (met vaste regels en 3D-modellen). RAYNOVA leert de computer om de wereld te zien zoals het licht het doet: als een stroom van stralen.

Dit betekent dat we in de toekomst:

1. Veiligere zelfrijdende auto's kunnen testen in virtuele werelden die eruitzien als echt.
2. Minder data nodig hebben om modellen te trainen, omdat ze niet afhankelijk zijn van specifieke camera-opstellingen.
3. Snelere video's kunnen genereren, omdat het model efficiënter werkt dan de oude methoden.

Samenvattend

RAYNOVA is als een meester-schilder die niet kijkt naar de verf op het canvas, maar naar de lichtstralen die het schilderij belichten. Hierdoor kan hij elk landschap schilderen, vanuit elk perspectief, in elke weersomstandigheid, zonder dat hij ooit dat specifieke landschap heeft gezien. Het is een enorme stap voorwaarts in het maken van slimme, realistische simulaties voor de wereld van morgen.

Technische samenvatting

Titel: Scale-Temporal Autoregressive World Modeling in Ray Space (RAYNOVA)

Auteurs: Yichen Xie, Chensheng Peng, et al. (Applied Intuition & UC Berkeley)

---

1. Het Probleem

Wereldmodellen (World Foundation Models) hebben als doel de evolutie van de realiteit te simuleren met fysiek plausibel gedrag. Bestaande methoden voor het genereren van video's in autonome rijscenario's kampen echter met fundamentele beperkingen:

• Gekoppelde ruimtelijke en temporele verwerking: Veel modellen behandelen ruimtelijke correlaties (tussen camera's) en temporele correlaties (tussen frames) apart. Dit beperkt de flexibiliteit bij nieuwe sensorconfiguraties of snelle camerabewegingen.
• Sterke geometrische priors: Andere benaderingen bouwen expliciete 3D-scènevoorstellingen op (zoals point clouds of BEV-features). Hoewel dit binnen beperkte domeinen werkt, hindert deze "geometry-forcing" aanpak de generalisatie naar onbeperkte open-wereldomgevingen die afwijken van de trainingsdata.
• Distributiedrift: Bij het genereren van lange video's ontstaat vaak drift tussen de trainings- en inferentiestadia, wat leidt tot kwaliteitsverlies.

2. Methodologie: RAYNOVA

RAYNOVA is een geometrie-agnostisch multiview wereldmodel dat een dual-causal autoregressief raamwerk gebruikt. In plaats van 3D-geometrie te forceren, bouwt het een isotrope ruimtetijdbasis op in de "straalruimte" (ray space).

Kerncomponenten:

• Dual-Causal Autoregressie:
  • Het model volgt twee causale volgordes: schaal (scale-wise) en tijd (temporal).
  • Schaal: Gebaseerd op "next-scale prediction". Beelden worden gekwantiseerd in tokenkaarten met toenemende resolutie. Het model voorspelt de volgende schaal gebaseerd op de vorige schalen.
  • Tijd: Frames worden gegenereerd in een geünificeerde 4D-ruimte. In tegenstelling tot eerdere werken die sterke afhankelijkheden tussen frames van dezelfde camera aannemen, conditioneert RAYNOVA de huidige multi-view frames op alle vorige frames van alle camera's.
• Isotrope Ruimtetijdbasis in Ray Space:
  • Dit is de belangrijkste innovatie. In plaats van absolute posities te gebruiken, encodeert het model relatieve posities tussen camerabundels (camera rays) met behulp van Plücker-ray positie-encoding.
  • Een Plücker-ray wordt gedefinieerd door een oorsprong en een richting. Het model gebruikt een aangepaste Rotary Position Embedding (RoPE) die wordt uitgebreid naar 7D (3D voor oorsprong, 3D voor richting, 1D voor tijd).
  • Omdat dit gebaseerd is op relatieve posities, is de representatie isotroop (onafhankelijk van de absolute oriëntatie) en generaliseert het naar nieuwe cameraconfiguraties zonder expliciete 3D-scènevoorstelling.
• Architectuur:
  • Het model is een Transformer-gebaseerd framework.
  • Het bevat lokale self-attention (voor beeldrealisme), globale self-attention (voor ruimtetijdbesluitvorming over alle camera's en frames), en cross-attention voor conditionele input (tekst, objecten, kaarten).
• Recurrente Training:
  • Om distributiedrift bij lange video's te voorkomen, introduceert het paper een recurrente trainingsparadigma. Hierbij worden latent features van eerdere frames gecached en gebruikt als input voor latere frames tijdens de training, waarbij willekeurige bit-fouten worden toegevoegd om inferentiefouten te simuleren.

3. Belangrijkste Bijdragen

1. Versatile World Foundation Model: RAYNOVA ondersteunt diverse invoer- en uitvoerformaten (verschillende perspectieven, resoluties, frame rates) met één enkel model, zonder gebonden te zijn aan specifieke sensoropstellingen.
2. Geometrie-Agnostisch Ontwerp: Door te vertrouwen op relatieve ray-encoding in plaats van expliciete 3D-priors, generaliseert het model beter naar onbekende omgevingen en camera-configuraties (Zero-shot).
3. Efficiëntie en Schaalbaarheid: Het gebruik van autoregressieve "next-scale prediction" zorgt voor een hogere doorvoer (throughput) in vergelijking met diffusion-modellen, terwijl het toch hoge visuele kwaliteit behaalt.
4. Recurent Training Paradigma: Een nieuwe trainingsmethode die de kloof tussen training en inferentie voor lange video's dicht, waardoor drift wordt verminderd.

4. Resultaten

Het model is geëvalueerd op de nuScenes en nuPlan datasets.

• Video Generatie: RAYNOVA behaalt state-of-the-art resultaten op de metrics FID (10.5) en FVD (91), wat aanzienlijk beter is dan bestaande modellen zoals MagicDrive, Panacea en BEVWorld.
• Doorvoer: Het model genereert video's met een snelheid van 1.96 beelden per seconde, wat aanzienlijk sneller is dan diffusion-baselines (vaak < 1.0).
• Conditionele Getrouwheid: Het model toont hoge fideliteit bij het volgen van objecten (NDS score van 41.9/72.0) en kaarten (mIoU van 34.9/49.9), zelfs onder complexe omstandigheden.
• Novel View Synthesis: Zelfs zonder 3D-priors, presteert RAYNOVA superieur bij het synthetiseren van nieuwe cameraviewpoints (bijv. verschuivingen van 1m, 2m, 4m) met lage FID/FVD-dalingen.
• Fysieke Plausibiliteit: Geëvalueerd met een end-to-end planner (VAD), tonen de gegenereerde video's gedrag dat consistent is met echte rijbeslissingen.

5. Betekenis en Impact

RAYNOVA markeert een verschuiving in de ontwikkeling van wereldmodellen voor autonoom rijden:

• Van Geometrie naar Relatie: Het bewijst dat complexe ruimtetijdbesluitvorming mogelijk is zonder zware 3D-geometrische priors, wat de generalisatie naar de "open wereld" aanzienlijk verbetert.
• Efficiëntie: De autoregressieve aanpak biedt een praktischer alternatief voor diffusion-modellen in termen van inferentiesnelheid, wat cruciaal is voor real-time simulaties.
• Flexibiliteit: Het vermogen om te werken met willekeurige camera-configuraties en lange video's zonder drift, maakt het een krachtige tool voor het trainen en testen van autonome voertuigen in diverse, zelfs onbekende, scenario's.

Kortom, RAYNOVA biedt een schaalbaar, efficiënt en robuust raamwerk voor het simuleren van de fysieke wereld, waarbij het de balans vindt tussen visuele realisme, temporele coherentie en fysieke plausibiliteit.