SceneTok: A Compressed, Diffusable Token Space for 3D Scenes

Deze paper introduceert SceneTok, een innovatieve tokenizer die 3D-scènes comprimeert tot een kleine set van permutatie-invariante tokens, waardoor er een efficiënte en hoogwaardige reconstructie en generatie van nieuwe weergaven mogelijk is die aanzienlijk beter presteert dan bestaande methoden.

De kern

Stel je voor dat je een hele stad wilt beschrijven aan iemand die er nog nooit is geweest.

De oude manier (de "3D-bouwpakket" aanpak):
Vroeger probeerden mensen dit te doen door een gigantische, driedimensionale bouwtekening te maken. Ze legden elke muur, elk raam en elke boom vast in een enorm digitaal raster. Het probleem? Die tekeningen zijn ontzettend zwaar. Om een hele stad te beschrijven, heb je duizenden gigabytes aan data nodig. Het is alsof je een heel museum probeert te verplaatsen door elke steen los te maken en in een doos te doen. Het duurt eeuwen om die doos te vullen en nog langer om hem weer uit te pakken.

De nieuwe manier: SceneTok (De "magische tas" aanpak)
De onderzoekers van dit paper hebben een slimme nieuwe methode bedacht, genaamd SceneTok. In plaats van de stad steen voor steen te beschrijven, kijken ze naar een paar foto's van de stad en zeggen: "Oké, we hebben nu een idee hoe deze stad eruitziet."

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Magische Tas (De Tokenizer)

Stel je voor dat je een tas hebt die alles kan veranderen in een handvol magische kralen.

• Hoe het werkt: Je neemt een set foto's van een kamer of een straat (bijvoorbeeld 12 foto's). SceneTok pakt al die foto's en verandert ze in een kleine, ongeordende verzameling van digitale "kralen" (tokens).
• Het geheim: Het maakt niet uit in welke volgorde je de foto's hebt genomen. De kralen zijn "permutatie-invariant". Dat betekent dat de tas gewoon de essentie van de stad pakt, zonder zich druk te maken over de volgorde van de foto's.
• De grootte: Dit is het gekste deel. Terwijl de oude methoden duizenden megabytes nodig hebben, past de hele stad nu in een paar kilobytes aan data. Het is alsof je een heel huis in een postzegel kunt stoppen. Dat is een compressie van wel 100 tot 1000 keer zo sterk als voorheen!

2. De Magische Projector (De Decoder)

Nu heb je die tas met kralen. Hoe krijg je de stad weer terug?

• Je gebruikt een lichtgewicht projector (de decoder).
• Je zegt tegen de projector: "Laat me nu een foto zien vanuit een hoek die ik nog niet heb gezien."
• De projector pakt de kralen uit de tas en "droomt" het beeld voor je. Omdat de kralen zo slim zijn, kan de projector binnen een seconde 32 nieuwe foto's maken, zelfs vanuit hoeken waar je geen originele foto's van hebt.
• Onzekerheid: Als de projector niet zeker weet hoe een hoek eruit moet zien (bijvoorbeeld omdat er in de originele foto's niets te zien was), maakt hij een beetje "wazig" of varieert hij het beeld. Dat is heel slim, want het geeft eerlijk aan: "Ik weet het niet zeker, maar hier is een goede gok."

3. De Creatieve Chef (De Generatieve Modellen)

Dit is waar het echt cool wordt. Omdat de stad nu zo klein is (alleen maar die handvol kralen), kun je er heel makkelijk mee spelen.

• Stel je voor dat je een chef-kok bent die een recept (de kralen) heeft. Je kunt nu een AI-chef (een diffusiemodel) vragen: "Maak een nieuwe stad, maar dan met een rode muur in plaats van een blauwe."
• Omdat de data zo klein is, kan deze chef in 5 seconden een compleet nieuwe, geloofwaardige 3D-wereld bedenken.
• Vroeger duurde dit soort creatieve taken minuten of uren en kostte het enorme computers. Nu kan het op een gewone gaming-PC.

Waarom is dit zo belangrijk?

1. Snelheid: Het is razendsnel. Je kunt een hele nieuwe omgeving in een flits genereren.
2. Flexibiliteit: Je kunt de camera bewegen alsof je zelf door de stad loopt, zelfs naar plekken waar je nog nooit bent geweest. De oude methoden konden dit vaak niet goed; ze bleven steken in de foto's die je al had.
3. Efficiëntie: Het is alsof je een hele bibliotheek in één boekje hebt samengevat. Je hoeft geen enorme servers meer te draaien om 3D-werelden te maken.

Kortom:
SceneTok is als een digitale "teleportatie-app". Je neemt een paar foto's, verandert ze in een klein pakketje data (de tokens), en kunt dat pakketje vervolgens gebruiken om oneindig veel nieuwe foto's te maken of om volledig nieuwe werelden te creëren, allemaal in een handomdraai. Het maakt het maken van 3D-werelden net zo makkelijk als het sturen van een tekstbericht.

Technische samenvatting

Probleemstelling

De representatie en generatie van 3D-scènes in het tijdperk van grote generatieve modellen staat voor drie fundamentele uitdagingen:

1. Schaalbaarheid: Bestaande methoden gebruiken vaak 3D-structuren (zoals 3D-Gaussians of NeRFs) of view-aligned velden. Deze hebben een kubische schaal (cubic cost), wat het trainen van grote foundation modellen op grote datasets prohibitief duur of onmogelijk maakt.
2. Complexiteit en Efficiëntie: Methodes die werken met geposte multi-view video's zijn vaak groot en vereisen complexe samplingstrategieën (zoals autoregressieve of history-guided generatie) om consistente scènes te produceren. Dit leidt tot enorme rekenkosten omdat het genereren van ruwe structuren en gedetailleerde rendering tegelijkertijd plaatsvindt.
3. Transferabiliteit: Bestaande latente representaties (zoals in LVSM of RayZer) zijn vaak te hoogdimensionaal voor efficiënte diffusiegeneratie en kunnen vaak alleen view-interpolatie uitvoeren, maar geen nieuwe camera-trajecten genereren die afwijken van de invoer (geen echte Novel View Synthesis).

Methodologie: SceneTok

De auteurs introduceren SceneTok, een autoencoder-architectuur die 3D-scènes codeert naar een ongestructureerde, sterk gecomprimeerde set van tokens, losgekoppeld van een ruimtelijk rooster. De aanpak bestaat uit twee hoofdfasen:

1. De Autoencoder (SceneTok)

Dit model comprimeert een set van context-views (afbeeldingen met camera-posities) naar een compacte latente representatie.

• Encoder:
  • Gebruikt een VA-VAE (VAE voor afbeeldingen) om elke invoer-afbeelding te comprimeren tot een latente feature map (16x ruimtelijke compressie).
  • Deze features worden ingevoerd in een Scene Perceiver module.
  • De Perceiver bestaat uit twee takken: één voor de multi-view patches en één voor de scene tokens (geoptimaliseerde queries).
  • Camera-posities worden omgezet in straal-kaarten (ray maps) en moduleren de tokens via AdaLN (Adaptive Layer Normalization).
  • Positieve Encoding: In tegenstelling tot video-encoders die 3D-RoPE gebruiken, gebruikt SceneTok 2D-RoPE. Dit zorgt voor een permutatie-invariantie; de volgorde van de invoer-views beïnvloedt de representatie niet, wat essentieel is voor het renderen van willekeurige nieuwe trajecten.
  • Het resultaat is een kleine set van continue tokens (bijv. 32.768 floats voor een hele scène).
• Decoder:
  • Een lichtgewicht Rectified Flow Decoder (gebaseerd op een Diffusion Transformer) die de tokens decodeert naar nieuwe views.
  • De decoder is conditioneel: hij neemt de scene tokens en een nieuwe camera-trajectie als input.
  • Hij lost onzekerheid op door te sampleen uit een conditionele verdeling $p(x|Z)$. Voor gebieden met hoge zekerheid (goed gedekt door tokens) sampleert hij uit een smalle verdeling; voor gebieden met onzekerheid (nieuwe hoeken) genereert hij details.
  • De output wordt gedecodeerd naar pixelruimte via een VideoDCAE decoder.

2. Latente Scène Generatie (SceneGen)

Na het trainen van de autoencoder wordt een tweede diffusiemodel getraind op de ruimte van de scene tokens.

• SceneGen is een Diffusion Transformer die de conditionele verdeling $p(Z|X_I, A)$ leert, waarbij $X_I$ de invoer-afbeelding(en) zijn en $A$ een set van "anchor poses" (camera-posities) die de ruimtelijke uitbreiding van de scène definiëren.
• Dit scheidt het genereren van de scène-inhoud van het renderen van de views, waardoor de generatiemodellen schaalbaar kunnen worden zonder de renderingssnelheid te beïnvloeden.

Belangrijkste Bijdragen

1. Nieuw Paradigma: Een decoupling van rendering en generatie. Scènes worden eerst gegenereerd in een compacte latente token-ruimte, waarna ze efficiënt worden gerenderd.
2. Gecomprimeerde Representatie: De eerste tokenizer die 3D-scènes comprimeert tot een kleine set van permutatie-invariante tokens, los van het ruimtelijk rooster. Dit resulteert in een compressie die 1-3 ordes van grootte sterker is dan bestaande methoden.
3. Efficiënte Generatie: Een diffusiemodel (SceneGen) dat scènes in de latente ruimte genereert, wat mogelijk maakt om volledige 3D-scènes te genereren in slechts 5 seconden op een consumenten-GPU.
4. Transferabiliteit: Het systeem kan renderen vanuit nieuwe camera-trajecten die afwijken van de invoer, wat een verbetering is ten opzichte van eerdere latente methoden die beperkt waren tot interpolatie.

Resultaten

De auteurs evalueren de methode op datasets zoals RealEstate10K, DL3DV en ACID (zero-shot).

• Kwaliteit van Novel View Synthesis (NVS):
  • SceneTok bereikt state-of-the-art prestaties in PSNR, LPIPS en SSIM, terwijl de representatiegrootte drastisch kleiner is (bijv. ~32K floats vs. miljoenen floats bij MVSplat of Long-LRM).
  • Het presteert beter in video-metrics (rFVD, rFID) dan bestaande methoden.
• Transferabiliteit:
  • In tests waarbij de target-trajectie verschilt van de invoer-trajectie, presteert SceneTok aanzienlijk beter dan concurrenten zoals LVSM en RayZer (gemeten via True-Pose-Similarity). RayZer faalt hier vaak omdat het de target views als input gebruikt (informatielek).
• Generatiesnelheid en Kwaliteit:
  • Rendering: 32 nieuwe views kunnen in 1 seconde worden gerenderd op een Nvidia RTX 4090.
  • Generatie: Een volledige scène (192 frames) kan worden gegenereerd in 5 seconden (11s voor token-generatie + 16s voor rendering, of 10s totaal op een RTX 4090). Dit is ordes van grootte sneller dan methoden zoals DFM, SEVA of DFoT.
  • Hoewel DFoT en SEVA iets betere hoogfrequente details genereren (door pixel-space diffusie of grotere datasets), biedt SceneTok een veel betere afweging tussen kwaliteit en snelheid.

Significantie

SceneTok markeert een belangrijke stap in de evolutie van 3D-generatie door de barrière van schaalbaarheid te doorbreken. Door 3D-scènes te vertalen naar een compacte, "diffusabele" token-ruimte, maakt het het mogelijk om:

• Grote foundation modellen te trainen op enorme hoeveelheden videodata zonder de beperkingen van 3D-roosters.
• Efficiënte, snelle generatie van 3D-werelden mogelijk te maken die bruikbaar zijn voor real-time toepassingen.
• Een brug te slaan tussen generatieve AI en 3D-reconstructie, waarbij onzekerheid in de scène op een gestructureerde manier wordt opgelost.

De code is openbaar beschikbaar, wat de adoptie en verdere ontwikkeling in de community zal stimuleren.