💻 computer science

GaussianGPT: Towards Autoregressive 3D Gaussian Scene Generation

Dit paper introduceert GaussianGPT, een transformer-model dat 3D-scènes stap-voor-stap genereert door discrete Gaussische primitieven te comprimeren en autoregressief te modelleren via next-token predictie, wat een schaalbaar en controleerbaar alternatief biedt voor diffusion-gebaseerde methoden.

Oorspronkelijke auteurs: Nicolas von Lützow, Barbara Rössle, Katharina Schmid, Matthias Nießner

Gepubliceerd 2026-03-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nicolas von Lützow, Barbara Rössle, Katharina Schmid, Matthias Nießner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

GaussianGPT: De "Lego-meester" voor 3D-werelden

Stel je voor dat je een enorme, complexe kamer wilt bouwen met Lego-blokjes. De meeste moderne methoden om zo'n kamer te maken, werken als een kunstenaar die een schilderij van een afstand bekijkt en het hele beeld tegelijkertijd verfijnt tot het perfect is. Het is mooi, maar als je ergens een foutje maakt of een extra hoek wilt toevoegen, moet je vaak opnieuw beginnen of het hele schilderij opnieuw "doven" en opnieuw opbouwen.

GaussianGPT is iets heel anders. Het is alsof je een slimme, onuitputtelijke Lego-meester hebt die één blokje per keer zet. Deze meester kijkt naar wat er al staat, bedenkt wat er logisch zou moeten komen, en plaatst dan het volgende blokje. Hij bouwt de kamer stap voor stap, net zoals wij in het echt bouwen.

Hier is hoe dit werkt, vertaald naar alledaagse taal:

1. De Blokken: "3D-Gaussians"

In plaats van een statisch 3D-model, gebruikt deze technologie iets dat 3D-Gaussians heet. Denk hierbij niet aan stevige bakstenen, maar aan zachte, glinsterende wolkjes of lichtdeeltjes.

Deze wolkjes hebben een positie, een kleur, een grootte en een "transparantie".
Als je duizenden van deze wolkjes dicht bij elkaar zet, vormen ze een scherp beeld van een kamer, een stoel of een heel landschap. Het is een heel efficiënte manier om 3D-ruimte te vullen.

2. De Vertaler: Van Wolkjes naar Woorden

Computers zijn geweldig in het lezen van tekst, maar ze vinden 3D-wolkjes lastig. GaussianGPT lost dit op met een slimme vertaler:

De Auto-Encoder (De Vertaler): Deze tool neemt de miljoenen wolkjes van een kamer en drukt ze samen tot een discrete code. Het is alsof je een heel complex schilderij vertaalt naar een rijtje cijfers en letters (tokens), zoals een geheimtaal.
De Vocabulaire: De computer leert twee soorten "woorden":
1. Positie-woorden: "Waar moet het volgende blokje komen?"
2. Kleur-woorden: "Welke kleur en vorm moet dat blokje hebben?"

3. De Meesterbouwer: De Autoregressive GPT

Nu komt de magie. De auteurs gebruiken een Transformer (hetzelfde type AI dat achter ChatGPT zit), maar dan speciaal getraind voor 3D.

Het "Volgende Woord"-principe: Net zoals een tekstmodel voorspelt welk woord als volgende komt in een zin, voorspelt GaussianGPT welk 3D-blokje als volgende komt in de ruimte.
De Logica: Als er al een muur staat, "weet" het model dat er waarschijnlijk een vloer onder zit en misschien een raam ernaast. Het bouwt de wereld causaal (oorzaak en gevolg), stap voor stap.

Waarom is dit zo cool? (De Analieën)

A. Het is als een onbeperkt Lego-bord (Uitbreiding)

Stel je voor dat je een Lego-stad bouwt, maar je bord is te klein. Met oude methoden moest je stoppen. Met GaussianGPT kun je gewoon doorgaan.

Het model bouwt een stukje, en als dat klaar is, zegt het: "Oké, wat komt er nu rechts daarvan?"
Je kunt een kamer van 12 bij 12 meter laten bouwen, terwijl het model alleen getraind is op stukjes van 4 bij 4 meter. Het "uitverft" de wereld gewoon verder, net als een schilder die een doek uitrekt.

B. Het is als een puzzel oplossen (Aanvullen)

Heb je een kamer die half leeg is? Of een foto waar een deel mist?

Geef het model de "halve kamer" (de bestaande wolkjes).
Het model kijkt naar de randen en zegt: "Ah, hier hoort een hoekbank te staan, en daar een lamp."
Het vult de gaten in op een manier die logisch en realistisch is, zonder dat je de hele kamer opnieuw hoeft te genereren.

C. Controleerbaar en Flexibel

Omdat het model stap voor stap bouwt, heb je meer controle.

Je kunt de "temperatuur" (een instelling) aanpassen.
- Lage temperatuur: Het model is voorzichtig en bouwt iets heel standaard en veilig.
- Hoge temperatuur: Het model is creatief en bouwt iets verrassends en ongewoons.
Je kunt ook beslissen: "Stop hier met bouwen" of "Bouw nog een gang bij".

Samenvatting in één zin

GaussianGPT is een slimme AI die 3D-werelden niet als één groot, statisch plaatje ziet, maar als een verhaal dat woord voor woord (of blokje voor blokje) wordt geschreven, waardoor je onbeperkt grote, realistische en creatieve ruimtes kunt bouwen, aanvullen en aanpassen.

Het is een stap in de richting van een toekomst waarin we virtuele werelden niet alleen kunnen bekijken, maar actief kunnen opbouwen en aanpassen alsof we met digitale Lego spelen.

Titel: GaussianGPT: Towards Autoregressive 3D Gaussian Scene Generation

Auteurs: Nicolas von Lützow, Barbara Rössle, Katharina Schmid, en Matthias Nießner (Technische Universiteit München)

1. Het Probleem

De huidige staat van de kunst in 3D-generatieve modellering steunt voornamelijk op diffusiemodellen of flow-matching-formuleringen. Hoewel deze methoden indrukwekkende visuele kwaliteit bereiken, hebben ze beperkingen:

Holistische benadering: Ze genereren scènes vaak als een globaal denoisingsproces, wat het moeilijk maakt om incrementele bewerkingen, stap-voor-stap uitbreidingen of gerichte voltooiing (completion) toe te passen.
Moeilijkheden met 3D-structuur: 3D-omgevingen vereisen representaties die geometrie, uiterlijk en semantiek combineren terwijl ze multi-view consistentie behouden. Er is geen natuurlijke volgorde in 3D-gegevens, wat het toepassen van succesvolle autoregressieve paradigma's (zoals bij taalmodellen) uitdagend maakt.
Beperkte controle: Bestaande methoden bieden minder flexibiliteit voor "outpainting" (het uitbreiden van een scène buiten de trainingsgrenzen) of het genereren van scènes op basis van gedeeltelijke observaties zonder complexe conditioning-mechanismen.

Het doel van dit werk is om een autoregressief alternatief te introduceren dat 3D-scènes stap-voor-stap construeert, vergelijkbaar met hoe taalmodellen tekst genereren, maar dan voor 3D-ruimtelijke structuren.

2. Methodologie

GaussianGPT formuleert 3D-synthese als een autoregressief proces waarbij nieuwe elementen worden voorspeld op basis van de bestaande ruimtelijke context. De aanpak bestaat uit twee hoofdfasen: compressie en generatie.

A. Scènecompressie via Sparse 3D Latent Encoding

Om autoregressieve modellering mogelijk te maken, moeten continue 3D-Gaussian-primitieven worden omgezet in een compacte, discrete representatie.

Input: Een scène bestaande uit 3D-Gaussian-primitieven (positie, opaciteit, grootte, rotatie, kleur).
Sparse 3D Feature Grid: De primitieven worden toegewezen aan een rooster (voxelgrid) in wereldcoördinaten. Per voxel worden de attributen gecodeerd tot een uniek feature-vector.
Sparse 3D CNN Autoencoder: Een encoder (E) en decoder (D) verwerken dit rooster. De encoder downsampt het rooster naar een compacte latente representatie, terwijl de decoder de voxel-niveau features reconstrueert.
Vector Quantization (LFQ): In plaats van directe reconstructie, wordt de latente uitgang van de encoder vector-gequantiseerd naar discrete codebook-indexen. De auteurs gebruiken Lookup-Free Quantization (LFQ) om de gebruikte codebook-omvang te maximaliseren en de kwaliteit te verbeteren.
Resultaat: Een discrete latente grid bestaande uit codebook-indexen die de scène vertegenwoordigen.

B. Autoregressieve Modellering met een Transformer

De gekwantiseerde latente grid wordt omgezet in een sequentie van tokens voor een GPT-achtige transformer.

Serialisatie: De 3D-grid wordt omgezet in een 1D-sequentie via een vaste xyz-traversal (kolomsgewijs). Hoewel dit de lokale 3D-benadering in de 1D-sequentie doorbreekt, wordt dit gecompenseerd door de volgende stap.
Vocabulair Ontwerp: De sequentie bestaat uit afwisselende positie-tokens ( $p_i$ $p_{i}$ ) en feature-tokens ( $f_i$ $f_{i}$ ).
- De positie-head voorspelt de index van de volgende bezette voxel.
- De feature-head voorspelt de feature (codebook-index) voor die positie.
- Deze scheiding voorkomt dat geometrie en uiterlijk om dezelfde indices concurreren.
3D Rotary Positional Embeddings (RoPE): Omdat de serialisatie de ruimtelijke nabijheid niet perfect behoudt, wordt 3D RoPE gebruikt. Dit injecteert de daadwerkelijke $(x, y, z)$ -coördinaten direct in de attention-mechanisme. Hierdoor leert het model ruimtelijke relaties onafhankelijk van de serialisatievolgorde. Een extra dimensie in de RoPE onderscheidt bovendien tussen positie- en feature-tokens.
Architectuur: Een decoder-only causal transformer (gebaseerd op GPT-2 en nanochat) met query-key normalisatie en de Muon-optimizer.

C. Inferentie en Toepassingen

Unconditional Generation: Starten met een BOS-token (Begin Of Sequence) en tokens genereren tot een EOS-token (End Of Sequence).
Scene Completion: Een gedeeltelijke scène wordt als prefix ingevoerd; het model vult de ontbrekende tokens in.
Large-Scale Outpainting: Door het model iteratief toe te passen op een schuifvenster van gegenereerde tokens, kunnen scènes oneindig worden uitgebreid, zelfs groter dan de trainingsgrootte.

3. Belangrijkste Bijdragen

Gestructureerde Tokenisatie: Een methode om 3D-Gaussian-scènes om te zetten in discrete tokens via een sparse 3D autoencoder met vector quantization, wat autoregressieve modellering mogelijk maakt.
Autoregressief Framework: Een transformer-architectuur die 3D-scènes stap-voor-stap genereert, wat leidt tot natuurlijke ondersteuning voor voltooiing, outpainting en gecontroleerde steekproeven (via temperatuur).
Complementair Paradigma: Het bewijst dat autoregressieve modellen een krachtig alternatief zijn voor diffusiemodellen in de 3D-generatie, met name voor scenario's die structurele coherentie en incrementele bouw vereisen.
3D-RoPE Integratie: Een innovatieve toepassing van 3D-rotatieposities in een autoregressieve context om ruimtelijke consistentie te behouden ondanks een lineaire serialisatie.

4. Resultaten

De auteurs evalueren GaussianGPT op drie taken: onvoorwaardelijke vormgeneratie, scènegeneratie en scènevoltooiing.

Vormsynthese (PhotoShape Dataset):
- Op de generatie van stoelen presteert GaussianGPT state-of-the-art op alle metrics (FID, KID, COV, MMD).
- Het produceert scherpere structuren en minder ruis dan concurrenten zoals DiffRF en L3DG, terwijl het toch grote variatie behoudt.
Scènesynthese (3D-FRONT & Aria Synthetic Environments):
- Het model genereert coherente binnenruimtes met plausibele objectplaatsing.
- In tegenstelling tot L3DG (dat volledige genormaliseerde scènes genereert), kan GaussianGPT ruimtelijke chunks genereren die naadloos aan elkaar worden geregen voor grootschalige scènes (bijv. 12m x 12m).
Scènevoltooiing (Scene Completion):
- Het model kan succesvol ontbrekende delen van een scène invullen op basis van 25% of 50% van de input.
- De gegenereerde voltooiingen zijn semantisch plausibel, behouden vloer- en muurcontinuïteit, en tonen variatie in lay-out zonder de structuur te schenden.
Ablatie Studies:
- Simpele xyz-traversal presteert beter dan complexere ruimtevullende krommen (zoals Hilbert of Z-order), waarschijnlijk omdat de 3D-RoPE de ruimtelijke relaties al corrigeert en de eenvoudige volgorde de voorspelling vergemakkelijkt.

5. Betekenis en Toekomstperspectief

GaussianGPT markeert een verschuiving in 3D-generatieve modellering:

Controleerbaarheid: Het autoregressieve karakter biedt directe controle over het generatieproces, wat essentieel is voor interactieve toepassingen en content creatie.
Schalbaarheid: Het vermogen om scènes "on the fly" uit te breiden (outpainting) zonder het model te hertrainen of de architectuur aan te passen, opent de deur voor het genereren van oneindige virtuele werelden.
Complementair aan Diffusie: Het toont aan dat autoregressieve modellen niet alleen voor taal of 2D-beelden werken, maar ook effectief kunnen zijn voor complexe 3D-structuren wanneer de juiste tokenisatie en positiesystemen worden toegepast.

Beperkingen en Toekomst:
De huidige aanpak is beperkt door de kwaliteit van de autoencoder (hoge frequentie details kunnen verloren gaan) en de schaalbaarheid naar real-world data (zoals ScanNet++), waar onvolledige scans en complexere geometrieën extra uitdagingen vormen. Toekomstig werk richt zich op het verbeteren van de reconstructie-kwaliteit en het modelleren van onzekerheid in gedeeltelijk waargenomen omgevingen.