💻 computer science

PrITTI: Primitive-based Generation of Controllable and Editable 3D Semantic Urban Scenes

PrITTI is een latente diffusiemodel dat een hybride representatie van vectoriseerde objectprimitieven en gerasterde grondoppervlakken gebruikt om controleerbare, bewerkbare en geheugenefficiënte 3D semantische stedelijke scènes te genereren, en presteert beter dan traditionele op voxel gebaseerde methoden op het gebied van kwaliteit, snelheid en flexibiliteit.

Oorspronkelijke auteurs: Christina Ourania Tze, Daniel Dauner, Yiyi Liao, Dzmitry Tsishkou, Andreas Geiger

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christina Ourania Tze, Daniel Dauner, Yiyi Liao, Dzmitry Tsishkou, Andreas Geiger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, realistische 3D-stad wilt bouwen voor een videospel of een simulator voor zelfrijdende auto's. Traditioneel gebruiken bouwers een methode zoals Lego-blokjes (in het artikel "voxels" genoemd). Je stapelt miljoenen tiny, identieke kubussen om gebouwen, bomen en wegen te vormen.

Het probleem met deze "Lego"-aanpak is dat deze zwaar, stijf en moeilijk te repareren is. Als je een auto wilt verplaatsen, moet je elke enkele blok vinden waaruit die auto bestaat, ze allemaal verplaatsen en vervolgens de lege ruimte waar de auto eerder stond opvullen met nieuwe blokjes. Als je een hoger gebouw wilt, loop je misschien tegen het geheugenlimiet aan omdat je zoveel blokjes nodig hebt.

PrITTI stelt een volledig andere manier van bouwen voor: De "Slimme Blauwdruk"-aanpak.

In plaats van miljoenen tiny blokjes, bouwt PrITTI de stad met slimme, kant-en-klare vormen (zogenaamde "primitieven").

Een auto is niet een miljoen kubussen; het is gewoon één slimme "doos" met een label dat zegt: "Ik ben een auto, ik ben hier, en ik heb deze grootte."
Een boom is een enkele "eivorm" (ellipsoïde) gelabeld "Ik ben een boom."
De weg is een plat, flexibel vel dat uitgerekt en gevormd kan worden als een stuk klei.

Hieronder wordt uitgelegd hoe het artikel dit systeem beschrijft, opgesplitst in eenvoudige stappen:

1. Het "Slimme Doos"-systeem (Primitieve Representatie)

Denk aan PrITTI als een set digitale Lego-instructies in plaats van de blokjes zelf.

Objecten: Elke auto, voetganger of paal wordt weergegeven door een eenvoudige wiskundige vorm (een doos of een ei). Het systeem onthoudt precies waar het is, hoe groot het is en welke kant het opkijkt.
De Grond: De weg en stoepen worden behandeld als een topografische kaart. In plaats van de weg te bouwen van blokken, tekent het systeem een 2D-kaart die zegt: "Hier is de weg, en hier is hoe hoog het is."
Het Voordeel: Dit is ongelooflijk lichtgewicht. Het opslaan van een stad van miljoenen Lego-blokjes neemt een enorme harde schijf in beslag. Het opslaan van een stad van "slimme dozen" en een "kaart" neemt zeer weinig ruimte in beslag.

2. De "Magische Schilder" (Het Diffusiemodel)

Het artikel gebruikt een type AI genaamd een Latent Diffusion Model. Je kunt dit zien als een magische schilder die leert stadsblauwdrukken te tekenen.

Training: De AI kijkt naar duizenden echte stadskaarten (uit de KITTI-360-dataset). Het leert de regels: "Auto's zitten meestal op wegen", "Bomen staan vaak op stoepen" en "Gebouwen zijn hoog."
Creatie: Als je het vraagt om "een nieuwe stad te schilderen", gokt het niet zomaar willekeurig. Het genereert een schone, georganiseerde blauwdruk van waar elk object moet komen.
Controle: Je kunt de schilder vertellen: "Maak deze stad erg groen" (veel vegetatie) of "Maak het een drukke binnenstad" (veel auto's). De AI past de blauwdruk dienovereenkomstig aan.

3. De "Bewerk-knop" (Bewerken en Inpainting)

Hier blinkt PrITTI uit in vergelijking met de oude "Lego"-methoden.

Dingen Verplaatsen: Omdat elke auto slechts één "slimme doos" is, hoef je bij het verplaatsen van een auto alleen maar de doos te vertellen dat hij moet verplaatsen. Je hoeft de hele straat niet opnieuw te bouwen. Het is als het verplaatsen van een sticker op een vel papier in plaats van het wegbeitelen van een stenen muur.
Gaten Repareren (Inpainting): Stel je voor dat je een stadsblauwdruk hebt, maar de linkerhelft ontbreekt. PrITTI kan naar de rechterhelft kijken en de ontbrekende linkerhelft "schilderen", zodat de nieuwe gebouwen perfect aansluiten bij de oude.
De Stad Uitbreiden (Outpainting): Als je een grotere stad wilt, kan PrITTI je bestaande blauwdruk nemen, deze verschuiven en een nieuw gedeelte schilderen dat naadloos aansluit bij het oude, net als het uitbreiden van een stripverhaal.

4. De "Realistische Filter" (Fotorealistische Synthese)

Het artikel merkt op dat PrITTI het skelet van de stad creëert (de indeling en vormen). Om het eruit te laten zien als een echte foto, kun je dit skelet voeden met een apart hulpmiddel (ControlNet) dat realistische texturen eroverheen schildert.

Denk aan PrITTI als de architect die de plattegrond tekent en de meubels plaatst.
De "Realistische Filter" is de interieurontwerper die de muren schildert, de houtnerf toevoegt en het zonlicht in de ramen zet.
Hoewel de "meubels" (primitieven) eenvoudige vormen zijn, ziet de uiteindelijke foto verrassend realistisch uit omdat de indeling zo nauwkeurig is.

Waarom Dit Belangrijk Is (Volgens Het Artikel)

Snelheid: Het genereert steden veel sneller dan de oude Lego-methoden.
Geheugen: Het gebruikt een fractie van het computergeheugen.
Flexibiliteit: Je kunt specifieke objecten bewerken (zoals het roteren van een vrachtwagen) zonder de hele scène te breken.
Kwaliteit: De steden die het bouwt, zijn beter georganiseerd en minder "glitchy" dan eerdere methoden, met duidelijkere grenzen tussen wegen en gebouwen.

Kortom, PrITTI wisselt de zware, stijve "stapel blokjes"-methode in voor een lichtgewicht, bewerkbaar en slim blauwdruksysteem, waardoor het veel eenvoudiger wordt om 3D-steden voor simulaties te creëren, te controleren en te repareren.

Technische Samenvatting: PrITTI

Probleemstelling

De generatie van grootschalige, semantisch gestructureerde 3D-stedelijke scènes is cruciaal voor digitale wereldmodellering en simulatie voor autonoom rijden. Echter, bestaande methoden staan voor aanzienlijke hindernissen. De meeste huidige benaderingen vertrouwen op voxelgebaseerde representaties (bijvoorbeeld voxelroosters of hiërarchische structuren), die lijden aan drie fundamentele beperkingen:

Inefficiënt geheugengebruik: Door de kubische schaling met resolutie zijn dichte voxelrepresentaties onbetaalbaar duur voor grote omgevingen.
Beperkte detailnauwkeurigheid: Vaste ruimtelijke resolutie resulteert vaak in afgeknotte of vervormde hoge elementen (bijvoorbeeld gebouwen, bomen).
Slechte bewerkbaarheid: Voxelroosters missen expliciete objectinstanties. Eenvoudige bewerkingen, zoals het verplaatsen van een voertuig, vereisen het identificeren en updaten van alle gerelateerde voxels en het opvullen van vrijgekomen ruimtes; een proces dat wordt bemoeilijkt door ambiguïteiten tussen object- en achtergrondgrenzen.

Hoewel sommige recente werken abstracte semantische lay-outs toepassen, zijn deze vaak handgemaakt of vooraf gedefinieerde invoer in plaats van gegenereerde uitvoer. Er ontbreekt een kader dat in staat is om automatisch diverse, realistische en bewerkbare 3D-semantische stedelijke scènes te produceren met een representatie die zowel geheugenefficiënt als compositieel is.

Methodologie

De auteurs introduceren PrITTI (Primitive-based Generation of Controllable and Editable 3D Semantic Urban Scenes), een kader dat gebruikmaakt van een hybride primitieve representatie gecombineerd met een Latent Diffusion Model (LDM).

1. Hybride Representatie

In plaats van volumetrische voxels, stelt PrITTI scènes voor met twee distincte componenten:

Grondoppervlakken: Gemodelleerd als omhoog geëxtrudeerde 2D-polygoon (bijvoorbeeld wegen, stoepen). Vanwege de willekeurige geometrie van deze polygonen worden deze gerasterd in Bird's Eye View (BEV)-hoogtekaarten en binaire bezettingsmaskers.
Objectprimitieven: Objecten (bijvoorbeeld voertuigen, vegetatie, palen) worden gemodelleerd als geparametriseerde 3D-primitieven. Specifiek worden de meeste objecten weergegeven als 3D-rechthoekige blokken, terwijl vegetatie wordt weergegeven als 3D-ellipsoïden.
- Elke primitief wordt geparametriseerd door een 9D-kenmerkvector: een genormaliseerde 3D-centrumlocatie en 6D Cholesky-parameters.
- De Cholesky-decompositie van een positief-definiërende spreidingsmatrix wordt gebruikt om oriëntatie en grootte gezamenlijk te coderen. Deze aanpak elimineert oriëntatie-ambiguïteiten (gemeenschappelijk bij quaternion-coderingen) en verbetert de trainingsstabiliteit.

2. Twee-staps trainingspijplijn

De methode hanteert een trainingsproces in twee fasen:

Fase 1: Layout Variational Autoencoder (LVAE)
Een gezamenlijke VAE comprimeert de 3D-scène lay-out naar een compacte, gestructureerde 2D-laten ruimte.

Codering: De architectuur gebruikt afzonderlijke encoders voor grond- en objectmodaliteiten.
- De Grond Encoder (convolutioneel) verwerkt rasterkaarten naar een latente code.
- De Object Encoder (op Transformer gebaseerd) verwerkt vaste sets van objectprimitieven. Om te handelen met variabele objectaantallen, worden scènes opgevuld tot een constant aantal primitieven per categorie. De resulterende embeddings worden via een scatter-mean-operatie op een 2D-laten rooster gemapt, waarbij de ruimtelijke structuur en permutatie-invariantie behouden blijven.
- De grond- en objectlatente ruimten worden kanaalsgewijs geconcateneerd om een ontkoppelde gezamenlijke latente representatie ( $\mathbf{z}_{\mathcal{L}}$ ) te vormen.
Decodering: De decoder reconstrueert de scène. De gronddecoder gebruikt een convolutionele architectuur, terwijl de objectdecoder (gebaseerd op DETR) leerbare queries gebruikt om 3D-centra, Cholesky-parameters en existentieprobabiliteiten voor elke primitief te voorspellen.
Verlies: Het trainingsdoel combineert reconstructieverliezen (L1 voor hoogtekaarten, BCE voor maskers en matchingsverliezen voor primitieven via het Hongaarse algoritme) met een KL-divergentie-term.

Fase 2: Latent Diffusion Model (LDM)
Een Diffusion Transformer (DiT) wordt getraind op de gezamenlijke latente ruimte gegenereerd door de LVAE.

Conditionering: Het model wordt getraind om scènes te genereren die geconditioneerd zijn op discrete scenariolabels (bijvoorbeeld vegetatiedichtheid: laag, medium, hoog).
Architectuur: De DiT-ruggengraat integreert conditionering via adaLN-Zero-blokken.
Toepassingen via Latente Manipulatie: Zonder fine-tuning ondersteunt de voorgekwalificeerde LDM downstream taken met een RePaint-geïnspireerde strategie voor latente manipulatie:
- Inpainting: Gelokaliseerde bewerkingen worden uitgevoerd door het denoisen van onbekende gebieden te synchroniseren met de versie met ruis van bekende gebieden in de latente ruimte. De ontkoppelde structuur staat grond-geconditioneerde objectgeneratie toe (objecten bewerken terwijl de grond vast blijft).
- Outpainting: Scènes worden uitgebreid voorbij hun oorspronkelijke ruimtelijke omvang met een schuifvensterbenadering met 50% overlap om ruimtelijke consistentie te waarborgen.

Belangrijkste Bijdragen

Eerste Primitieve-gebaseerd Kader: PrITTI is het eerste kader dat ruwe 3D-begrenzingsprimitieven (rechthoekige blokken en ellipsoïden) gebruikt voor het genereren van controleerbare en bewerkbare 3D-semantische stedelijke scènes op een abstract, semantisch niveau.
Ontkoppelde Latente Representatie: De voorgestelde hybride representatie maakt een ontkoppelde latente ruimte mogelijk waarbij grond- en objectelementen in afzonderlijke kanaalgroepen worden gecodeerd. Dit faciliteert intuïtieve, gelokaliseerde manipulatie (bijvoorbeeld grond-geconditioneerde generatie) zonder extra supervisie.
Stabiele Parametrering: De introductie van een Cholesky-gebaseerde parametrering voor 3D-objectoriëntatie en -grootte biedt grotere numerieke stabiliteit en elimineert oriëntatie-ambiguïteiten in vergelijking met quaternion- of eigenwaarde-gebaseerde coderingen.
Efficiëntie en Bewerkbaarheid: De primitieve-gebaseerde aanpak bereikt state-of-the-art generatiekwaliteit met aanzienlijk lagere geheugeneisen en snellere inferentie dan voxelgebaseerde baselines, terwijl het directe bewerking op instantieniveau ondersteunt (translatie, rotatie, schaling) wat moeilijk of onmogelijk is met voxelroosters.

Experimentele Resultaten

Experimenten werden uitgevoerd op het KITTI-360-dataset, dat dichte primitieve annotaties biedt voor volledige stedelijke omgevingen.

Reconstructie (Fase 1): PrITTI bereikt concurrerende reconstructiekwaliteit (IoU en mIoU) in vergelijking met voxelgebaseerde baselines (SemCity, PDD, XCube), ondanks dat het native primitief-gebaseerd is. Cruciaal vereist het ~2,52 MB per scène, aanzienlijk minder dan de 8,00 MB die SemCity vereist en 3,05 MB voor XCube bij vergelijkbare resoluties.
Generatie (Fase 2): PrITTI presteert significant beter dan alle voxelgebaseerde baselines in generatieve metrieken (Precision, Recall, FID, IS).
- Kwaliteit: PrITTI produceert diverse, coherente scènes met goed gevormde objecten en duidelijke grenzen. Baselines vertonen vaak onregelmatige vormen, onduidelijke grenzen en semantische inconsistenties.
- Snelheid: PrITTI bereikt de snelste generatietijd (0,58s per scène) in vergelijking met hiërarchische baselines die meervoudige verwerking vereisen (bijvoorbeeld PDD bij 12,84s).
- Controleerbaarheid: Het model genereert succesvol scènes geconditioneerd op vegetatiedichtheid, wat effectieve controle over de scènecompositie aantoont.
Downstream Toepassingen: Het kader voert succesvol scène inpainting, outpainting en fotorealistische straatbeeldsynthese uit (met ControlNet) zonder extra fine-tuning.

Betekenis en Claims

Het artikel beweert dat PrITTI de kritieke afweging tussen geheugenefficiëntie, generatiekwaliteit en bewerkbaarheid in 3D-stedelijke scène-synthese aanpakt. Door te verschuiven van voxelroosters naar een primitieve-gebaseerd paradigma, ontsluit de methode de volledige capaciteiten van diffusion transformers voor grootschalige scène-generatie.

De auteurs benadrukken dat hun aanpak directe controle op instantieniveau mogelijk maakt, wat intuïtieve bewerkingen toestaat (bijvoorbeeld het verplaatsen van een auto) die in voxelgebaseerde methoden rekenkundig duur en structureel ambigu zijn. Bovendien ondersteunt de methode de generatie van grootschalige, semantisch coherente stedelijke lay-outs via iteratieve outpainting, een vermogen waar bestaande voxelgebaseerde methoden moeite mee hebben vanwege problemen met globale consistentie.

Hoewel het huidige kader beperkt is tot statische scènes en ruwe geometrische primitieven, stellen de auteurs dat dit werk een fundament legt voor toekomstig onderzoek naar expressievere primitieven, dynamische omgevingen en taakspecifieke renderingpijplijnen voor simulatie van autonoom rijden.