Technische Samenvatting: Schalen van Occupancy-gerichte Generatie van Rijscènes

1. Probleemstelling

Generatie van rijscènes is essentieel voor de ontwikkeling van autonoom rijden (AR), met name voor evaluatie van perceptie en planning, omdat het de afhankelijkheid van kostbare verzameling van real-world data vermindert. Echter, bestaande generatieve modellen staan voor drie primaire beperkingingen:

1. Data-Schaarste: Hoogpresterende occupancy-gerichte methoden zijn afhankelijk van geannoteerde semantische occupancy-data, die schaars blijft en beperkt is in schaal (bijv. eerdere werken maakten gebruik van het Nuscenes-dataset).
2. Modale Fragmentatie: Huidige benaderingen genereren doorgaans data in één formaat (bijv. RGB-video) of vertrouwen op grove geometrische condities (BEV-kaarten, 3D-bounding boxes) die de ingewikkelde distributies van real-world scènes niet vastleggen, wat leidt tot suboptimale fideliteit.
3. Schalingsbeperkingen: Eerdere geünificeerde frameworks (bijv. UniScene) worden beperkt door een beperkte scenario-diversiteit en dataset-schaal, wat hun bruikbaarheid voor grootschalige downstream-taken in de weg staat.

2. Methodologie: UniScenev2

Het artikel stelt UniScenev2 voor, een geünificeerd, occupancy-gericht framework ontworpen voor grootschalige 4D-generatie van dynamische scènes. Het systeem synthetiseert hoogwaardige semantische occupancy, multi-view video's en LiDAR-puntenwolken via een hiërarchische, ruimtetijd-gedecupleerde architectuur.

A. Dataset: Nuplan-Occ

Om data-schaarste te overwinnen, hebben de auteurs Nuplan-Occ samengesteld, het grootste semantische occupancy-dataset tot nu toe.

• Schaal: Het bevat ongeveer 19× meer geannoteerde scènes en 18× meer frames dan Nuscenes-Occupancy, met in totaal ~3,6 miljoen frames met hoge-resolutie voxel-annotaties (400×400×32).
• Annotatiestrategie: Het dataset maakt gebruik van een Foreground-Background Separate Aggregation (FBSA)-pipeline:
  1. Scheiding: Puntenwolken worden gescheiden in achtergrond (statisch) en voorgrond (dynamische objecten) op basis van bounding boxes.
  2. Aggregatie & Registratie: Achtergrondpunten ondergaan statistische filtering en iteratieve registratie (Kiss-ICP) om ruis te reduceren en geometrie uit te lijnen. Voorgrondpunten worden geaggregeerd in lokale coördinaten.
  3. Reconstructie: Neural Kernel Surface Reconstruction (NKSR) wordt gebruikt om dichte meshes te genereren voor zowel achtergrond als objecten.
  4. Labeling: Een hybride labeling-benadering combineert bounding box-annotaties voor voorgrondobjecten en BEV-kaartannotaties voor achtergrondregio's om precieze semantische labels toe te wijzen.

B. 4D Occupancy Generatie

Het framework decomposeert 4D-synthese van scènes in twee complementaire taken met behulp van een Ruimtetijd-Gedecupleerde Architectuur:

1. Ruimtelijke Expansie: Een ruimtelijke occupancy Diffusion Transformer (DiT) genereert uitgebreide globale semantische occupancy-roosters vanuit ruis of optionele BEV-layouts.
2. Temporele Voorspelling: Een temporele occupancy DiT voorspelt toekomstige occupancy-sequenties op basis van statische ego-beweging en dynamische objectbeweging.

• Data-filtering: Om deze onderscheiden componenten te trainen, wordt het dataset gefilterd: Ruimtelijke data omvat scènes met ego-voertuigbeweging, terwijl temporele data scènes omvat waarbij de ego stilstaat maar het omringende verkeer beweegt.
• Architectuur: Het systeem maakt gebruik van een 4D Occupancy VAE (met 3D CNN en axiale attention) voor compressie en een DiT-ruggengraat voor denoising.

C. Multi-View Video Generatie

Om de kloof tussen 3D-occupancy en 2D-video te overbruggen, introduceren de auteurs een Gaussian Splatting-gebaseerde Strategie voor het Renderen van Sparse Point Maps:

• Sparse Rendering: Occupancy-roosters worden omgezet in 3D-Gaussian-primitieven en gerenderd naar sparse semantische en dieptepuntenkaarten. Een kleine Gaussian-schaal (0,01) wordt gebruikt om geometrische precisie te waarborgen.
• Robuuste Kalibratie: Om sensor-misalignement en lensdistortie in grootschalige data (Nuplan) aan te pakken, wordt een Unscented Transform (UT) geïntegreerd in de projectie-pipeline. Dit benadert de distributie van 3D-Gaussians onder niet-lineaire camera-modellen, waardoor een precieze uitlijning met multi-view afbeeldingen wordt gewaarborgd.
• Generatie: Deze gerendeerde kaarten dienen als robuuste conditionele begeleiding voor een Video Diffusion Transformer (DiT), die multi-view video's synthetiseert.

D. LiDAR Puntenwolk Generatie

Om realistische LiDAR-data te simuleren, hanteert het framework een Sensor-specifieke Embedding-strategie:

• Sensorbewustzijn: Het model codeert expliciet LiDAR-sensorrig-data (positie en straalgeometrie) met behulp van Fourier-encoding en Plücker-coördinaten.
• Flexibele Simulatie: Een hersampleerend netwerk genereert een uniforme LiDAR-rig embedding, waardoor het model flexibel verschillende LiDAR-configuraties en patronen kan simuleren.
• Ray Smoothness Regularisatie: Een nieuwe loss-term moedigt dieptegladheid aan tussen stralen met vergelijkbare histogramkenmerken, wat de continue aard van LiDAR-scanlijnen op vlakke oppervlakken (bijv. wegen) nabootst.
• Output: Het model voorspelt diepte, reflectie-intensiteit en straal-dropping-kans voor elke straal.

3. Belangrijkste Bijdragen

1. Schalbaar Geünificeerd Framework: UniScenev2 overwint eerdere schaalbeperkingen door gelijktijdig modelarchitectuur en trainingsdata te schalen, wat leidt tot hoogwaardige generatie van occupancy, video en LiDAR.
2. Ruimtetijd-Gedecoupling: De introductie van een gedecupleerde architectuur en een toewijzige data-filterstrategie maakt robuuste ruimtelijke expansie en temporele voorspelling voor 4D-dynamische scènes mogelijk.
3. Modale-Overbruggingstechnieken:
   • Een Gaussian Splatting-gebaseerde methode voor sparse rendering met Unscented Transform-kalibratie voor ruis-robuste video-conditioning.
   • Een sensor-specifiek embedding-schema voor flexibele en realistische multi-LiDAR-simulatie.
4. Nuplan-Occ Dataset: De release van een massaal, hoge-resolutie semantisch occupancy-benchmark (3,6M frames) met een nieuwe FBSA-annotatiepipeline.

4. Experimentele Resultaten

Uitgebreide experimenten op de Nuplan-Occ mini- en volledige validatiesets tonen superieure prestaties aan:

• Occupancy: Bereikt 98,5% mIoU in reconstructie en 33,41% mIoU in generatie (volledige set), wat UniScene en OccSora significant overtreft.
• Video: Bereikt 7,59 FID en 61,42 FVD op de volledige validatieset, en overtreft state-of-the-art methoden zoals Vista en MagicDrive.
• LiDAR: Bereikt een MMD van 0,575 × 10⁻⁵ op de volledige set, een 54,25% verbetering ten opzichte van UniScene.
• Downstream Bruikbaarheid: Synthetische data gegenereerd door UniScenev2 verbetert downstream planning-metrics (No-At-Fault Collisions en Drivable Area Compliance) op de NAVSIM/Nuplan testset. Het schalen van het gegenereerde datavolume van 10% naar 100% van Nuplan-Occ levert overtuigende verbeteringen in planning-prestaties op.
• Generalisatie: Het model demonstreert sterke generalisatiecapaciteiten op interne datasets met verschillende sensorconfiguraties (6 fisheye-camera's + front LiDAR).

5. Betekenis en Claims

Het artikel claimt dat UniScenev2 een significante vooruitgang vertegenwoordigt in de generatie van rijscènes door de kritieke knelpunten van data-schaarste en modale fragmentatie aan te pakken. Door gebruik te maken van het massale Nuplan-Occ-dataset en een geünificeerde, occupancy-gerichte aanpak, maakt de methode de synthese van diverse, hoogwaardige 4D-dynamische scènes mogelijk. De auteurs stellen dat dit framework niet alleen state-of-the-art generatiefideliteit bereikt, maar ook praktische waarde biedt voor onderzoek in autonoom rijden door de prestaties van downstream perceptie- en planningstaken te verbeteren via schaalbare, hoogwaardige synthetische data.