SuperQuadricOcc: Real-Time Self-Supervised Semantic Occupancy Estimation with Superquadric Volume Rendering

1. Probleemstelling

Autonome voertuigen vereisen nauwkeurige en veilige 3D-scenemodellering voor perceptie. De huidige staat van de kunst voor semantische bezettingschattings (semantic occupancy estimation) verschuift van dichte voxelroosters naar efficiëntere representaties zoals Gaussische verdelingen (Gaussian Splatting).
Hoewel zelftoezicht (self-supervision) aantrekkelijk is omdat het de noodzaak voor arbeidsintensieve handmatige annotatie elimineert en schaalbaarheid voor grotere datasets mogelijk maakt, zijn er twee grote uitdagingen:

1. Rendering voor zelftoezicht: Zelftoezichtmethoden vertrouwen op 2D pseudo-labels (gegenereerd door Vision-Language Models). Om deze te gebruiken, moet een 3D-scenerepresentatie worden gerenderd naar 2D. Bestaande methoden gebruiken vaak Voxels of Gaussians, maar Superquadrieken (een expressieve familie van 3D-vormen) ontberen een native rasterisatiemethode die zowel real-time prestaties als hoge geometrische nauwkeurigheid biedt.
2. Efficiëntie: Bestaande Gaussische methoden vereisen vaak miljoenen primitieven en zware Vision Foundation Models (VFMs) tijdens inferentie, wat de real-time toepasbaarheid en het geheugengebruik beperkt.

Het paper introduceert SuperQuadricOcc (SQOcc) om deze kloof te dichten: de eerste zelftoezichtmodel dat superquadrieken gebruikt voor scenerepresentatie, gekoppeld aan een nieuwe, efficiënte renderingmethode.

2. Methodologie

De aanpak bestaat uit twee hoofdcomponenten: het model voor scenerepresentatie en de nieuwe volume-renderer.

A. Scenerepresentatie met Superquadrieken

In plaats van duizenden Gaussische punten, wordt de scène gerepresenteerd door een set van $N$ superquadriek-primitieven ($S = \{S_i\}$). Elke primitief wordt gedefinieerd door:

• Positie ($m$): Het middelpunt.
• Schaling ($s$): Schaal langs de drie hoofdasen.
• Rotatie ($r$): Een quaternion.
• Vormparameters ($\epsilon$): Controleert de "vierkantheid" en "ronde" van de vorm.
• Dichtheid ($\sigma$): Bezettingswaarschijnlijkheid.
• Semantiek ($c$): Classificatie-informatie.

De bezettingswaarschijnlijkheid op een punt $x$ wordt berekend via een exponentiële vervalformule (analoog aan een Gaussische verdeling maar aangepast voor superquadrieken), wat volledig differentieerbaar is voor gradient-based optimalisatie.

B. SuperQuadricOcc-Render (SQOcc-R)

Dit is de kerninnovatie: een real-time, CUDA-versnelde volume-renderer specifiek ontworpen voor superquadrieken.

• Ruimtelijke Indexering (Spatial Indexing): Om de berekeningstijd te beperken, wordt de scène geparametriseerd als een voxelrooster. Voor elke superquadriek wordt een tensor geconstrueerd die de voxelindices binnen een lokaal kubisch buurtgebied ($N_v$) opslaat.
• Hashing en Query: Drie indextensors ($V_{sq}, V_f, V_n$) worden gebruikt om een efficiënte mapping te maken van voxelindices naar de relevante superquadrieken.
• Ray Casting: Tijdens het renderen van een straal (ray), wordt alleen gekeken naar superquadrieken in het directe buurtgebied van het straalmonster. Dit elimineert de noodzaak om elke straal te laten interageren met elke primitief in de scène (wat $O(N)$ zou zijn), en reduceert dit naar een lokaal probleem.
• Forward/Backward Pass: De renderer berekent de transmissie en alpha-compositing voor diepte en semantiek. De backward pass (voor backpropagation) is geoptimaliseerd om gradients direct naar de superquadriekparameters te propageren, hoewel dit momenteel nog een bottleneck is tijdens training.

C. Model Architectuur

Het model (SQOcc) is gebaseerd op de architectuur van GaussianFlowOcc, maar aangepast voor superquadrieken:

• Backbone: ResNet-50 voor feature-extractie uit camera-beelden.
• Transformer: Verwerkt temporele en ruimtelijke interacties om de parameters van de superquadrieken iteratief te verfijnen.
• Temporele Flow: Een module die de positie van de primitieven voorspelt over een tijdsvenster, wat essentieel is voor consistente beweging in video-data.

3. Belangrijkste Bijdragen

1. SQOcc: Het eerste zelftoezichtmodel voor semantische bezetting dat superquadrieken gebruikt als scène-representatie. Dit biedt een compactere en expressievere vorm dan voxels of Gaussians.
2. SQOcc-R (Renderer): Een real-time volume-renderer die ruimtelijke indexering gebruikt om duizenden primitieven efficiënt te beheren. Het behoudt de geometrische nauwkeurigheid van superquadrieken zonder tussenkomst van een voxel- of Gaussische proxy.
3. State-of-the-Art Prestaties: Het bereiken van nieuwe records op de Occ3D-nuScenes dataset met aanzienlijk minder geheugengebruik en snellere inferentie dan bestaande methoden.

4. Resultaten

De methoden zijn geëvalueerd op de Occ3D-nuScenes en OpenOccv2 datasets.

• Prestaties (mIoU & RayIoU):

  • SQOcc bereikt 17.14 mIoU en 17.26 RayIoU op Occ3D-nuScenes.
  • Dit is een verbetering van 2.4% ten opzichte van eerdere werken (zoals GaussianFlowOcc en TT-Occ) zonder gebruik te maken van zware foundation models tijdens inferentie.
  • Op RayIoU (een maatstaf voor scène-completie) presteert het model significant beter dan concurrenten, wat aangeeft dat het de scène vollediger en nauwkeuriger reconstrueert.

• Efficiëntie:

  • Inferentie Snelheid: Real-time prestaties van 21.5 FPS (voor zes camera's).
  • Geheugengebruik: Slechts 0.70 GB geheugen tijdens inferentie. Dit is een reductie van 92.9% vergeleken met TT-Occ (die 9.9 GB gebruikt).
  • Primitieven: Het model gebruikt slechts 1.600 superquadrieken, vergeleken met miljoenen Gaussische punten in andere methoden (bijv. TT-Occ gebruikt ~2.9 miljoen).

• Rendering Kwaliteit:

  • Vergelijkingen met alternatieve renderingmethoden (zoals het omzetten van superquadrieken naar Gaussians of Voxels) tonen aan dat SQOcc-R superieure geometrische nauwkeurigheid behoudt, vooral voor kleine en dunne objecten (zoals palen en voertuigen), waar proxy-methoden vaak falen.

5. Betekenis en Conclusie

Dit paper toont aan dat superquadrieken een krachtig alternatief zijn voor Gaussische verdelingen in de context van autonome rijperceptie. De belangrijkste doorbraak is het overwinnen van het rendering-probleem voor superquadrieken via de SQOcc-R renderer.

• Schalbaarheid: Door het gebruik van ruimtelijke indexering kan het systeem duizenden primitieven real-time renderen, wat essentieel is voor complexe omgevingen.
• Praktische Toepasbaarheid: De combinatie van lage geheugeneisen, hoge snelheid en hoge nauwkeurigheid maakt deze techniek zeer geschikt voor inbedding in real-time autonome rijsystemen.
• Toekomst: Hoewel de backward pass tijdens training nog traag is door atomische optellingen, biedt de directe rendering van superquadrieken een pad naar nog betere prestaties dan huidige rasterisatie-methoden, en moedigt het verder onderzoek in deze richting aan.

Kortom, SuperQuadricOcc bewijst dat een compacte, vorm-gebaseerde representatie (superquadrieken) gecombineerd met een efficiënte volume-rendering-strategie leidt tot superieure 3D-perceptie voor zelfrijdende auto's.