Technische Samenvatting: OccAnyScene

Probleemstelling

3D semantische occupancy-voorspelling is essentieel voor holistische scène-begrip in autonoom rijden en embodied AI. De huidige methoden zijn echter overwegend scène-specifiek, ontworpen voor vaste protocollen met betrekking tot ruimtelijke bereiken, voxelresoluties, cameraconfiguraties en semantische taxonomieën. Deze specialisatie belemmert de ontwikkeling van algemene 3D-perceptie.

Het artikel introduceert Cross-Scene 3D Semantic Occupancy Prediction, een nieuwe taakinstelling die vereist dat één enkel model gelijktijdig heterogene binnen- en buitenomgevingen kan verwerken. Deze instelling vormt een fundamentele uitdaging: het bereiken van een metrisch consistente doch scène-adaptieve image-to-3D lifting.

• Metrische inconsistentie: Binnenscènes (bijv. kamers) vereisen fijnmazige, kort-bereik perceptie, terwijl buitenscènes (bijv. straten) grofmazige, lang-bereik perceptie vereisen.
• Problemen met parametrisatie: Bestaande Gaussian-gebaseerde methoden hebben moeite omdat de absolute offsets en schalen die nodig zijn voor occlusie-completie aanzienlijk variëren tussen domeinen. Een gedeelde absolute parametrisatie is moeilijk te leren vanwege verschillende camera-intrinsieken en scènedieptes.

Methodologie: OccAnyScene

Om deze uitdagingen aan te pakken, stellen de auteurs OccAnyScene voor, een pixel-frustum-gecentreerd Gaussian framework gebouwd op een vooraf getraind diepte-fundamenteel model (bijv. DepthAnythingV2/V3). Het framework behandelt de eindige 3D-frustum geassocieerd met elke feature-pixel als de basisunit voor het construeren van een continue scène-representatie, in plaats van te vertrouwen op vaste voxelgrids of enkele stralen.

De architectuur bestaat uit twee primaire modules:

1. Pixel-Aligned Frustum Feature Aggregation (PFFA)

Deze module construeert een camera-bewuste frustum-query voor elke feature-pixel om over occlusie-regio's te redeneren.

• Input: Het neemt densiteit geometrische features ($F_{geo}$) van de DPT-head van het diepte-fundamentele model en visuele tokens van de ViT-encoder.
• Initialisatie: Een pixel-query wordt geïnitialiseerd met behulp van geometrische cues en de camera-straalrichting afgeleid van intrinsieken.
• Context Aggregatie: De module herstelt sequentiële ViT-tokens naar een 2D-grid en voert pixel-aligned deformable cross-attention uit. Dit aggregeert omliggende semantische en structurele cues rond de feature-pixel, wat een frustum-query produceert die zichtbare oppervlakte-geometrie, kijkgeometrie en lokale context codeert.

2. Frustum-Parameterized Gaussian Construction (FPGC)

Deze module decodeert elke frustum-query naar meerdere Gaussian primitieven ($K$ Gaussians per pixel) met posities en schalen die worden beperkt door de voorspelde pixeldiepte en frustum-geometrie.

• Diepte-verankering: Om metrische consistentie te garanderen over datasets met variërende intrinsieken, voorspelt het model een canonieke camera-oppervlaktediepte ($D_{surf}$) met behulp van een lichtgewicht MLP. Dit dient als een gemeenschappelijke diepte-anker.
• Positionering:
  • Diepte-incrementen ($\Delta d_{p,k}$): In plaats van alle Gaussians op het oppervlak te plaatsen, voorspelt het model diepte-incrementen om de representatie vanuit zichtbare oppervlakken uit te breiden naar occlusie-regio's.
  • Subpixel Offsets ($\Delta u_{p,k}$): Om rekening te houden met de grove aard van gedownsamplede feature-pixels, maken begrensde subpixel-offsets het mogelijk dat de centra van de Gaussians zijdelings verschuiven binnen de corresponderende pixel-frustum.
• Schaal-parametrisatie: Om te voorkomen dat instabiele absolute schalen geleerd worden, gebruikt het model een frustum-relatieve schaal. Het berekent een scalaire frustum-schaalreferentie ($b_{p,k}$) op basis van de metrische dwarsdoorsnede van de frustum op de diepte van de Gaussian. De decoder voorspelt vervolgens een dimensieloze relatieve schaal ($\hat{s}_{p,k}$), die vermenigvuldigd wordt met de referentie om de uiteindelijke Gaussian-grootte te bepalen. Dit past de ruimtelijke ondersteuning automatisch aan verschillende camera-parameters en scène-bereiken aan.
• Output: De resulterende Gaussians worden naar scène-specifieke semantische taxonomieën gemapt via leerbare taxonomie-matrices en gesplat op het doel-voxelgrid.

Belangrijkste Bijdragen

1. Taakdefinitie: Het artikel introduceert formeel Cross-Scene 3D Semantic Occupancy Prediction, een instelling waarbij één enkel model gezamenlijk moet leren van heterogene binnen- en buitenomgevingen met verschillende protocollen.
2. Framework Design: De voorstel van OccAnyScene, een pixel-frustum-gecentreerd Gaussian framework. Het verenigt occupancy-voorspelling door:
   • PFFA: Voor het construeren van frustum-queries die over occlusies redeneren.
   • FPGC: Voor scène-adaptieve Gaussian-constructie die posities en schalen parametriseert relatief aan de frustum-geometrie, wat stabiliteit mogelijk maakt over variërende schalen en intrinsieken.
3. Prestaties: Uitgebreide experimenten tonen aan dat OccAnyScene state-of-the-art (SOTA) resultaten behaalt op zowel indoor (Occ-ScanNet) als outdoor (SurroundOcc-nuScenes) benchmarks. Cruciaal is dat het cross-scene model vergelijkbaar presteert met afzonderlijk getrainde scène-specifieke modellen, wat bewijst dat een verenigd model diverse omgevingen kan afhandelen zonder significante prestatievermindering.

Experimentele Resultaten

• Indoor (Occ-ScanNet): Het model behaalt 59.51% mIoU in de cross-scene instelling met de DAv3 encoder, wat bijna overeenkomt met de scène-specifieke prestatie (59.92% mIoU) en andere cross-scene adaptaties overtreft (bijv. SplatSSC† daalt aanzienlijk).
• Outdoor (SurroundOcc-nuScenes): Het model behaalt 22.87% mIoU in de cross-scene instelling met de DAv3 encoder, eveneens vergelijkbaar met zijn scène-specifieke tegenhanger (23.06% mIoU) en superieur aan aangepaste baselines.
• Efficiëntie: OccAnyScene-DAv2 demonstreert hoge efficiëntie met 98.2M parameters, 86.4ms inferentietijd en 670 MiB geheugengebruik op een RTX 4090, wat het geheugengebruik met meer dan 80% vermindert vergeleken met eerdere werken zoals EmbodiedOcc en SplatSSC.
• Ablatie-studies:
  • Het verwijderen van PFFA of FPGC leidt tot significante prestatiedalingen, wat de noodzaak van frustum-gebaseerde feature-aggregatie en parametrisatie bevestigt.
  • De "frustum-relatieve schaal" en "diepte-incrementen" zijn cruciaal voor het afhandelen van metrische variaties en occlusie-completie.
  • Het verhogen van het aantal Gaussians per pixel ($K$) van 1 naar 3 levert slechts marginale winst op, wat suggereert dat occlusie-completie grotendeels wordt bereikt door de collectieve bijdrage van naburige pixels in plaats door diepe stapeling binnen een enkele frustum.

Betekenis en Claims

Het artikel claimt dat OccAnyScene succesvol de moeilijkheid van cross-scene occupancy-voorspelling aanpakt door af te stappen van vaste ruimtelijke representaties en over te gaan naar een geometrische referentie die zich aanpast aan camera-geometrie en scène-bereik.

De auteurs stellen dat hun aanpak het mogelijk maakt om kamer-schaal en straat-schaal occupancy-voorspelling te consolideren in een enkel feed-forward model. Dit elimineert de noodzaak om aparte modellen voor verschillende omgevingen te onderhouden en te wisselen, waardoor de implementatie en schaalbaarheid voor autonome systemen die in diverse settings opereren, wordt vereenvoudigd. Het werk demonstreert dat met de juiste geometrische parametrisatie (pixel-frustum-gecentreerd), een verenigd model prestaties kan leveren die vergelijkbaar zijn met gespecialiseerde modellen, terwijl een hoge computationele efficiëntie behouden blijft.

Erkende Beperkingen:
De auteurs merken op dat de huidige evaluatie beperkt is tot twee datasets (Occ-ScanNet en SurroundOcc-nuScenes) en nog niet aantoont te generaliseren naar willekeurige ongeziene scènes. Daarnaast dekt de pixel-frustum representatie inherent alleen regio's binnen de gezichtsvelden van de camera; gaten tussen camera's in surround-view opstellingen worden opgevuld door een kleine set aanvullende ruimtelijke queries, wat een minimale impact heeft op de geaggregeerde metrieken maar wijst op een beperking voor het volledig dekken van regio's buiten het camera-zichtveld.