Technische Samenvatting: QueryOcc

Probleemstelling

Het leren van 3D-scènegeometrie en -semantiek uit afbeeldingen is een fundamentele uitdaging voor autonoom rijden, maar grootschalige 3D-annotatie is evenredig duur. Bestaande zelfgesuperviseerde benaderingen kampen met significante beperkingen:

1. Rendering-gebaseerde methoden: Deze vertrouwen op 2D-beeldreconstructieconsistentie. Hoewel schaalbaar, bieden ze slechts indirecte geometrische signalen waarbij de 3D-structuur een bijproduct is van beeld-synthese in plaats van een expliciet leertarget. Ze zijn vaak afhankelijk van extern geschatte dieptekaarten voor stabiliteit.
2. Lidar-gebaseerde methoden: Deze bieden expliciete 3D-supervisie maar vertrouwen op het discretiseren van geaggregeerde puntenwolken in vooraf gedefinieerde voxelgrids. Deze aanpak beperkt de ruimtelijke precisie, schaalbaarheid en het vermogen om onbegrensde scènes efficiënt te representeren.

Het paper stelt dat directe supervisie in continue 4D ruimte-tijd duidelijkere geometrische feedback biedt voor zelfgesuperviseerd 3D-semantisch occupancy-leren dan rendering-gebaseerde of gevoxeliseerde lidar-methoden.

Methodologie: QueryOcc

QueryOcc is een query-gebaseerd zelfgesuperviseerd framework dat continue 3D semantische occupancy direct leert van multi-view afbeeldingen (en optioneel lidar) zonder rendering-losses of voxelaggregatie.

1. Modelarchitectuur

Het framework volgt een modulaire vierfasen-pipeline:

• Afbeelding-encoding: Multi-view afbeeldingen worden verwerkt door een pre-trained backbone om dense features te extraheren. Camera-kalibratieparameters worden gecodeerd via een lichtgewicht MLP om camera-specifieke context te bieden.
• Lift-Contract-Splat (LCS): Dit is de kerninnovatie voor het afhandelen van onbegrensde scènes. Het breidt de Lift-Splat-Shoot (LSS) formulering uit met drie sleutelcomponenten:
  • Point-wise Encoding: In plaats van ruwe features te splatten, codeert het model expliciet zichtbaarheid, onzekerheid en temporele cues met behulp van een leerbare functie. Dit maakt de representatie van zowel bezette als niet-geobserveerde regio's mogelijk.
  • Log-Lineaire Diepte Binning: Om een balans te vinden tussen nabijveld-resolutie en verreveld-dekking, gebruiken dieptebins exponentieel toenemende tussenruimtes buiten een nabijveldregio ($d_{near}$), in plaats van uniforme tussenruimtes.
  • As-georiënteerde Contractie: Om een constante geheugen- en rekenkracht te behouden, ongeacht de scène-omvang, comprimeert een as-georiënteerde contractiefunctie verre regio's terwijl hoge-resolutie details nabij het voertuig behouden blijven. Dit voorkomt de kwadratische geheugengroei die geassocieerd wordt met expanderende BEV-grids.
• BEV Feature Processing: De gecontracteerde BEV-features worden verwerkt met ResBlocks en multi-scale deformable attention om lokale en globale afhankelijkheden te vangen, inclusioneel dynamische convoluties om zich aan te passen aan de lokale schaling van de contractie.
• Unified Query Decoder: Een lichtgewicht decoder voorspelt occupancy en semantiek voor willekeurige 4D queries ($q = [x, y, z, t]^\top$). Queries worden gecontracteerd om uit te lijnen met de BEV-ruimte, gecodeerd door een MLP, en gefuseerd met geïnterpoleerde BEV-features. De decoder voorspelt offsets om features uit nabijgelegen locaties te extraheren (vergelijkbaar met deformable attention) voordat de uiteindelijke voorspellingen worden gegenereerd.

2. Zelfgesuperviseerde Training

Het framework opereert direct in continue 4D ruimte-tijd en genereert supervisie vanuit puntenwolken die door de tijd heen zijn geobserveerd.

• Supervisiebronnen:
  • Camera-only: Pseudo-puntenwolken worden gegenereerd door pixels in 3D te liften met behulp van metrische diepte voorspeld door een Vision Foundation Model (VFM). Deze worden gekoppeld aan semantische pseudo-labels of dense VFM-features.
  • Camera-Lidar: Echte lidar-puntenwolken dienen als expliciete geometrische supervisie, geprojecteerd in camera-views om semantische labels of features op te halen.
  • Unified: Een combinatie van beide bronnen.
• Query Generatie: Supervisie wordt toegepast via spatio-temporele 4D queries gesampled uit de puntenwolken:
  • Negatieve (Onbezet) Queries: Gesampled langs de straal vanaf de sensor-oorsprong tot aan het geobserveerde punt.
  • Positieve (Bezet) Queries: Gesampled binnen een bufferzone achter het geobserveerde punt.
• Loss Functie: Het model wordt getraind met een combinatie van binary cross-entropy voor occupancy, categorical cross-entropy voor semantiek en L1 loss voor VFM-feature distillatie.

Belangrijkste Bijdragen

1. QueryOcc Framework: Een flexibel, query-gebaseerd framework dat continue 3D semantische occupancy leert van multi-view afbeeldingen zonder rendering-losses of lidar-voxelisatie.
2. Unbounded Contractive Representation: Een nieuwe scène-representatie die details in het nabijveld behoudt terwijl verre regio's vloeiend worden gecomprimeerd, wat langere-afstand supervisie mogelijk maakt onder constante geheugengebruik. Dit wordt gekoppeld aan een "lift-contract-splat" mechanisme om afbeelding-features in deze ruimte te liften.
3. State-of-the-Art Prestaties: De methode behaalt superieure resultaten op de zelfgesuperviseerde Occ3D-nuScenes benchmark, waarbij zij voorgaande methoden met 26% verslaat in semantische RayIoU terwijl real-time inferentie (11.6 FPS) behouden blijft.

Experimentele Resultaten

Geëvalueerd op de Occ3D-nuScenes benchmark:

• Prestaties: QueryOcc bereikt een semantische RayIoU van 23,6% (en 25,8% voor de verbeterde QueryOcc+ variant), waarmee de vorige beste zelfgesuperviseerde methode (GaussianFlowOcc) met 26% verslaat. Het verbetert ook de occupancy RayIoU met 25%.
• Efficiëntie: Het model draait op 11,6 FPS op een A100 GPU met een totale latentie van 86ms, wat aanzienlijk sneller is dan rendering-gebaseerde NeRF-benaderingen (bijv. 1,2 FPS voor SelfOcc).
• Robuustheid: Het model presteert goed over diverse klassen, waarbij het met name uitblinkt in kleine en dunne categorieën (bijv. verkeerskegels, voetgangers). Het is robuust tegen de keuze van de image encoder (bijv. ConvNeXt-Base of ResNet-50).
• Ablatie-studies:
  • Directe query-gebaseerde supervisie presteert aanzienlijk beter dan rendering-gebaseerde supervisie (23,6 vs. 15,0 RayIoU), wat aangeeft dat 2D-reconstructie zwakkere geometrische restricties biedt.
  • Alle voorgestelde componenten (log-lineaire bins, contractie, point encoding) dragen bij aan de prestatiewinst.
  • Het combineren van camera- en lidar-supervisie levert de beste resultaten op, waarbij dense semantische cues effectief worden gefuseerd met accurate geometrie.
  • Prestaties schalen met hogere inputresolutie en aanvullende datasets (bijv. Argoverse 2), wat een sterke data-efficiëntie en cross-domain generalisatie aantoont.

Betekenis

Het paper claimt dat QueryOcc een nieuwe benchmark vestigt voor zelfgesuperviseerd 3D-scènebegrip vanuit camera's. De betekenis ligt in het bewijs dat directe 4D query-gebaseerde zelfgesupervisie een robuuste basis is voor grootschalig leren, omdat het duidelijkere geometrische feedback biedt dan rendering-gebaseerde methoden. Door de noodzaak voor voxelisatie en rendering-losses te elimineren, bereikt het framework een balans tussen hoge geometrische nauwkeurigheid, computationele efficiëntie en het vermogen om over onbegrensde scènes te redeneren. Het werk benadrukt dat continue 4D supervisie een sterke leerervaring mogelijk maakt voor zowel geometrie als semantiek als expliciete targets, in plaats van als bijproducten van beeld-synthese.