💻 computer science

RayOcc: Occlusion-Aware Ray Occupancy Estimation via Gaussian Mixture Intensity

RayOcc is een camera-gebaseerd 3D semantisch occupancy-voorspellingsframework dat diepte-ambiguïteit en occlusie aanpakt door stralen te modelleren als multi-label existentieproblemen met behulp van Gaussian mixture-intensiteiten en Poisson-eventformuleringen, waardoor de coëxistentie van meerdere bezette hypothesen mogelijk wordt gemaakt en state-of-the-art prestaties op de nuScenes-benchmark worden behaald.

Oorspronkelijke auteurs: Junho Kim, Seongwon Lee

Gepubliceerd 2026-07-21

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junho Kim, Seongwon Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een 3D-model van een drukke stadsstraat probeert te bouwen, maar je hebt alleen een set platte, 2D-foto's die vanuit verschillende hoeken zijn genomen. Dit is de dagelijkse uitdaging voor zelfrijdende auto's: ze moeten de volledige 3D-wereld begrijpen — waar de auto's zijn, waar de stoepen ophouden en hoe ver de bomen weg zijn — met alleen camera's, zonder dure laserscanners. Dit veld wordt "3D semantic occupancy prediction" genoemd. Denk eraan als het proberen te raden van de vorm van een verborgen object in een mistige doos door alleen naar de schaduw te kijken. Het lastige deel is "occlusie", wat gewoon een deftig woord is voor dingen die andere dingen blokkeren. Als een grote vrachtwagen voor een klein hek staat, ziet een camera de vrachtwagen, maar het hek is erachter verborgen. In de echte wereld bestaan zowel de vrachtwagen als het hek langs dezelfde zichtlijn, maar het duurde lang voordat computerprogramma's beide tegelijkertijd konden zien. Ze waren gedwongen om voor elke zichtlijn slechts één "winnaar" te kiezen, waarbij ze vaak het verborgen hek vergaten of de verkeerde afstand raadden.

Dit is waar een nieuwe methode genaamd RayOcc in beeld komt om het spel te veranderen. In plaats van de computer te dwingen om één enkele "beste gok" te maken voor wat er langs een zichtlijn ligt, staat RayOcc het systeem toe om tegelijkertijd meerdere mogelijkheden te visualiseren. Het behandelt de ruimte langs het gezichtsveld van een camera als een reeks potentiële "gebeurtenissen" die zouden kunnen plaatsvinden, in plaats van een enkele keuze. Door een slimme wiskundige truc te gebruiken die "Gaussian mixtures" betreft (wat je kunt zien als overlappende wolken van waarschijnlijkheid) en een "Poisson event"-model (zoals het tellen van hoeveel regendruppels een specifieke plek kunnen raken), kan RayOcc zeggen: "Er is een hoge kans op een vrachtwagen hier, en ook een hoge kans op een hek daarachter." De onderzoekers testten dit op de nuScenes-dataset, een enorme collectie rijscènes, en ontdekten dat hun methode veel schonere, nauwkeurigere 3D-kaarten maakt dan eerdere benaderingen, vooral in drukke of lastige scènes waar dingen achter andere dingen verborgen zijn.

Het Probleem: De "Eén Winnaar"-regel

Om te begrijpen waarom RayOcc bijzonder is, moeten we eerst kijken naar hoe computers gewoonlijk proberen om in 3D te "zien". Stel je voor dat je in een lange, rechte gang naar benoch kijkt. Op de oude manier van doen zou de computer naar die gang kijken en zeggen: "Oké, ik zie een muur op 10 meter." Het zou die enkele afstand kiezen en de rest negeren. Als er eigenlijk een stoel op 5 meter stond en een schilderij op 15 meter, zou de computer in de war kunnen raken, of hij zou simpelweg de stoel kunnen kiezen en doen alsof het schilderij niet bestaat.

Dit gebeurt omdat de meeste bestaande methoden een regel gebruiken die "softmax normalization" wordt genoemd. Denk hierbij aan een taart. Als je een taart hebt en je snijdt er stukken van voor elke mogelijke afstand, moet de totale grootte van de taart altijd 100% zijn. Als je een enorm stuk geeft aan de "stoel op 5 meter", blijft er bijna geen taart over voor het "schilderij op 15 meter". De computer is gedwongen om de stukken tegen elkaar te laten strijden. Als de stoel groot is, wordt het schilderij uitgehongerd. Dit werkt prima als er slechts één object is, maar in een echte stad passeert een enkele zichtlijn vaak een auto, dan een hek, en dan een gebouw. Het dwingen van deze objecten om te vechten voor een enkel stuk van de taart leidt tot kapotte, rommelige 3D-modellen waarbij dunne objecten verdwijnen of de geometrie gefragmenteerd oogt.

De Oplossing: Laat Meerdere Hypothesen Bestaan

RayOcc gooit de "één taart"-regel overboord. In plaats van te vragen: "Welk object is hier?", vraagt het: "Hoeveel objecten zouden hier kunnen zijn, en hoe sterk is het bewijs voor elk?"

De auteurs introduceren een concept genaamd Gaussian Mixture Intensity. Stel je voor dat je weer met een zaklamp door die gang schijnt. In plaats van een enkel punt op de muur te schilderen, spuit de zaklamp een mist van "intensiteit" langs de hele straal. Deze mist kan meerdere pieken hebben. Eén piek kan dik en helder zijn waar de vrachtwagen staat, en een andere piek kan iets minder fel zijn maar nog steeds duidelijk zichtbaar waar het hek erachter staat. Omdat deze "intensiteit" niet gedwongen wordt om op een vast totaal te komen (zoals de taart), steelt de vrachtwagen niet het licht van het hek. Ze kunnen beide tegelijkertijd sterk aanwezig zijn.

Om deze mist om te zetten in een beslissing, gebruikt RayOcc een Poisson event-formulering. Dit is een statistische manier van denken over willekeurige gebeurtenissen. Stel je voor dat je wacht tot regendruppels een specifiek vierkant op de stoep raken. Als de "intensiteit" van de regen hoog is, is de kans dat er ten minste één druppel op dat vierkant valt erg groot. RayOcc behandelt elk klein segment van de gang als een vierkant op de stoep. Als de "intensiteit" van een object dat door dat segment gaat hoog genoeg is, besluit het systeem: "Ja, iets bezet deze ruimte." Dit stelt het systeem in staat om meerdere segmenten langs dezelfde lijn als "bezet" te markeren zonder dat ze met elkaar in strijd zijn.

Van Wolken naar 3D-Brokken

Zodra het systeem heeft vastgesteld waar de "intensiteitspieken" zich bevinden, moet het de eigenlijke 3D-modellen bouwen. Het paper gebruikt een techniek die gebruikmaakt van 3D Gaussian primitives. Je kunt dit zien als vage, gloeiende 3D-brokken die in de ruimte zweven. Elke brok heeft een centrum, een grootte, een kleur (of semantische label zoals "auto" of "weg") en een transparantie.

In eerdere methoden koos de computer slechts één brok voor elke zichtlijn, meestal gebaseerd op de enkele "beste" diepte-schatting. RayOcc kijkt echter naar zijn meerdere intensiteitspieken. Als het een sterke piek voor een vrachtwagen ziet en een zwakkere maar duidelijke piek voor een hek, hoeft het niet te kiezen. Het kan een brok voor de vrachtwagen genereren en een brok voor het hek. Dit wordt adaptive component-wise sampling genoemd. Het is als een chef die, in plaats van slechts één ingrediënt voor een soep te kiezen, er een paar verschillende toevoegt op basis van hoe sterk hun smaak is, waardoor een rijker en complexer gerecht ontstaat.

Deze brokken worden vervolgens verfijnd en "gerasterd" (op een grid getekend) om de uiteindelijke 3D-kaart te maken die de zelfrijdende auto gebruikt om te navigeren.

De Resultaten: Schonere Kaarten, Beter Rijden

De onderzoekers hebben RayOcc getest op de nuScenes benchmark, een standaard testset die 1.000 rijscènes uit Boston en Singapore bevat. Ze hebben hun methode vergeleken met andere topniveau camera-only systemen.

De resultaten lieten zien dat RayOcc de state-of-the-art prestaties bereikte onder de Gaussian-gebaseerde methoden die zij hebben getest. Specifiek:

Het bereikte een algemene IoU (Intersection-over-Union) van 34,84.
Het bereikte een mIoU (mean IoU) van 22,03.

Om dit in perspectief te plaatsen: de vorige beste methode die een vergelijkbare aanpak gebruikte (VG3T) scoorde 34,06 IoU en 21,74 mIoU. RayOcc verbeterde deze cijfers, wat betekent dat de 3D-kaarten van RayOcc de echte wereld nauwkeuriger weergeven.

Het paper benadrukt dat deze verbetering het meest merkbaar is in occlusieve scènes — plaatsen waar objecten achter anderen verborgen zijn. In visuele vergelijkingen was RayOcc in staat om de volledige vorm van een vrachtwagen te reconstrueren, zelfs wanneer deze naast een dun hek stond, terwijl andere methoden de vorm van de vrachtwagen de neiging hadden om in het hek te "lekken" of het hek geheel te verliezen. RayOcc slaagde er ook in om het aantal 3D-brokken (Gaussians) relatief laag te houden (gemiddeld ongeveer 19.251 per scène), terwijl de hoge nauwkeurigheid behouden bleef, wat suggereert dat het niet simpelweg meer data op het probleem werpt, maar het intelligenter gebruikt.

Waarom dit ertoe doet

De kernbevinding van dit paper is dat volumetrische bezetting een multi-label probleem is, geen single-choice probleem. Door de computer te stoppen met het dwingen van objecten om te strijden om een status van "enkele winnaar" langs een zichtlijn, staat RayOcc een veel realistischere representatie van de wereld toe. Het erkent dat in een drukke stad één blik tegelijkertijd een auto, een voetganger en een gebouw kan onthullen, en dat de computer toegestaan moet worden om in al deze zaken tegelijkertijd te geloven.

De auteurs concluderen dat deze aanpak leidt tot "schonere en ruimtelijk meer consistente bezetting", vooral in uitdagende omgevingen. Hoewel de methode een matige toename van de computationele kosten vereist vergeleken met sommige oudere methoden, is de afweging een aanzienlijk betrouwbaarder begrip van de 3D-wereld, wat cruciaal is voor de veiligheid en planning van autonome voertuigen. Het paper suggereert dat door het wiskundige model af te stemmen op de ware aard van hoe licht en objecten interageren (waar meerdere dingen tegelijkertijd langs één pad kunnen bestaan), we de ogen van onze zelfrijdende auto's slimmer en veiliger kunnen maken.

Technische Samenvatting: RayOcc

Probleemstelling

Camera-only 3D semantische occupancy-voorspelling streeft naar het afleiden van voxel-gewijze scène-semantiek uit multi-view beelden. Deze taak staat echter voor fundamentele uitdagingen door diepte-ambiguïteit en occlusie. Langs een enkele camerastraal kunnen meerdere ruimtelijk gescheiden oppervlakken (bijv. een voertuig op de voorgrond, een dun hekwerk daarachter en verre achtergrondstructuren) op hetzelfde pixel worden geprojecteerd. Bijgevolg is ray-level occupancy-supervisie inherent een multi-label existentieprobleem, waarbij meerdere disjuncte diepte-intervallen langs een enkele straal overeenkomen met bezette regio's.

De meeste bestaande camera-gebaseerde occupancy-methoden erven ray-modelleringstrategieën die ontworpen zijn voor diepte-inschatting. Deze benaderingen discretiseren de diepte doorgaans in bins en voorspellen een softmax-genormaliseerde categorische distributie. Deze formulering dwingt een behoud van waarschijnlijkheidsmassa af, waardoor diepte-intervallen impliciet aan elkaar gekoppeld worden via competitie. Als gevolg hiervan bevoordelen deze methoden één dominante dieptehypothese per straal, wat vaak dunne structuren onderdrukt of geometrie fragmenteert onder complexe occlusie. Dit creëert een mismatch op formuleringniveau: volumetrische occupancy-supervisie vereist het bepalen van de onafhankelijke existentie van regio's, niet het selecteren van één enkel concurrerend resultaat.

Methodologie

De auteurs stellen RayOcc voor, een occlusie-bewust ray-occupancy framework dat ray-modellering herformuleert van diepteselectie naar multi-label existentie-voorspelling. De aanpak bestaat uit vier hoofdfasen:

1. Ray Occupancy Modellering via Gaussian Mixture Intensity

In plaats van een categorische diepteverdeling te voorspellen, schat RayOcc een niet-genormaliseerde Gaussian mixture intensity langs elke straal in.

Feature Extractie: Multi-view beelden worden gecodeerd met een Visual Geometry Grounded Transformer (VGGT) backbone om per-ray feature vectoren te produceren, die worden geconcateneerd met Plücker-coördinaten om geometrische context te injecteren.
Mixture Intensity Netwerk: Voor elke straal voorspelt een netwerk parameters voor $K$ Gaussian componenten (amplitude $a$ , gemiddelde $\mu$ , en standaarddeviatie $\sigma$ ). De continue intensiteitsfunctie $\lambda_r(d)$ wordt gedefinieerd als de som van deze componenten. Cruciaal is dat de amplitudes niet-negatief zijn en niet beperkt zijn tot een som van 1, waardoor meerdere occupancy-hypothesen gelijktijdig een hoge intensiteit kunnen ontvangen.
Poisson Event Formulering: Occupancy binnen elke diepte-bin wordt behandeld als een gebeurtenis (event occurrence). De geïntegreerde intensiteit van een bin wordt via een Poisson-formulering omgezet in een interval-gewijze existentie-waarschijnlijkheid: $p = 1 - \exp(-\Lambda)$ . Dit verwijdert de normalisatiebeperking, waardoor meerdere diepte-bins gelijktijdig een hoge occupancy-waarschijnlijkheid kunnen hebben zonder onderlinge competitie.

2. Adaptieve Component-gewijze Sampling

De voorspelde mixture componenten dienen als kandidaat-occupancy hypothesen om schaarse 3D Gaussian primitives te initialiseren.

Activatie Waarschijnlijkheid: De niet-negatieve amplitude van elke component wordt omgezet in een activatie-waarschijnlijkheid met behulp van een Poisson-achtige mapping ( $q = 1 - \exp(-\beta a)$ ).
Stochastische Sampling: Tijdens de training wordt een binaire gate gesampled uit een Bernoulli-distributie op basis van deze waarschijnlijkheid. Dit maakt het mogelijk dat elke straal een variabel aantal Gaussians instantiëert, wat multi-surface representatie mogelijk maakt onder diepte-ambiguïteit.
Initialisatie: Geselecteerde componenten worden naar 3D-posities gelift met behulp van de ray-oorsprong, richting en het gemiddelde diepte van de component. Een lichtgewicht grid-gebaseerde subsampling-operator verwijdert vervolgens redundante Gaussians om een compact latent pakket te vormen.

3. Verfijning en Rasterisatie

De geïnitialiseerde Gaussian set wordt verfijnd met behulp van een 3D sparse convolutioneel netwerk dat lokale 3D-context incorporeert. Het netwerk voorspelt residuele updates voor positie, schaal, rotatie, opacity en semantische features. Ten slotte worden de verfijnde Gaussians gerasterd in een voxel-gewijze semantische occupancy-grid met behulp van een probabilistische superpositie-operator.

4. Loss Functie

Het model wordt end-to-end getraind met een gewogen som van twee losses:

Occupancy Loss: Een combinatie van gewogen voxel-gewijze cross-entropy en Lovász-Softmax loss om klassenimbalans in de 3D-grid aan te pakken.
Ray Distributie Loss: Een combinatie van Binary Cross-Entropy (BCE) en Dice loss toegepast op de voorspelde per-ray bin occupancy waarschijnlijkheden, gesuperviseerd door binaire ground-truth labels afgeleid van dense occupancy annotaties.

Belangrijkste Bijdragen

Mixture Intensity Netwerk: Een nieuw framework dat niet-genormaliseerde Gaussian mixture intensiteit langs rays voorspelt en geïntegreerde intensiteit mapt naar interval-gewijze existentie-waarschijnlijkheden, waardoor multi-label occupancy expliciet gemodelleerd wordt zonder wederzijdse uitsluiting af te dwingen.
Adaptieve Component-gewijze Sampling: Een mechanisme dat mixture amplitudes omzet in activatie-waarschijnlijkheden, waardoor een variabel aantal Gaussian primitives per straal geïnitieerd kan worden, wat daarmee multi-hypothese diepte-modellering ondersteunt.
State-of-the-Art Prestaties: De methode bereikt superieure prestaties op de nuScenes benchmark vergeleken met bestaande Gaussian-gebaseerde occupancy-methoden.

Experimentele Resultaten

Experimenten werden uitgevoerd op de nuScenes benchmark met behulp van de dense 3D semantische occupancy annotaties van SurroundOcc.

Algemene Prestaties: RayOcc bereikte een state-of-the-art IoU van 34,84 en mIoU van 22,03 onder de vergeleken Gaussian-gebaseerde methoden. Dit is een verbetering ten opzichte van VG3T (34,06 IoU, 21,74 mIoU) en GaussianFormer-2 (30,56 IoU, 20,02 mIoU).
Initialisatie Kwaliteit: In ablatie-studies die Gaussian sampling strategieën vergeleken, demonstreerde RayOcc significant hogere plaatsingsnauwkeurigheid. Het percentage Gaussians geplaatst binnen bezette voxels steeg van 28,85% (GaussianFormer-2) naar 61,07%, terwijl de gemiddelde afstand tot het dichtstbijzijnde bezette voxelcentrum afnam van 1,24m naar 0,70m.
Efficiëntie: Ondanks het feit dat er gemiddeld meer Gaussians per scène geïnitieerd worden (19.251 vs. 13.661 voor VG3T) om multi-hypothese modellering te ondersteunen, bereikte RayOcc een lagere latentie (243ms vs. 223ms voor VG3T) en competitief geheugengebruik, wat een effectieve afweging aantoont tussen representatiecapaciteit en computationele kosten.
Kwalitatieve Verbeteringen: Visualisaties geven aan dat RayOcc schonere, meer ruimtelijk consistente occupancy produceert, met name in geoccludeerde regio's. Het herstelt objecten (bijv. vrachtwagens) coherenter nabij dunne structuren (bijv. hekwerken) en vermindert spuria (valse) voorspellingen vergeleken met single-depth initialisatie methoden.

Betekenis

Het artikel beweert dat RayOcc een fundamenteel probleem op formuleringniveau aanpakt in camera-only 3D occupancy-voorspelling: de mismatch tussen single-depth ray lifting en de multi-label aard van volumetrische occupancy. Door ray-modellering te herformuleren zodat meerdere occupancy-hypothesen kunnen co-existeren zonder te imploderen naar een enkele dominante piek, biedt RayOcc meer betrouwbare geometrische voorspellingen onder diepte-ambiguïteit en occlusie. De methode demonstreert dat het afstappen van genormaliseerde categorische diepteverdelingen naar niet-genormaliseerde intensiteitsmodellering de initialisatie van schaarse 3D primitives en de uiteindelijke semantische occupancy nauwkeurigheid aanzienlijk verbetert.