💻 computer science

VEOcc: Voxel-Centric Online Semantic Occupancy Prediction For Embodied Scene Understanding

VEOcc is een voxelcentrisch online framework dat state-of-the-art prestaties bereikt in autonome exploratie door open-ended kaartuitbreiding mogelijk te maken zonder vooraf gedefinieerde scenes-priors en door gebruik te maken van een nieuwe ruimtetijd-updatestrategie om ruisige temporale waarnemingen robuust te aggregeren voor nauwkeurige embodied scene-interpretatie.

Oorspronkelijke auteurs: Ruoyu Wang, Yong Liu, Sheng Tao, Yuhang Lin, Yukai Ma

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ruoyu Wang, Yong Liu, Sheng Tao, Yuhang Lin, Yukai Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die voor het eerst een nieuw, donker huis verkent. Het doel is om een volledig driedimensionaal mentaal kaartbeeld van de kamer te bouwen, waarbij het precies weet waar de muren, stoelen en tafels staan en waaruit ze zijn gemaakt, terwijl het rondloopt.

Dit artikel introduceert een nieuw systeem genaamd VEOcc dat robots helpt dit veel beter te doen dan voorheen. Hieronder wordt uitgelegd hoe het werkt, in eenvoudige bewoordingen:

Het Probleem: De "Bult" versus het "Rooster"

Eerdere methoden probeerden deze kaart te bouwen met zwevende "bulten" (zogenaamde Gaussians). Stel je voor dat je een gedetailleerd model van een huis probeert te bouwen met alleen zwevende, zachte marshmallows.

Het Probleem: Marshmallows zijn glad en rond. Ze zijn geweldig voor zachte wolken, maar verschrikkelijk voor scherpe hoeken, dunne muren of de rand van een tafel. Ze vereisen bovendien dat je de grootte van het huis van tevoren raadt, wat moeilijk is als je er nog nooit bent geweest.

VEOcc verandert het spel door een 3D-rooster te gebruiken (zoals een gigantische, onzichtbare Lego-structuur).

Het Voordeel: In plaats van zachte bulten gebruikt het kleine, harde kubussen (voxels). Dit is perfect voor het vastleggen van scherpe randen, hoeken en vlakke muren. Het hoeft de grootte van het huis niet van tevoren te raden; het voegt gewoon nieuwe Lego-blokken toe naarmate de robot nieuwe gebieden betreedt.

Het Drie-Stappen "Slimme Update"-Systeem

Het moeilijkste deel van deze taak is dat de ogen van de robot (camera's) in de war kunnen raken. Soms ziet een muur er wazig uit omdat hij ver weg is, of ziet een stoel er anders uit vanuit een nieuw perspectief. Als de robot blindelings op elke nieuwe blik vertrouwt, wordt zijn kaart rommelig en ruisig.

VEOcc gebruikt een speciale drie-stappenstrategie om de ruis op te ruimen en een perfecte kaart te bouwen:

De "Tijdsreizen"-Controle (Cross-Temporal Logit Aggregation):
Stel je voor dat je naar een schilderij kijkt vanuit twee verschillende hoeken. Van de ene kant ziet het er blauw uit; van de andere kant ziet het er paars uit. Deze module fungeert als een detective die vergelijkt wat de robot nu zag met wat het een fractie van een seconde geleden zag. Het berekent welke weergave betrouwbaarder is en mengt ze samen om de ware kleur te krijgen.
De "Vertrouwenmeter" (Reliability-Aware Confidence Modulation):
Niet alle weergaven zijn even goed. Een muur direct voor de camera is helder; een muur ver weg in de hoek is wazig. Deze module fungeert als een Vertrouwenmeter. Het verlaagt automatisch de "vertrouwensscore" voor wazige, verre of aan de rand van het scherm waargenomen observaties. Het zegt tegen het systeem: "Vertrouw dit wazige stukje niet zo goed als het heldere."
Het "Slimme Archiefsysteem" (Confidence-Driven Incremental State Update):
Nu moet de robot beslissen hoe het zijn hoofdkaart bijwerkt. In plaats van oude informatie gewoon te overschrijven met nieuwe informatie, gebruikt het een gewogen gemiddelde.
- Als een nieuwe observatie een hoge vertrouwensscore heeft, krijgt het een grote stem bij het bijwerken van de kaart.
- Als een nieuwe observatie een lage vertrouwensscore heeft (omdat het wazig is of ver weg), krijgt het een kleine stem.
- Na verloop van tijd, naarmate de robot een object vanuit veel heldere hoeken ziet, vervaagden de "ruisige" raadsels en wordt de kaart kristalhelder.

De Resultaten

De auteurs hebben dit systeem op twee manieren getest:

Lokale Voorspelling: Kijken naar een enkele snapshot van een kamer. VEOcc was veel beter in het tekenen van scherpe lijnen en het herkennen van objecten dan de oude "marshmallow"-methoden.
Geïncarneerde Voorspelling: De robot die rondloopt en de kaart in de loop van de tijd bouwt. VEOcc bouwde een nauwkeurigere, stabielere kaart zonder in de war te raken door zijn eigen beweging.

De "Magische" Test:
Het meest indrukwekkende deel was dat ze VEOcc testten op video die ze zelf hadden gemaakt met een smartphone in een echt huis dat ze nooit eerder hadden gezien. Het systeem was nooit getraind op dat specifieke huis. Toch bouwde het een nauwkeurige kaart zonder dat er extra afstemming nodig was. Het bewees dat het systeem robuust genoeg is om de rommelige, onvoorspelbare echte wereld het hoofd te bieden.

Samenvatting

VEOcc is als het upgraden van het brein van een robot van het gebruik van zachte, wollige marshmallows naar precieze, in elkaar grijpende Lego-blokken. Door een slim systeem te gebruiken dat de tijd controleert, vertrouwen meet en nieuwe informatie zorgvuldig archief, stelt het robots in staat om nieuwe omgevingen snel, nauwkeurig en zonder van tevoren de grootte van de kamer te hoeven weten te verkennen en te begrijpen.

Technische Samenvatting: VEOcc - Voxel-Centrische Online Semantische Occupancy Predictie

1. Probleemdefinitie

Het artikel adresseert de uitdaging van online 3D occupancy predictie en mapping voor ingebouwde intelligentie. Deze taak vereist dat robots tijdens het verkennen incrementeel dichte, coherente ruimtelijke representaties van een scène construeren, ter ondersteuning van hoogwaardige besluitvorming in nieuwe omgevingen.

De auteurs identificeren twee kritieke beperkingen in bestaande state-of-the-art methoden, met name die welke vertrouwen op 3D Gaussian-gecentreerde representaties (bijv. SplatSSC, RoboOcc):

Structurele Fideliteit: Gaussian-primitieven hebben de neiging te clusteren in opvallende gebieden, wat leidt tot schaarse representaties in gebieden met zwakke textuur. Hun gladde ellipsoïdale aard worstelt met het modelleren van geometrische discontinuïteiten zoals grenzen, hoeken en dunne structuren.
Operationele Beperkingen: Gaussian-gecentreerde methoden vertrouwen vaak op vooraf gedefinieerde priors voor de scènegrootte. Ze vereisen doorgaans een initiële verkenningsfase om de schaal van de scène te schatten voor de initialisatie van Gaussian's, gevolgd door een verfijning in een tweede fase. Dit beperkt hun vermogen om echt open-ended, incrementele mapping uit te voeren zonder voorafgaande kennis van de omvang van de omgeving.

De kernuitdaging is het ontwikkelen van een systeem dat nauwkeurige per-frame lokale predictie garandeert, open-ended kaartuitbreiding mogelijk maakt zonder vooraf gedefinieerde grenzen, en robuust ruwe, lang-horizon observaties integreert.

2. Methodologie: VEOcc Framework

De auteurs stellen VEOcc voor, een voxel-gecentreerd framework geformuleerd als een recursief perceptie-en-assimilatie paradigma. Het systeem verwerkt een sequentie van monoculaire beelden om per-frame lokale occupancy te voorspellen en deze incrementeel te assimileren in een globale kaart.

A. Netwerk voor Lokale Occupancy Predictie

VEOcc maakt gebruik van een lichtgewicht lokale predictor die werkt op regelmatige voxelroosters om fijnkorrelige geometrische details te behouden:

Functie-extractie: Gebruikt een EfficientNet-B7 backbone met een Feature Pyramid Network (FPN) om multi-schaal 2D-kenmerken te extraheren.
Diepteschatting: Maakt gebruik van een vooraf getraind dieptegrondmodel (Depth Anything V2) om dichte dieptekaarten te voorspellen.
2D-naar-3D Lift: Adopteert een Lift-Splat-Shoot (LSS) view transformer. Dit neemt expliciet camera-intrinsieken en extrinsieken op om 2D-beeldkenmerken naar een 3D-kenmerkvolume ( $V_t$ ) te lift, waardoor de last van impliciete geometrische redenering wordt verminderd.
Predictie: Een 3D ResNet backbone en FPN aggregeren context, gevolgd door een lichtgewicht 3D occupancy-head die per-voxel semantische logits voorspelt.

B. Spatio-Temporale Bewuste Online Update Strategie

Om de bottleneck van temporele fusie en ruis in discrete voxelruimtes aan te pakken, introduceert VEOcc een strategie met drie modules voor het updaten van de globale occupancy-status ( $O_t$ ):

Cross-Temporele Logit Aggregatie (TLA):
- Doel: Temporele consistentie afdwingen en ruimtelijke misalignement tussen het discrete globale rooster en het bewegende ego-centrische frame hanteren.
- Mechanisme: Voor voxels die zichtbaar zijn in zowel het huidige ( $t$ ) als het vorige ( $t-1$ ) frame, projecteert het systeem ze naar een continue lokale ruimte. Het construeert paarsgewijze kenmerken die huidige en vorige representaties combineren, samen met hun verschillen en ruimtelijke positionele coderingen.
- Fusie: Een lichtgewicht MLP voorspelt adaptieve fusiegewichten op basis van kenmerk- en ruimtelijke discrepanties, en voert een gewogen aggregatie uit van semantische logits om verbeterde predicties te produceren.
Betrouwbaarheidsbewuste Confidentie Modulatie (RCM):
- Doel: Ruimtelijke onzekerheden inherent aan monoculaire settings kalibreren (bijv. zwakke cues bij beeldgrenzen, diepte-ambiguïteit op grote afstanden).
- Mechanisme: Berekent een confidentiescore voor elke voxel op basis van Diepte-bewuste en Grens-bewuste verval-functies.
- Formule: Confidentie wordt gemoduleerd door de diepte van de voxel ( $d_{i,t}$ ) en de nabijheid tot beeldgrenzen ( $b_{i,t}$ ), zodat predicties uit verre of randgebieden worden down-ge-weight. Deze module is trainingsvrij met empirisch vastgestelde parameters.
Confidentie-gedreven Incrementele Status Update (CSU):
- Doel: Robuust globale status assimileren over lange horizons terwijl logit-variatie-drift wordt voorkomen.
- Mechanisme: In plaats van ruwe logits direct te fuseren, converteert het systeem verbeterde logits naar genormaliseerde semantische kansen via Softmax.
- Update-regel: Voor bestaande voxels wordt de globale status bijgewerkt met een gewogen gemiddelde van historische en huidige kansen, waarbij de gewichten worden bepaald door de confidentiescores en het aantal observaties. Nieuwe voxels worden geïnitieerd met hun huidige kans en confidentie. Dit zorgt ervoor dat betrouwbare observaties de globale kaart domineren terwijl ruizige predicties progressief worden onderdrukt.

3. Belangrijkste Bijdragen

VEOcc Framework: Een voxel-gecentreerde aanpak voor online 3D occupancy predictie die de noodzaak van initiële schatting van de schaal elimineert, waardoor open-ended, incrementele kaartuitbreiding mogelijk wordt.
Spatio-Temporale Bewuste Online Update Strategie: Een nieuw fusiemechanisme bestaande uit TLA, RCM en CSU modules die synergetisch temporele consistentie, ruimtelijke onzekerheidskalibratie en robuuste globale status-assimilatie aanpakken.
State-of-the-Art Prestaties: De methode vestigt nieuwe benchmarks in zowel lokale als ingebouwde settings, en presteert aanzienlijk beter dan toonaangevende Gaussian-gecentreerde baselines.
Zero-Shot Generalisatie: Demonstreert robuuste prestaties buiten de verdeling op zelfverzamelde real-world video-sequenties zonder fine-tuning of scène-priors.

4. Experimentele Resultaten

De auteurs evalueerden VEOcc op Occ-ScanNet (lokale predictie) en EmbodiedOcc-ScanNet (ingebouwde predictie).

Lokale Predictie (Occ-ScanNet): VEOcc behaalde 64,55 IoU en 55,49 mIoU op het volledige dataset, en overtrof de sterkste Gaussian-baseline (SplatSSC) met +1,72 IoU en +3,66 mIoU. Op de mini-split waren de verbeteringen nog duidelijker (+6,41 IoU).
Ingebouwde Predictie (EmbodiedOcc-ScanNet): VEOcc bereikte 62,21 IoU en 53,00 mIoU, en presteerde aanzienlijk beter dan RoboOcc (+8,91 IoU / +8,95 mIoU). Cruciaal vertoonde het een kleinere prestatiedaling tijdens de overgang van lokale naar globale predictie in vergelijking met eerdere methoden, wat wijst op betere foutcorrectie tijdens langdurige integratie.
Efficiëntie: Ondanks de toegevoegde complexiteit van de update-strategie, behoudt VEOcc vergelijkbare inferentie-latentie als Gaussian-methoden, terwijl het aanzienlijk minder modelparameters (177,1M versus 231,5M) en geheugengebruik vereist.
Kwalitatieve Analyse: Visualisaties tonen een superieure reconstructie van structurele grenzen, dunne objecten en occludeerde gebieden in vergelijking met op Gaussian gebaseerde methoden.
Real-World Validatie: Zero-shot implementatie op zelfverzamelde smartphone-video's reconstrueerde succesvol coherente globale semantische kaarten in onbekende binnenruimtes, in overeenstemming met COLMAP-sparse reconstructies.

5. Betekenis en Claims

Het artikel claimt dat VEOcc een nauwkeurige en uiterst efficiënte oplossing biedt voor autonome exploratie. De primaire betekenis ligt in de verschuiving van het paradigma van Gaussian-gecentreerd naar voxel-gecentreerde representaties voor online mapping.

Overcoming Prior Limitations: Door vooraf gedefinieerde scène-grootte priors los te laten, stelt VEOcc echt open-ended exploratie mogelijk, waarbij de kaart zich natuurlijk uitbreidt naarmate nieuwe gebieden worden waargenomen.
Robuustheid: De voorgestelde update-strategie onderdrukt effectief cross-view ruis en kalibreert onzekerheden, waardoor een coherente globale semantische status wordt gewaarborgd, zelfs in aanwezigheid van ruizige observaties en langdurige integratie.
Praktijktoepasbaarheid: Het framework is ontworpen voor real-world ingebouwde toepassingen, en biedt een balans tussen hoge prestaties, rekenkundige efficiëntie en het vermogen om te generaliseren naar volledig onbekende omgevingen zonder hertraining.

De auteurs concluderen dat hun werk een gat opvult in het onderzoek naar voxel-gecentreerde dichte representaties voor online occupancy predictie, en hun duidelijke voordelen ten opzichte van op Gaussian gebaseerde benaderingen in binnenruimtes demonstreert. Toekomstig werk wordt opgemerkt om dit framework uit te breiden om dynamische elementen in complexe open-ended omgevingen te hanteren.