Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images

Technische Samenvatting: COVScene

Probleemstelling
Het artikel behandelt de uitdaging van het bereiken van een uitgebreid 3D-scènebegrip vanuit schaarse, ongeposeerde afbeeldingen zonder te vertrouwen op externe cameracalibratie of Structure-from-Motion (SfM) pipelines. Hoewel recente feed-forward Gaussian-methoden (bijv. LSM, Uni3R) voor vormloze reconstructie en semantische rendering vooruitgang hebben geboekt, blijven deze grotendeels oppervlaktegericht. Deze methoden optimaliseren Gaussian-primitieven primair via image-space rendering-verliezen. Als gevolg hiervan ontbreken de geleerde primitieven in niet-geobserveerde of zwak geobserveerde regio's aan expliciete beperkingen met betrekking tot vrije versus bezette ruimte. Dit leidt tot fysiek onwaarschijnlijke artefacten zoals "floaters", holle structuren en ambigue dichtheidsverdelingen, zelfs wanneer de gerenderde RGB- of semantische afbeeldingen plausibel lijken. Bestaande benaderingen behandelen volumetrische bezetting vaak als een hulp-tak of een post-hoc conversie, waarbij ze er niet in slagen om volumetrische feedback te bieden tijdens het trainingsproces om de onderliggende Gaussian-representatie te corrigeren.

Methodologie
De auteurs stellen COVScene voor, een pose-vrij semantisch Gaussian-framework dat renderbare Gaussian-primitieven koppelt aan een dicht semantisch bezettingsveld via differentieerbare volumetrische lifting. De kerninnovatie is het uitvoeren van deze lifting binnen de computationele graaf van de training, in plaats van als een losstaande post-processing stap.

1. Architectuur:

   • Semantic-Aware Geometry Transformer: Het model gebruikt een gedeelde encoder, geïnitialiseerd vanuit een vooraf getraind geometrisch fundament-model (VGGT), om camerageometrie, diepte en scènestructuur direct af te leiden uit ongeposeerde multi-view afbeeldingen. Dit voorkomt afhankelijkheid van externe SfM.
   • Multi-Task Decoding: Een Dense Prediction Transformer (DPT) decoder splitst zich af in drie koppen: een Camera Head (die extrinsics/intrinsics voorspelt), een Depth Head (die 3D-centra schat) en een Semantic Gaussian Head (die opacity, rotatie, schaal, kleur en open-vocabulary semantische kenmerken voorspelt).
   • Differentiable Volumetric Lifting: Voorspelde semantische Gaussians worden tijdens de training gelift naar een dicht semantisch bezettingsveld $(O, F)$. Voor elk voxel wordt de bezettingskans $O(x)$ berekend door het accumuleren van Gaussian-densiteiten, en semantische kenmerken $F(x)$ worden geaggregeerd via dichtheidsgewogen averaging. Dit proces is volledig differentieerbaar, waardoor gradiënten van volumetrische verliezen de Gaussian-opacity, geometrie en semantische kenmerken direct kunnen bijwerken.

2. Optimalisatiestrategie:
   Het framework maakt gebruik van een multi-objective verliesfunctie die de volgende elementen combineert:

   • Fotometrische en Semantische Supervisie: Standaard rendering-verliezen (L1, LPIPS) en feature-level alignment met bevroren vision-language modellen (bijv. CLIP) voor open-vocabulary mogelijkheden.
   • Geometric Foundation Distillation: Distillatie van een bevroren geometrische leraar (VGGT) om initiële multi-view geometrische scaffolds te bieden en schaalambiguïteit te verminderen.
   • Occupancy Entropy Regularization: Een cruciaal onderdeel dat een bimodale fysieke prior afdwingt op het gelifte bezettingsveld. Door de entropie van de bezettingskans te minimaliseren, straft het model ambigue staten ($O(x) \approx 0.5$) af en stimuleert het regio's om ofwel duidelijk vrij ($O(x) \to 0$) ofwel bezet ($O(x) \to 1$) te zijn. Dit lost geometrische inconsistenties op zonder dat directe voxel-niveau supervisie vereist is.

Belangrijkste Bijdragen

• Verenigde Representatie: COVScene is het eerste pose-vrije framework dat renderbare Gaussian-primitieven koppelt aan een dicht semantisch bezettingsveld via differentieerbare lifting, wat nieuwe view-synthese, open-vocabulary segmentatie en semantische bezettingsvoorspelling mogelijk maakt binnen één enkele representatie.
• Volumetrische Feedback tijdens de Training: In tegen tegenstelling tot eerdere werken die Gaussians pas tijdens de evaluatie naar voxels converteren, integreert COVScene volumetrische regularisatie in de trainingslus. Dit stelt volumetrische verliezen in staat om de Gaussian-opacity en -geometrie direct te reguleren, wat artefacten in niet-geobserveerde regio's vermindert.
• Entropy Regularization: De introductie van een bezettingsentropie-objectief dwingt fysiek plausibele vrije/bezette structuren af, wat effectief "floaters" en holle artefacten onderdrukt die gebruikelijk zijn bij ongeposeerde 3DGS.
• Zero-Shot Mogelijkheden: De methode ondersteunt open-vocabulary semantische queries en zero-shot 3D bezettingsvoorspelling zonder uitgebreide categorie-specifieke annotaties.

Experimentele Resultaten
De auteurs hebben COVScene geëvalueerd op de ScanNet en ScanNet++ datasets over drie taken:

• Novel View Synthesis (NVS): COVScene behoudt een concurrerende renderingkwaliteit (PSNR, SSIM, LPIPS) vergeleken met state-of-the-art feed-forward Gaussian baselines.
• Open-Vocabulary Segmentation (OVS): Het framework vertoont verbeterde prestaties in open-vocabulary segmentatie vergeleken met zelf-gesuperviseerde baselines en andere semantische Gaussian-methoden.
• Semantische Bezettingsvoorspelling: COVScene bereikt een sterkere semantische bezettingsvoorspelling dan zelf-gesuperviseerde baselines (bijv. SelfOcc) en concurrerende resultaten ten opzichte van volledig gesuperviseerde methoden, ondanks het gebrek aan directe voxel-niveau supervisie tijdens de training.
• Ablatie-studies: Experimenten bevestigen dat het simpelweg converteren van semantische Gaussians naar bezetting tijdens de evaluatie onvoldoende is. Training-time volumetrische gronding blijkt essentieel voor het verminderen van geometrische artefacten en het verbeteren van de bezettingsnauwkeurigheid.

Significantie en Claims
Het artikel claimt dat COVScene een nieuw paradigma vestigt voor schaalbare 3D-scènebegrip door de kloof te overbruggen tussen efficiënte, renderbare Gaussian-representaties en fysiek gegronde volumetrische redenering. Door bezetting niet te behandelen als een hulp-output, maar als een natuurlijke, differentieerbare beperking op de Gaussian-representatie, bereikt de methode een meer fysiek plausibele 3D-reconstructie. De auteurs positioneren COVScene als een belangrijke stap richting robuust 3D-begrip voor robotica en belichaamde agenten, waarbij accuraat redeneren over vrije en bezette ruimte cruciaal is, terwijl het opereert zonder de noodzaak van gekalibreerde camerastandpunten. Het werk demonstreert dat volumetrische regularisatie effectief kan worden geïntegreerd in feed-forward Gaussian-pipelines om de inherente ambiguïteiten van schaarse, ongeposeerde inputs op te lossen.