SemGS: Feed-Forward Semantic 3D Gaussian Splatting from Sparse Views for Generalizable Scene Understanding

Probleemstelling

De semantische begrijping van 3D-scènes is cruciaal voor robots om veilig en effectief te opereren in complexe omgevingen (bijv. navigatie, obstakelvermijding). Bestaande methoden voor semantische scene-reconstructie en semantisch bewuste nieuwe weergave-synthese (novel view synthesis) hebben echter twee grote beperkingen:

1. Afhankelijkheid van dichte inputs: Ze vereisen vaak dichte multi-view inputs, die kostbaar zijn om te verzamelen.
2. Gebrek aan generalisatie: Ze worden meestal per scène geoptimaliseerd (scene-specific optimization). Voor elke nieuwe scène moet een nieuw model worden getraind, wat de schaalbaarheid en praktische toepasbaarheid in de echte wereld beperkt.

Er is een dringende behoefte aan een methode die generaliseerbare semantische velden kan reconstrueren vanuit weinig inputbeelden (sparse views) zonder per-scène training.

Methodologie: SemGS

De auteurs stellen SemGS voor, een feed-forward framework dat semantische 3D Gaussian Splatting (3DGS) combineert met diep leeren voor generalisatie. De kern van de methode bestaat uit de volgende componenten:

1. Dual-Branch Architectuur:

   • Het model gebruikt twee parallelle takken: één voor kleur (radiance) en één voor semantiek.
   • Gedeelde lagen: Beide takken delen de lage-niveau CNN-lagen. Hierdoor kan de semantische redenering profiteren van textuur- en structurele aanwijzingen die in de kleurweergave zitten.
   • Specifieke lagen: Elke tak heeft zijn eigen Swin Transformer voor het leren van hoge-niveau features.

2. Camera-bewuste Aandacht (Camera-Aware Attention):

   • Om de geometrische relaties tussen verschillende camera-punten expliciet te modelleren, wordt een mechanisme geïntegreerd in de Swin Transformer.
   • Camera-pose parameters (intrinsic en extrinsic) worden via relatieve positionele encoding ingebracht in de query-, key- en value-vectors van de attention-mechanismen. Dit verbetert het 3D-geometrisch inzicht, vooral bij weinig inputbeelden.

3. Dual-Gaussian Representatie:

   • In plaats van één set Gaussians, voorspelt het model per pixel twee complementaire Gaussians:
     • Kleur-Gaussian: Voor het modelleren van radiance (kleur).
     • Semantische Gaussian: Voor semantische redenering.
   • Gedeelde geometrie: Beide Gaussians delen dezelfde 3D-positie ($\mu$) en dekking (opacity, $\alpha$), die worden afgeleid uit een cost-volume gebaseerde diepteschatting. Dit zorgt voor geometrische consistentie.
   • Specifieke attributen: Ze behouden hun eigen covariantiematrices en attributen (kleurcoëfficiënten vs. semantische class-verdelingen).

4. Training en Loss Functies:

   • Het model wordt getraind met een cross-entropy loss voor semantiek en een MSE loss voor kleur.
   • Regionale Smoothness Loss: Een nieuwe loss-functie wordt geïntroduceerd om de consistentie van semantische labels tussen naburige pixels te bevorderen. Dit vermindert ruis en zorgt voor scherpere objectgrenzen binnen homogene gebieden.

Belangrijkste Bijdragen

1. SemGS Framework: Een nieuw feed-forward framework voor gezamenlijke reconstructie van radiance- en semantische velden vanuit schaarse inputbeelden, wat snelle inferentie mogelijk maakt zonder per-scène optimalisatie.
2. Geometrische Integratie: Het injecteren van camera-pose informatie in de Transformer-attention mechanismen voor verbeterde 3D-perceptie, en het introduceren van een regionale smoothness loss voor semantische coherentie.
3. Generalisatie en Snelheid: Het aantonen van state-of-the-art prestaties op benchmark datasets met aanzienlijk snellere inferentie en sterkere generalisatievermogen dan bestaande methoden.

Resultaten

Experimenten zijn uitgevoerd op de ScanNet en ScanNet++ datasets, evenals op het Replica dataset (synthetisch en real-world robot-scènes) om generalisatie te testen.

• Kwalitatieve Prestaties: SemGS overtreft bestaande methoden (zoals S-Ray en GSNeRF) aanzienlijk in termen van mIoU (mean Intersection-over-Union), pixel-accuratie en class-accuratie. Het produceert scherpere objectgrenzen en minder misclassificaties, zelfs bij slechts 2 inputbeelden.
• Snelheid: Dankzij de feed-forward architectuur en efficiënte Gaussian rasterisatie is SemGS meer dan een orde van grootte sneller (hogere FPS) dan concurrenten, wat het geschikt maakt voor real-time robottoepassingen.
• Generalisatie: Modellen getraind op ScanNet generaliseren robuust naar ongezette domeinen (zoals Replica en real-world robot-scènes) zonder fine-tuning, terwijl andere methoden hier vaak last hebben van ruis en fragmentatie.

Betekenis en Impact

SemGS is een doorbraak in het veld van 3D scene understanding omdat het de brug slaat tussen hoge kwaliteit rendering en semantisch inzicht, zonder de beperkingen van per-scène training.

• Robotica: De snelheid en generalisatievermogen maken het direct toepasbaar voor robots die moeten navigeren in onbekende omgevingen met weinig visuele data.
• Efficiëntie: Het elimineert de noodzaak van dure, dichte scans en lange trainingsperiodes per nieuwe omgeving.
• Toekomstperspectief: Hoewel het momenteel afhankelijk is van bekende camera-pose's, opent dit werk de weg voor end-to-end optimalisatie van camera-parameters en robuustheid in dynamische, outdoor-scènes.

Kortom, SemGS biedt een schaalbare, snelle en nauwkeurige oplossing voor het begrijpen van 3D-werelden vanuit een beperkt aantal beelden.