GSVisLoc: Generalizable Visual Localization for Gaussian Splatting Scene Representations

Technische Samenvatting: GSVisLoc

Probleemstelling
Visuele lokalisatie houdt het schatten van de positie en oriëntatie (pose) van een camera binnen een 3D-omgeving in, gegeven een enkele query-afbeelding. Hoewel klassieke structuurgebaseerde methoden een hoge nauwkeurigheid bereiken, vereisen ze vaak aanzienlijke opslag voor 3D-descriptors en een initiële beeldretrieptestap. Daarentegen missen end-to-end geleerde benaderingen (bijv. Absolute Pose Regression) de generalisatie en nauwkeurigheid van structuurgebaseerde methoden. Recentelijk is 3D Gaussian Splatting (3DGS) opgekomen als een hoogwaardige, snel trainbare 3D-scènerepresentatie voor novel view synthesis. De bestaande methoden voor visuele lokalisatie met behulp van 3DGS zijn echter beperkt: sommige verfijnen alleen een initiële pose, anderen vertonen een lagere nauwkeurigheid vergeleken met andere representaties, en sommige vereisen het optimaliseren van een specifieke 3DGS-model met extra kenmerken, wat het gebruik van "vanilla" 3DGS-modellen verhindert.

Methodologie
De auteurs stellen GSVisLoc voor, een deep learning-gebaseerde methode die is ontworpen om visuele lokalisatie direct uit te voeren op standaard 3DGS-scènerepresentaties zonder dat hertraining, aanpassingen aan het 3DGS-model of extra referentiebeelden nodig zijn. De aanpak vestigt 3D-2D correspondenties tussen de 3D Gaussian-punten en 2D-afbeeldingspatches via een driefasige pijplijn:

1. Feature Encoding:

   • 3D Encoding: De 3D Gaussians worden eerst gefilterd (het verwijderen van laag-opaciteit Gaussians) en gedownsampled. Een KPConv-gebaseerde encoder (KPFCNN) verwerkt de resterende Gaussians door informatie van naburige punten te incorporeren om robuuste 3D-regio-features te creëren.
   • 2D Encoding: Een 2D-afbeeldingsencoder extraheert features uit de query-afbeelding op twee schalen: grove features (8x gedownsampled) en fijne features (2x gedownsampled).
   • Alignment: Het netwerk gebruikt afgewisselende self-attention en cross-attention lagen om representaties binnen elk domein te verfijnen en de 3D- en 2D-feature-ruimtes uit te lijnen.

2. Matching Strategie:

   • Grove Matching: Het systeem berekent paarwise cosine-similariteiten tussen grove 3D- en 2D-features. Matches worden geselecteerd op basis van een score-drempelwaarde en een mutual nearest-neighbor (MNN) criterium om uitschieters te filteren.
   • Fijne Matching: Voor elke grove match verfijnt het systeem de correspondentie naar het pixelniveau. Het genereert een heatmap die de waarschijnlijkheidsverdeling van de uitlijning voor een lokale window rond de locatie van de grove match representeert. De uiteindelijke fijnmazige match wordt bepaald door de verwachting over deze distributie te nemen.

3. Pose Estimatie en Verfijning:

   • De gevestigde 3D-2D correspondenties worden ingevoerd in een Perspective-n-Point (PnP) solver met RANSAC om een initiële camerapose te schatten.
   • Een Pose Refinement module (geadapteerd van GS-CPR) verbetert de nauwkeurigheid verder. Het rendert een afbeelding en een depth map vanuit de geschatte pose met behulp van het 3DGS-model, stelt dichte 2D-2D correspondenties vast tussen de query en de gerenderde afbeeldingen met behulp van MASt3R, tilt deze naar 3D, en lost voor een verfijnde pose op met PnP+RANSAC.

Trainingsregimes
Het model wordt getraind met ground-truth matches afgeleid van het projecteren van 3DGS-punten op query-afbeeldingen met bekende poses. De training wordt geëvalueerd onder drie scenario's:

• Single-scene: Trainen en testen op dezelfde scène.
• Multi-scene: Trainen op een collectie scènes en testen op dezelfde set.
• Cross-scene Generalisatie: Trainen op een collectie scènes en testen op nieuwe, ongeziene scènes.

Belangrijkste Bijdragen

1. GSVisLoc Netwerk: Een diep neuraal netwerk dat specifief is ontworpen voor visuele lokalisatie op 3D Gaussian Splatting-representaties.
2. Zero-Modification Deployment: De methode werkt op vanilla 3DGS-modellen zonder dat hertraining van de scènerepresentatie of het toevoegen van geleerde kenmerken aan de Gaussians nodig is.
3. Retrieval-Free Inference: In tegen tegenstelling tot veel structuur- of NeRF-gebaseerde methoden, vereist GSVisLoc geen beeldretrieptestap tijdens de inferentie, waardoor referentiebeelden na training kunnen worden verwijderd.
4. Generalisatie: Het model demonstreert het vermogen om te generaliseren naar nieuwe, ongeziene scènes door middel van geleerde 3D-2D matching, waarbij de nauwkeurigheid vergelijkbaar blijft met single-scene getrainde modellen.
5. Prestaties: Het bereikt state-of-the-art prestaties onder 3DGS-gebaseerde methoden en concurrerende resultaten tegenover state-of-the-art baselines op standaard benchmarks.

Experimentele Resultaten
De auteurs hebben GSVisLoc geëvalueerd op de 7-Scenes (indoor) en Cambridge Landmarks (outdoor) datasets, evenals de ScanNet++ V2 dataset voor cross-scene generalisatie.

• 7-Scenes: GSVisLoc presteerde beter dan andere 3DGS-gebaseerde methoden (6DGS, GSplatLoc) en overtrof APR en NeRF-gebaseerde methoden in zowel translatie- als rotatienauwkeurigheid. Het bereikte een prestatie die vergelijkbaar is met Scene Coordinate Regression (SCR) methoden, hoewel het iets achterbleef bij de beste structuurgebaseerde methode (DVLAD+R2D2).
• Cambridge Landmarks: De methode overtrof GSplatLoc in rotatienauwkeurigheid en behaalde een vergelijkbare translatienauwkeurigheid. Het presteerde significant beter dan APR-methoden maar bleef achter bij de state-of-the-art hiërarchische methode HLoc, met name in translatienauwkeurigheid. De auteurs schrijven dit gat deels toe aan de lagere renderingkwaliteit van 3DGS op deze specifieke outdoor dataset.
• Generalisatie: In cross-scene experimenten op ScanNet++ V2 generaliseerde het model effectief naar ongeziene scènes zonder hertraining, waarbij een hoge nauwkeurigheid behouden bleef.

Betekenis en Claims
Het artikel claimt dat GSVisLoc succesvol gebruikmaakt van de expliciete 3DGS-scènerepresentatie voor visuele lokalisatie, waarbij de kloof wordt overbrugd tussen de hoogwaardige rendering van 3DGS en de behoefte aan nauwkeurige pose-estimatie. Door de noodzaak van beeldretrieptie te elimineren en het optimaliseren van specifieke 3DGS-modellen voor lokalisatie te vermijden, vereenvoudigt de methode de implementatie. De auteurs benadrukken dat hun aanpak generaliseert naar nieuwe scènes, wat het een praktische oplossing maakt voor toepassingen die robuuste lokalisatie vereisen in dynamische of voorheen ongeziene omgevingen met behulp van standaard 3DGS-reconstructies.