LSGS-Loc: Towards Robust 3DGS-Based Visual Localization for Large-Scale UAV Scenarios

Probleemstelling

Visuele lokalisatie in grote, schaalbare omgevingen voor onbemande luchtvaartuigen (UAV's) is een kritieke maar uitdagende taak voor autonome systemen. Bestaande methoden kampen met twee fundamentele beperkingen wanneer ze worden toegepast op 3D Gaussische Splatting (3DGS) representaties:

1. Robuuste Pose-initialisatie: Bestaande methoden hebben moeite om een nauwkeurige startpositie te vinden zonder scenespecifiek training. Methoden die op relatieve pose schatten zijn vaak ambigu qua schaal, terwijl methoden die op absolute pose schatten (zoals APR of SCR) moeite hebben met generalisatie over verschillende scènes of vereisen hertraining per locatie.
2. Betrouwbaarheid van Fotometrische Verfijning: Grote 3DGS-reconstructies bevatten vaak artefacten zoals vervaging (blur) en "floaters" (drijvende objecten door imperfecte geometrie). Bestaande optimalisatiemethoden behandelen alle pixels gelijkwaardig. Hierdoor kunnen gradiënten van deze onbetrouwbare gebieden de pose-updates verstoren, wat leidt tot suboptimale convergentie of lokale minima.

Methodologie: LSGS-Loc

De auteurs stellen LSGS-Loc voor, een nieuwe visuele lokalisatiepijplijn die specifiek is ontworpen voor grote 3DGS-scènes. De workflow bestaat uit drie sequentiële fasen:

1. Preprocessing en Retrieval (Zoekopdracht)

• Er wordt een 3DGS-model gebouwd op basis van gekalibreerde beelden.
• Om de dekking van gezichtshoeken te vergroten en de robuustheid te verhogen, wordt de referentiedatabase uitgebreid met synthetische weergaven die vanuit nieuwe hoeken in het 3DGS-veld worden gerenderd.
• Voor een query-afbeelding wordt de meest vergelijkbare referentieframe geïdentificeerd met behulp van het AnyLoc-framework (globale descriptors).

2. Pose-schatting en Zoeken (Initialisatie)

• In plaats van een traditionele PnP-RANSAC-procedure, wordt een fotometrisch geleid zoekproces gebruikt.
• Een voorgeïnstalleerd model (ReLoc3r) schat de relatieve rotatie ($\Delta R$) en de richting van de translatie ($\Delta t$) tussen de query en de gerenderde referentie.
• Om de inherente schaalambiguïteit op te lossen, worden cross-image attention maps uit ReLoc3r gebruikt om de corresponderende patch van het centrum van de query in de gerenderde weergave te vinden.
• Door deze corresponderende patch te projecteren met de gerenderde dieptekaart, wordt een 3D-ankerpunt bepaald. Dit biedt een metrische schaalbeperking.
• Er wordt een 1D-zoekopdracht uitgevoerd langs de geschatte oriëntatie vanuit dit ankerpunt. De optimale ruwe translatie wordt gevonden door de L1-fotometrische fout te minimaliseren over een reeks kandidaat-posities.

3. Pose-optimalisatie (Verfijning)

• De uiteindelijke 6-DoF pose wordt verfijnd door de fotometrische fout tussen de query-afbeelding en de gerenderde 3DGS-weergave te minimaliseren.
• Kerninnovatie: Een Laplacian-based reliability masking mechanism.
  • De gerenderde afbeelding wordt opgedeeld in patches en er wordt een Laplacian-magnitude-score berekend.
  • Gebieden met een lage Laplacian-respons (vaak vervaging of artefacten) worden gemaskeerd en uitgesloten van de optimalisatie.
  • Alleen gebieden met hoge reconstructie-kwaliteit en scherpe structuren dragen bij aan de gradiëntafstapeling, wat zorgt voor stabielere convergentie.

Belangrijkste Bijdragen

1. Unificatie van Initialisatie en Verfijning: Een framework dat zowel robuuste initialisatie als betrouwbare fotometrische verfijning in grote omgevingen adresseert.
2. Schaal-bewuste Initialisatie: Een nieuwe strategie die scenespecifieke training vermijdt door relatieve pose-schatting te combineren met expliciete 3DGS-schaalbeperkingen via diepte-geankerde zoekopdrachten.
3. Laplacian-mask voor Robuustheid: Een methode die de impact van reconstructie-artefacten (blur, floaters) minimaliseert door de optimalisatie te sturen naar hoogwaardige regio's, wat de nauwkeurigheid in vervuilde omgevingen aanzienlijk verbetert.

Resultaten

De methode is getest op vijf grote UAV-scènes uit de Gau-Uscene dataset (o.a. CUHK LOWER/UPPER, HAV, SMBU, SZIIT).

• Vergelijking met SOTA: LSGS-Loc presteert superieur ten opzichte van bestaande methoden, waaronder structure-based (HLoc), Scene Coordinate Regression (ACE, GLACE, R-SCORE) en andere 3DGS-methoden (STDLoc, GS-CPR).
• Nauwkeurigheid: De methode bereikt centimeter-niveau nauwkeurigheid. Bijvoorbeeld, in de HAV-scène werd een mediane translatiefout van 2.71 cm bereikt, vergeleken met 3.13 cm voor de sterke concurrent HLoc.
• Ablatiestudies:
  • De combinatie van alle drie de fasen (Retrieval + Search + Optimization) is essentieel; alleen fase 1 levert slechts ~35% recall op onder strenge criteria, terwijl het volledige systeem >94% haalt.
  • Het gebruik van het Laplacian-mask verlaagt de translatiefout in moeilijke scènes (zoals CUHK LOWER) van bijna 1 meter naar 0.37 meter en de rotatiefout van 0.37° naar 0.07°.
  • Het uitbreiden van de database met synthetische weergaven verbetert de initialisatie consistent.

Betekenis en Impact

LSGS-Loc vertegenwoordigt een belangrijke stap voorwaarts in visuele lokalisatie voor UAV's. Het lost het probleem op van schaalambiguïteit zonder scenespecifieke training te vereisen, wat het toepasbaar maakt voor dynamische en grote omgevingen. Bovendien maakt de Laplacian-mask-mechanisme het mogelijk om gebruik te maken van 3DGS-reconstructies die anders te veel artefacten zouden bevatten voor nauwkeurige lokalisatie. Dit maakt de technologie robuuster voor praktische toepassingen in complexe stedelijke landschappen en autonome navigatie, waarbij hoge precisie en betrouwbaarheid cruciaal zijn. De code is open-source beschikbaar gesteld.