RGB-Only Gaussian Splatting SLAM for Unbounded Outdoor Scenes

Probleemstelling

Hoewel 3D Gaussian Splatting (3DGS) een populaire oplossing is geworden voor SLAM (Simultaneous Localization and Mapping) vanwege de mogelijkheid om hoogwaardige nieuwe weergaven te genereren, hebben bestaande methoden twee belangrijke beperkingen:

1. Afhankelijkheid van dieptedata: De meeste methoden vertrouwen op RGB-D sensoren of vooraf getrainde diepteschattingsmodellen.
2. Beperkte schaal en omgeving: Ze presteren voornamelijk goed in kleine, binnenlandse scènes met beperkte camerabewegingen.

Het toepassen van 3DGS op ongebonden buitenomgevingen (zoals autonome voertuigen op openbare wegen) met alleen RGB-data is uitdagend vanwege:

• Moeilijkheden bij het nauwkeurig schatten van diepte en schaal, wat de camerapositie en initialisatie van het 3DGS-beeld beïnvloedt.
• Beperkte beeldoverlapping en unieke kijkhoeken die leiden tot convergentieproblemen tijdens het trainen.

Methodologie: OpenGS-SLAM

De auteurs stellen OpenGS-SLAM voor, een RGB-only SLAM-systeem specifiek ontworpen voor ongebonden buitenomgevingen. Het systeem combineert camerapositieschatting en 3DGS-rendering in een volledig differentieerbare, end-to-end pijplijn.

De kerncomponenten zijn:

1. Paarsgewijze Pointmap-regressie voor Positieschatting:

   • In plaats van directe camerapositieschatting of dieptekaarten, gebruikt het systeem een pointmap-regressienetwerk (gebaseerd op ViT-encoders en transformer-decoders).
   • Dit netwerk genereert consistente "pointmaps" (3D-punten corresponderend met pixels) tussen opeenvolgende frames.
   • Pointmaps bevatten ruimtelijke relaties en geometrie over meerdere weergaven, wat robuustere positieschatting mogelijk maakt dan traditionele dieptekaarten.
   • De relatieve pose wordt berekend via RANSAC en PnP (Perspective-n-Point) op basis van deze pointmaps.

2. End-to-End Differentieerbare Pijplijn:

   • De geschatte cameraposities worden geïntegreerd met het 3DGS-renderingproces.
   • Het systeem optimaliseert zowel de cameraposities ($T_{CW} \in SE(3)$) als de 3DGS-scèneparameters (positie, rotatie, schaal, dekking, kleur) gelijktijdig door de fotometrische fout te minimaliseren.
   • Door de Lie-algebra ($\mathfrak{se}(3)$) te gebruiken, wordt de differentieerbaarheid van de pose ten opzichte van de renderingverliezen gewaarborgd.

3. Adaptieve Schaal-Mapper (Adaptive Scale Mapper):

   • Om de schaalconsistentie tussen frames te behouden (cruciaal bij RGB-only data), wordt een adaptieve schaal-mapper ontwikkeld.
   • Deze module vergelijkt pointmaps van opeenvolgende frames om de schaalverandering ($\rho_{ij}$) te meten en past de coördinaten van nieuwe Gaussians hierop aan voordat ze in de kaart worden opgenomen.

4. Dynamische Lerende Rate Aanpassing:

   • Voor buitenomgevingen (waar voertuigen niet in cirkels rijden) is een standaard afnemende lerende rate niet optimaal.
   • Het systeem past de lerende rate adaptief aan op basis van de rotatiehoek van het voertuig. Bij scherpe bochten of hellingen wordt de lerende rate tijdelijk verhoogd om nieuwe scènes effectiever te optimaliseren.

5. Kaartbeheer:

   • Het systeem gebruikt een lokaal venster van sleutelframes (keyframes) voor bundle adjustment (BA) en past een sparse subsampling-methode toe om het aantal 3D-Gaussians te beheersen en de verwerkingssnelheid hoog te houden.

Belangrijkste Bijdragen

1. Eerste RGB-only 3DGS SLAM voor buiten: Het is de eerste methode die 3D Gaussian Splatting toepast op ongebonden buitenomgevingen zonder gebruik te maken van dieptesensoren of vooraf geschatte dieptekaarten.
2. Geïntegreerde End-to-End Pijplijn: Een systeem dat pointmap-regressie combineert met 3DGS-rendering, wat gelijktijdige optimalisatie van pose en scène mogelijk maakt, wat de trackingnauwkeurigheid aanzienlijk verbetert.
3. Nieuwe SOTA-resultaten: Door de adaptieve schaal-mapper en dynamische lerende rate, bereikt het systeem state-of-the-art prestaties in zowel tracking als nieuwe weergave-synthese (NVS).

Resultaten

Het systeem is geëvalueerd op het Waymo Open Dataset (9 segmenten) en vergeleken met bestaande methoden zoals NICER-SLAM, GlORIE-SLAM, Photo-SLAM en MonoGS.

• Trackingnauwkeurigheid (ATE RMSE): OpenGS-SLAM reduceert de trackingfout tot 9,8% van de fout van de bestaande 3DGS-methode (MonoGS). De gemiddelde ATE is 0,839m, wat vergelijkbaar is met de beste methoden (zoals GlORIE-SLAM met 0,536m) maar zonder globale BA of backend-filtering.
• Nieuwe Weergave Synthese (NVS): Het systeem behaalt de beste resultaten in alle metingen (PSNR, SSIM, LPIPS).
  • Gemiddelde PSNR: 23,99 (een verbetering van ~10% ten opzichte van MonoGS).
  • Het produceert scherpe, gedetailleerde beelden van voertuigen, straten en gebouwen, terwijl concurrenten vaak last hebben van vervaging of vervorming.
• Ablatie-studies: Het verwijderen van de pointmap-regressie leidt tot een catastrofale daling in prestaties (ATE stijgt naar 11,18m), wat aantoont dat dit de kern is van de robuustheid. Ook de schaal-mapper en lerende rate aanpassing zijn cruciaal voor stabiliteit.

Betekenis en Impact

OpenGS-SLAM lost een fundamenteel probleem op in de visuele SLAM-veld: het combineren van de hoge kwaliteit van 3DGS-rendering met de realiteit van RGB-only sensoren in grote, dynamische buitenomgevingen.

• Toepassingsgebied: Het maakt hoogwaardige 3D-reconstructie mogelijk voor autonome voertuigen en robotica zonder de kosten en complexiteit van LiDAR of RGB-D sensoren.
• Technische Doorbraak: Het bewijst dat het mogelijk is om nauwkeurige pose-schatting en scene-reconstructie te bereiken puur op basis van visuele data door slimme integratie van geometrische regressie (pointmaps) en differentieerbaar rendering.
• Toekomst: De methode opent de deur voor real-time, hoogwaardige digitale tweelingen van stedelijke omgevingen, wat essentieel is voor de volgende generatie autonome systemen en VR-toepassingen.