DeblurSplat: SfM-free 3D Gaussian Splatting with Event Camera for Robust Deblurring

Technische Samenvatting van DeblurSplat: Traditionele SfM-vrije 3D Gaussian Splatting met een Event Camera voor Robuuste Deblurring

Probleemstelling
Bestaande 3D-reconstructie en novel-view synthesis (NVS) methoden, zoals 3D Gaussian Splatting (3D-GS) en NeRF, gaan doorgaans uit van hoogwaardige inputs die onder ideale omstandigheden zijn vastgelegd. In realistische scenario's met bewegingsonscherpte (veroorzaakt door weinig licht of lange sluitertijden), vertonen deze methoden een significante prestatiedegradatie. Bewegingsonscherpte vervaagt randen en vlakt texturen af, wat het detecteren en matchen van kenmerken (features) bemoeilijkt. Bijgevolg falen traditionele Structure-from-Motion (SfM) pipelines (bijv. COLMAP) in het schatten van nauwkeurige camerapozen of het genereren van betrouwbare initiële puntenwolken. Deze posefouten planten zich voort in de uiteindelijke reconstructie, wat resulteert in een verstoorde geometrie, incomplete oppervlakken en artefacten. Hoewel event-camera's een hoog dynamisch bereik hebben en geen bewegingsonscherpte kennen, vertrouwen bestaande event-gebaseerde deblurring 3D-reconstructiemethoden nog steeds op traditionele SfM voor initialisatie, waardoor ze gevoelig blijven voor dezelfde foutmodi wanneer de onscherpte ernstig is.

Methodologie
De auteurs stellen DeblurSplat voor, een traditioneel SfM-vrij framework voor robuuste bewegingsdeblurring in 3D Gaussian Splatting. De pipeline integreert dense stereo learning en event-camera data om de noodzaak van nauwkeurige initiële pose-estimatie vanuit onscherpe beelden te omzeilen. De methode bestaat uit drie kerncomponenten:

1. SfM-vrije Initialisatie via DUSt3R:
   In plaats van COLMAP te gebruiken, maakt de methode gebruik van de vooraf getrainde dense stereo module DUSt3R. DUSt3R regresseert direct 3D-coördinaten en betrouwbaarheidsschattingen (confidence estimates) uit onscherpe beelden met behulp van een transformer-gebaseerde architectuur die globale structurele lay-outs vastlegt. Deze aanpak vermijdt de accumulatie van fouten die gepaard gaat met onnauwkeurige camera-pose schatting onder onscherpe condities. De auteurs merken op dat hoewel bewegingsonscherpte fungeert als een laagdoorlaatfilter dat hoogfrequente details degradeert, DUSt3R de midden- tot laagfrequente geometrische statistieken (globale lay-out en relatieve diepte) behoudt, wat zorgt voor een structureel coherente, zij het ruisgevoelige, prior.

2. Confidence Balanced Sampling:
   Om de door DUSt3R gegenereerde puntenwolken effectief te benutten, introduceren de auteurs een Confidence Balanced Sampling strategie. Naïve strategieën van het gebruiken van alle punten of alleen punten met een hoge betrouwbaarheid zijn suboptimaal: punten met een hoge betrouwbaarheid clusteren vaak in overlappende regio's, terwijl punten met een lage betrouwbaarheid nog steeds essentiële ruimtelijke structuren coderen. De voorgestelde methode verdeelt het betrouwbaarheidsbereik in intervallen en bemonster punten proportioneel aan hun betrouwbaarheid binnen elk interval. Dit zorgt voor een gebalanceerde ruimtelijke dekking, waardoor overconcentratie in regio's met een hoge betrouwbaarheid wordt voorkomen terwijl de geometrische volledigheid van gebieden met een lagere betrouwbaarheid behouden blijft.

3. Progressieve Uitlijning met Event Streams:
   Om resterende artefacten aan te pakken en de reconstructie te verfijnen, incorporeert het framework event streams.

   • Latente Scherpe Beeldontkoppeling: Met behulp van de Event-based Double Integral (EDI) methode ontkoppelt het systeem bewegingsonscherpe RGB-beelden in meerdere latente scherpe beelden op basis van de asynchrone event-data.
   • Latente Bewegingsmodellering: De belichtingstijd wordt gemodelleerd als een sequentie van latente beelden langs een cameratraject. Het systeem parametriseert en optimaliseert camera-poses (met behulp van Lie-algebra interpolatie in SE(3)) om het traject te herstellen dat verantwoordelijk is voor de vorming van de onscherpte.
   • Optimalisatie: Een progressieve uitlijningstrategie verfijnt iteratief de latente scherpe verschijningsvormen en de camerabeweging. De verliesfunctie combineert een standaard 3D-GS reconstructieverlies (het afstemmen van het gemiddelde van de latente renders met de onscherpe input) en een event-gestuurd verlies. Het event-gestuurde verlies stemt de grijswaardenversies van de gerenderde latente scherpe beelden af met de latente beelden afgeleid van de events, wat zorgt voor fijnmazige supervisie om de optimalisatie te sturen naar een geometrisch consistente reconstructie.

Belangrijkste Bijdragen

• DeblurSplat Framework: Het eerste traditionele SfM-vrije 3D-GS framework voor robuuste deblurring, dat effectief de uitgebreide prior-kennis van DUSt3R en de informatie met een hoog dynamisch bereik van event-camera's integreert.
• Confidence Balanced Sampling: Een nieuwe bemonsteringsstrategie die de betrouwbaarheidsschattingen van DUSt3R gebruikt om hoogwaardige initiële puntenwolken te extraheren terwijl de noodzakelijke ruimtelijke dekking behouden blijft, waarbij de valkuilen van agressieve pruning of overconcentratie worden vermeden.
• Progressieve Uitlijning: Een mechanisme dat event-stream cues combineert om latente scherpe beelden en latente camerapozen te schatten, wat zorgt voor fijnmazige begeleiding bij de optimalisatie van de scène-reconstructie.
• Uitgebreide Evaluatie: De constructie van zeven uitdagende synthetische "harde" scènes met complexe verlichting en grootschalige camerabewegingen, naast een real-world dataset met gecontroleerde niveaus van bewegingsonsonscherpte, wat een systematische evaluatie mogelijk maakt buiten bestaande benchmarks.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op synthetische datasets (Normal en Hard scenes) en real-world datasets.

• Prestaties: DeblurSplat presteert consequent beter dan state-of-the-art (SOTA) methoden, waaronder B-NeRF, B-3DGS, BAD-NeRF, BAD-GS en andere event-gebaseerde benaderingen (E2GS, EDNeRF). In de "Hard" synthetische categorie behaalde DeblurSplat een PSNR van 26.94 vergeleken met de op één na beste (EDNeRF) van 24.20. In real-world scenario's behaalde het een PSNR van 25.93, waarmee het concurrenten aanzienlijk verslaat.
• Efficiëntie: De methode vertoont een superieure initialisatie-efficiëntie. Terwijl COLMAP-initialisatie op scherpe beelden aanzienlijk langer duurt en vaak faalt op onscherpe inputs, bereikt DeblurSplatt ongeveer 2.96× sneller een initialisatie in harde scènes.
• Ablatie-studies: Experimenten bevestigen dat zowel Confidence Balanced Sampling als Progressive Alignment cruciaal zijn; het verwijderen van een van beide componenten leidt tot een merkbare daling in PSNR, SSIM en LPIPS-metrieken.

Betekenis en Claims
Het artikel claimt dat DeblurSplat de eerste poging is om een dense stereo module (DUSt3R) specifiek in te zetten om de uitdaging van bewegingsdeblurring in 3D-reconstructie aan te pakken zonder afhankelijk te zijn van traditionele SfM. Door de afhankelijkheid van SfM te elimineren, verbetert de methode de betrouwbaarheid in scenario's waarin onscherpte ervoor zorgt dat feature matching faalt. De integratie van event-camera's biedt een semantische prior met een hoog dynamisch bereik die de herwinning van latente scherpe beelden en camerapooses begeleidt, wat hoogwaardige novel view synthesis mogelijk maakt, zelfs onder ernstige bewegingsonscherpte. De auteurs benadrukken dat hun aanpak niet alleen uitblinkt in het genereren van hoogwaardige novel views, maar ook een significante rendering-efficiëntie bereikt vergeleken met bestaande SOTA deblur 3D-GS methoden.