Technische Samenvatting: Event Enhanced Gaussian Splatting (E2GS)

Probleemstelling

Recente vooruitgang in 3D-scèneherconstructie en synthese van nieuwe gezichtspunten is gedreven door Neural Radiance Fields (NeRF) en, meer recentelijk, 3D Gaussian Splatting. Hoewel 3D Gaussian Splatting snellere trainings- en renderingsmogelijkheden biedt in vergelijking met NeRF, gaan deze methoden over het algemeen uit van ideale invoercondities. Ze kampen met aanzienlijke problemen wanneer ze worden geconfronteerd met bewegingsvage afbeeldingen, een veelvoorkomend artefact veroorzaakt door objectbeweging, camera-beving of lensdefocussing.

Daarentegen bieden event-camera's (Dynamic Vision Sensors) een hoog dynamisch bereik, geen bewegingsvage beelden en lage latentie door asynchroon het veranderen van pixelhelderheid vast te leggen. Eerdere op gebeurtenissen gebaseerde methoden voor 3D-herconstructie, zoals E2NeRF, hebben succesvol gebruikgemaakt van event-data naast onscherpe RGB-afbeeldingen om scherpe scènes te reconstrueren. Deze benaderingen vertrouwen echter op het NeRF-paradigma, wat uitgebreide ray-sampling strategieën vereist, wat resulteert in onaanvaardbaar lange trainingstijden en trage renderingssnelheden. Er blijft behoefte aan een methode die de efficiëntie van Gaussian Splatting combineert met de weerstand tegen bewegingsvage beelden van event-data.

Methodologie

De auteurs stellen Event Enhanced Gaussian Splatting (E2GS) voor, een raamwerk dat event-streamdata integreert in de 3D Gaussian Splatting-pijplijn om om te gaan met onscherpe invoer. De methode werkt via drie hoofdfasen:

1. Voorverwerking en Initialisatie

• Op Gebeurtenissen Gebaseerde Ontwarring: Gegeven een set van onscherpe afbeeldingen en hun overeenkomstige event-streams, verdeelt de methode de belichtingstijd van elke afbeelding in $N$ gelijke tijdstippen. Met behulp van het Event-based Double Integral (EDI)-model schat het een reeks scherpe tussenliggende afbeeldingen ($I_i$) in door event-data te accumuleren. De onscherpe afbeelding wordt gemodelleerd als het gemiddelde van deze tussenliggende frames.
• Initialisatie: De geschatte reeks ontwarde afbeeldingen wordt ingevoerd in een Structure-from-Motion (SfM)-pijplijn (COLMAP) om de initiële 3D-Gaussian-coördinaten en cameraposities te genereren. Deze stap is cruciaal, aangezien standaard SfM vaak faalt wanneer het direct wordt geïnitieerd met onscherpe afbeeldingen.

2. Trainingsraamwerk

E2GS optimaliseert de 3D-Gaussian-parameters met behulp van twee verschillende verliesfuncties om de reconstructie te superviseren:

• Afbeeldingsrenderingverlies ($\mathcal{L}_{blur}$): Om Gaussian Splatting aan te passen voor onscherpe invoer, rendeert de methode $N$ tussenliggende gezichtspunten die overeenkomen met de tijdstippen en middelt deze om de onscherpe ground truth te simuleren. Het verlies is een combinatie van L1-verlies en D-SSIM (Dissimilarity Structural Similarity) waarbij de gesimuleerde gemiddelde wordt vergeleken met de ingevoerde onscherpe afbeelding.
• Event-renderingverlies ($\mathcal{L}_{event}$): Om gebruik te maken van de hoge temporele resolutie van event-data, selecteert de methode willekeurig twee frames uit de gerenderde reeks, converteert deze naar intensiteit in het log-domein en berekent het verwachte aantal gebeurtenissen op basis van het intensiteitsverschil en een drempelwaarde $C$. Deze geschatte event-bak wordt vergeleken met de ground truth event-bak met behulp van Mean Squared Error (MSE). Dit verlies dwingt consistentie af met het continue temporele proces van vervaging, in plaats van slechts het statische gemiddelde.

De totale verliesfunctie is een gewogen som: $\mathcal{L} = \mathcal{L}_{blur} + w_{event}\mathcal{L}_{event}$.

Belangrijkste Bijdragen

1. Eerste Integratie van Gebeurtenissen in Gaussian Splatting: E2GS is de eerste aanpak die event-data integreert in het Gaussian Splatting-raamwerk, en zo voorbijgaat aan het volumerendering-paradigma van NeRF.
2. Efficiënte Ontwarring en Synthese: De methode maakt effectief gebruik van zowel onscherpe RGB-afbeeldingen als event-streams om hoogwaardige afbeeldingsontwarring en synthese van nieuwe gezichtspunten te bereiken.
3. Aanzienlijke Snelheidsverbeteringen: Door ray-sampling te vervangen door differentieerbare rasterisatie, vermindert E2GS de rekenkosten drastisch in vergelijking met op NeRF gebaseerde event-methoden.

Experimentele Resultaten

De auteurs hebben E2GS geëvalueerd op zowel synthetische datasets (gesimuleerde camera-beving in Blender) als real-world datasets (vastgelegd met DAVIS346 event-camera's).

• Kwantitatieve Prestaties:
  • Afbeeldingsontwarring: Op synthetische data behaalde E2GS een PSNR van 30,84, wat beter is dan standaard Gaussian Splatting (22,92) en gelijkstaat aan of lichtjes boven E2NeRF uitkomt (29,77). Op real-world data behaalde E2GS de laagste BRISQUE-scores (wat wijst op hogere natuurlijkheid), met een gemiddelde van 32,50 in vergelijking met 36,59 voor E2NeRF.
  • Synthese van Nieuwe Gezichtspunten: E2GS toonde superieure of concurrerende resultaten in PSNR-, SSIM- en LPIPS-metingen tegen zowel standaard GS als E2NeRF op synthetische data. Bij real-world synthese van nieuwe gezichtspunten behaalde E2GS opnieuw de beste BRISQUE-scores (gemiddeld 32,77).
• Efficiëntie:
  • Training: E2GS verkortte de trainingstijd met een factor van 60 in vergelijking met E2NeRF (50 minuten versus 2 dagen).
  • Rendering: E2GS behaalde een renderingssnelheid van 140 FPS, wat een 3500x versnelling vertegenwoordigt ten opzichte van E2NeRF (0,04 FPS).

Betekenis en Beweringen

Het artikel beweert dat E2GS met succes de kloof overbrugt tussen de hoogwaardige reconstructie van op gebeurtenissen gebaseerde NeRF-methoden en de rekenkundige efficiëntie van Gaussian Splatting. De auteurs stellen dat hun methode visueel aantrekkelijke renderings genereert terwijl het aanzienlijk snellere training- en renderingssnelheden biedt, waardoor real-time of quasi real-time 3D-herconstructie vanuit bewegingsvage, met gebeurtenissen verrijkte data haalbaar wordt.

De auteurs concluderen dat hoewel hun methode effectief omgaat met statische scènes, toekomstige onderzoeksrichtingen het aanpakken van dynamische scènes met snel bewegende onderwerpen (bijvoorbeeld sport) omvatten, wat nog steeds een uitdaging blijft voor huidige RGB-only of op statische scènes gerichte benaderingen.