Riepilogo Tecnico: Event Enhanced Gaussian Splatting (E2GS)

Enunciato del Problema

I recenti progressi nella ricostruzione di scene 3D e nella sintesi di nuove visualizzazioni sono stati guidati dai Neural Radiance Fields (NeRF) e, più recentemente, dal 3D Gaussian Splatting. Sebbene il 3D Gaussian Splatting offra capacità di addestramento e rendering rapide rispetto ai NeRF, questi metodi assumono generalmente condizioni di input ideali. Faticano significativamente quando sono presentate immagini con sfocatura da movimento, un artefatto comune causato dal movimento degli oggetti, dal tremito della fotocamera o dalla sfocatura dell'obiettivo.

Al contrario, le fotocamere a eventi (Dynamic Vision Sensors) offrono un alto intervallo dinamico, assenza di sfocatura da movimento e bassa latenza catturando asincronamente le variazioni di luminosità dei pixel. I precedenti metodi di ricostruzione 3D basati su eventi, come E2NeRF, hanno utilizzato con successo i dati degli eventi insieme a immagini RGB sfocate per ricostruire scene nitide. Tuttavia, questi approcci si basano sul paradigma NeRF, che necessita di strategie estese di campionamento dei raggi, risultando in tempi di addestramento proibitivamente lunghi e velocità di rendering lente. Rimane la necessità di un metodo che combini l'efficienza del Gaussian Splatting con la resilienza alla sfocatura da movimento dei dati degli eventi.

Metodologia

Gli autori propongono Event Enhanced Gaussian Splatting (E2GS), un framework che integra i dati del flusso di eventi nella pipeline del 3D Gaussian Splatting per gestire input sfocati da movimento. Il metodo opera attraverso tre fasi principali:

1. Preprocessing e Inizializzazione

• Deblurring Guidato dagli Eventi: Dato un insieme di immagini sfocate e i loro corrispondenti flussi di eventi, il metodo divide il tempo di esposizione di ogni immagine in $N$ timestamp uguali. Utilizzando il modello Event-based Double Integral (EDI), stima una sequenza di immagini intermedie nitide ($I_i$) accumulando i dati degli eventi. L'immagine sfocata è modellata come la media di questi fotogrammi intermedi.
• Inizializzazione: La sequenza stimata di immagini deblurrate viene immessa in una pipeline Structure-from-Motion (SfM) (COLMAP) per generare le coordinate 3D iniziali dei Gaussiani e le pose della fotocamera. Questo passaggio è cruciale, poiché la SfM standard spesso fallisce se inizializzata direttamente con immagini sfocate.

2. Framework di Addestramento

E2GS ottimizza i parametri dei Gaussiani 3D utilizzando due funzioni di perdita distinte per supervisionare la ricostruzione:

• Perdita di Rendering Immagine ($\mathcal{L}_{blur}$): Per adattare il Gaussian Splatting agli input sfocati, il metodo renderizza $N$ visualizzazioni intermedie corrispondenti ai timestamp e le media per simulare la verità di terra sfocata. La perdita è una combinazione di perdita L1 e D-SSIM (Dissimilarity Structural Similarity) che confronta la media simulata con l'immagine sfocata di input.
• Perdita di Rendering Eventi ($\mathcal{L}_{event}$): Per sfruttare l'alta risoluzione temporale dei dati degli eventi, il metodo seleziona casualmente due fotogrammi dalla sequenza renderizzata, li converte in intensità nel dominio logaritmico e calcola il numero atteso di eventi basato sulla differenza di intensità e su una soglia $C$. Questo bin di eventi stimato viene confrontato con il bin di eventi di verità di terra utilizzando l'Errore Quadratico Medio (MSE). Questa perdita impone la coerenza con il processo temporale continuo della sfocatura, piuttosto che solo con la media statica.

La funzione di perdita totale è una somma pesata: $\mathcal{L} = \mathcal{L}_{blur} + w_{event}\mathcal{L}_{event}$.

Contributi Chiave

1. Prima Integrazione degli Eventi nel Gaussian Splatting: E2GS è il primo approccio a incorporare i dati degli eventi nel framework del Gaussian Splatting, andando oltre il paradigma di rendering volumetrico dei NeRF.
2. Deblurring e Sintesi Efficienti: Il metodo utilizza efficacemente sia le immagini RGB sfocate che i flussi di eventi per ottenere un deblurring di immagini di alta qualità e una sintesi di nuove visualizzazioni.
3. Miglioramenti Significativi di Velocità: Sostituendo il campionamento dei raggi con la rasterizzazione differenziabile, E2GS riduce drasticamente i costi computazionali rispetto ai metodi basati su NeRF.

Risultati Sperimentali

Gli autori hanno valutato E2GS sia su dataset sintetici (simulazione di tremito della fotocamera in Blender) che su dataset reali (catturati con fotocamere a eventi DAVIS346).

• Prestazioni Quantitative:
  • Deblurring Immagine: Su dati sintetici, E2GS ha raggiunto un PSNR di 30.84, superando il Gaussian Splatting standard (22.92) e eguagliando o superando leggermente E2NeRF (29.77). Su dati reali, E2GS ha ottenuto i punteggi BRISQUE più bassi (indicando una maggiore naturalità), con una media di 32.50 rispetto ai 36.59 di E2NeRF.
  • Sintesi di Nuove Visualizzazioni: E2GS ha dimostrato risultati superiori o competitivi nelle metriche PSNR, SSIM e LPIPS rispetto sia al GS standard che a E2NeRF su dati sintetici. Nella sintesi di nuove visualizzazioni su dati reali, E2GS ha nuovamente ottenuto i migliori punteggi BRISQUE (media 32.77).
• Efficienza:
  • Addestramento: E2GS ha ridotto il tempo di addestramento di un fattore di 60 rispetto a E2NeRF (50 minuti vs 2 giorni).
  • Rendering: E2GS ha raggiunto una velocità di rendering di 140 FPS, rappresentando un aumento di velocità di 3500x rispetto a E2NeRF (0.04 FPS).

Significato e Affermazioni

Il documento afferma che E2GS colma con successo il divario tra l'alta qualità di ricostruzione dei metodi NeRF basati su eventi e l'efficienza computazionale del Gaussian Splatting. Gli autori affermano che il loro metodo genera rendering visivamente accattivanti offrendo al contempo velocità di addestramento e rendering significativamente più rapide, rendendo fattibile la ricostruzione 3D in tempo reale o quasi reale da dati sfocati da movimento e arricchiti da eventi.

Gli autori concludono che, sebbene il loro metodo gestisca efficacemente scene statiche, le direzioni di ricerca future includono la gestione di scene dinamiche con soggetti in movimento rapido (ad esempio, sport), che rimangono una sfida per gli approcci attuali basati solo su RGB o focalizzati su scene statiche.