DeblurSplat: SfM-free 3D Gaussian Splatting with Event Camera for Robust Deblurring

Sintesi Tecnica di DeblurSplat: 3D Gaussian Splatting tradizionale senza SfM con telecamera a eventi per la deblurring robusta

Problema
I metodi esistenti di ricostruzione 3D e sintesi di nuove viste (NVS), come il 3D Gaussian Splatting (3D-GS) e NeRF, assumono tipicamente input di alta qualità catturati in condizioni ideali. Negli scenari del mondo reale che coinvolgono il motion blur (causato da scarsa illuminazione o tempi di esposizione lunghi), questi metodi soffrono di un significativo degrado delle prestazioni. Il motion blur sfoca i bordi e appiattisce le texture, confondendo i processi di rilevamento e matching delle caratteristiche. Di conseguenza, le pipeline tradizionali di Structure-from-Motion (SfM) (ad esempio, COLMAP) non riescono a stimare pose della telecamera accurate o a generare nuvole di punti iniziali affidabili. Questi errori di pose si propagano nella ricostruzione finale, risultando in geometrie distorte, superfici incomplete e artefatti. Sebbene le telecamere a eventi offrano un elevato intervallo dinamico e assenza di motion blur, i metodi esistenti di ricostruzione 3D con deblurring basati su eventi dipendono ancora dalla SfM tradizionale per l'inizializzazione, rendendoli suscettibili agli stessi modelli di fallimento quando il blur è severo.

Metodologia
Gli autori propongono DeblurSplat, un framework tradizionale senza SfM per il deblurring robusto del motion in 3D Gaussian Splatting. La pipeline integra lo stereo denso e i dati di una telecamera a eventi per bypassare la necessità di una precisa stima iniziale della posa. Il metodo consiste in tre componenti principali:

1. Inizializzazione senza SfM tramite DUSt3R:
   Invece di utilizzare COLMAP, il metodo sfrutta il modulo stereo denso pre-addestrato DUSt3R. DUSt3R regredisce direttamente le coordinate 3D e le stime di confidenza dalle immagini sfocate utilizzando un'architettura basata su transformer che cattura i layout strutturali globali. Questo approccio evita l'accumulo di errori associati a una stima imprecisa della posa della telecamera in condizioni di blur. Gli autori osservano che, sebbene il motion blur agisca come un filtro passa-basso che degrada i dettagli ad alta frequenza, DUSt3R preserva le statistiche geometriche a media e bassa frequenza (layout globale e profondità relativa), fornendo un prior strutturalmente coerente, seppur rumoroso.

2. Campionamento Bilanciato per Confidenza (Confidence Balanced Sampling):
   Per utilizzare efficacemente le nuvole di punti generate da DUSt3R, gli autori introducono una strategia di Confidence Balanced Sampling. Le strategie naive di utilizzare tutti i punti o solo i punti ad alta confidenza sono subottimali: i punti ad alta confidenza spesso si concentrano nelle regioni di sovrapposenza, mentre i punti a bassa confidenza codificano comunque strutture spaziali essenziali. Il metodo proposto partiziona l'intervallo di confidenza in intervalli e campiona i punti proporzionalmente alla loro confidenza all'interno di ogni intervallo. Ciò garantisce una copertura spaziale bilanciata, evitando la sovra-concentrazione nelle regioni ad alta confidenza pur preservando la completezza geometrica dalle aree a minore confidenza.

3. Allineamento Progressivo con Flussi di Eventi:
   Per affrontare gli artefatti residui e raffinare la ricostruzione, il framework incorpora flussi di eventi.

   • Decoupling dell'Immagine Nitida Latente: Utilizzando il metodo Event-based Double Integral (EDI), il sistema separa le immagini RGB con motion blur in molteplici immagini nitide latenti basandosi sui dati asincroni degli eventi.
   • Modellazione del Movimento Latente: Il periodo di esposizione è modellato come una sequenza di immagini latenti lungo una traiettoria della telecamera. Il sistema parametrizza e ottimizza le pose della telecamera (usando l'interpolazione di Lie algebra in SE(3)) per recuperare la traiettoria responsabile della formazione del blur.
   • Ottimizzazione: Una strategia di allineamento progressivo affina iterativamente le apparenze nitide latenti e il movimento della telecamera. La funzione di perdita combina una perdita standard di ricostruzione 3D-GS (allineando la media dei render latenti con l'input sfocato) e una perdita guidata dagli eventi. La perdita guidata dagli eventi allinea le versioni in scala di grigi delle immagini nitide renderizzate con le immagini latenti derivate dagli eventi, fornendo una supervisione fine per guidare l'ottimizzazione verso una ricostruzione geometricamente coerente.

Contributi Chiave

• Framework DeblurSplat: Il primo framework 3D-GS tradizionale senza SfM per il deblurring robusto, che integra efficacemente l'ampio prior di conoscenza da DUSt3R e le informazioni ad alto intervallo dinamico dalla telecamera a eventi.
• Confidence Balanced Sampling: Una nuova strategia di campionamento che sfrutta le stime di confidenza di DUSt3R per estrarre nuvole di punti iniziali di alta qualità mantenendo la necessaria copertura spaziale, evitando le insidie del pruning aggressivo o della sovra-concentrazione.
• Allineamento Progressivo: Un meccanismo che combina i segnali dei flussi di eventi per stimare le immagini nitide latenti e le pose della telecamera latenti, fornendo una guida fine per l'ottimizzazione della ricostruzione della scena.
• Valutazione Completa: La costruzione di sette scene sintetiche "hard" impegnative con illuminazione complessa e movimenti della telecamera su larga scala, insieme a un dataset del mondo reale con livelli di motion blur controllati, consentendo una valutazione sistematica oltre i benchmark esistenti.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su dataset sintetici (scene Normal e Hard) e dataset del mondo reale.

• Prestazioni: DeblurSplat supera costantemente i metodi allo stato dell'arte (SOTA), inclusi B-NeRF, B-3DGS, BAD-NeRF, BAD-GS e altri approcci basati su eventi (E2GS, EDNeRF). Nella categoria sintetica "Hard", DeblurSplat ha raggiunto un PSNR di 26.94 rispetto al secondo miglior risultato (EDNeRF) di 24.20. Negli scenari del mondo reale, ha ottenuto un PSNR di 25.93, superando significativamente i competitor.
• Efficienza: Il metodo dimostra un'efficienza di inizializzazione superiore. Mentre l'inizializzazione COLMAP su immagini nitide richiede significativamente più tempo e spesso fallisce su input sfocati, DeblurSplat raggiunge l'inizializzazione circa 2.96× più velocemente in media nelle scene hard.
• Studi di Ablazione: Gli esperimenti confermano che sia il Confidence Balanced Sampling che il Progressive Alignment sono critici; rimuovere uno qualsiasi dei due componenti porta a un calo evidente nei parametri PSNR, SSIM e LPIPS.

Significatività e Rivendicazioni
Il paper afferma che DeblurSplat costituisce il primo tentativo di sfruttare un modulo di stereo denso (DUSt3R) specificamente per affrontare la sfida del deblurring del motion nella ricostruzione 3D senza fare affidamento sulla tradizionale SfM. Eliminando la dipendenza dalla SfM, il metodo migliora l'affidabilità in scenari in cui il blur causa il fallimento del matching delle feature. L'integrazione della telecamera a eventi fornisce un prior semantico ad alto intervallo dinamico che guida il recupero delle immagini nitide latenti e delle pose della telecamera, consentendo una sintesi di nuove viste ad alta fedeltà anche sotto motion blur severo. Gli autori sottolineano che il loro approccio non solo eccelle nella generazione di nuove viste ad alta fedeltà, ma raggiunge anche una significativa efficienza di rendering rispetto ai metodi deblur 3D-GS SOTA esistenti.