Riepilogo Tecnico: AsyncEvGS

Enunciato del Problema

Sebbene lo Splatting Gaussiano 3D (3DGS) e i Campi Neurali di Radiazione (NeRF) raggiungano una sintesi di nuove viste fotorealistica, dipendono fortemente da immagini di input di alta qualità e nitide. Nella cattura 3D portatile nel mondo reale, l'effetto di sfocatura da movimento (motion blur) è comune e grave, rendendo inefficaci i metodi standard e portando a distorsioni geometriche e ricostruzioni sfocate. Gli approcci computazionali esistenti per la deblurring faticano con la natura mal posta del problema.

Le fotocamere a eventi offrono una soluzione fornendo segnali di movimento ad alta risoluzione temporale e asincroni, robusti allo sfocatura da movimento. Tuttavia, i metodi attuali di ricostruzione 3D assistiti da eventi affrontano due barriere critiche per l'uso pratico portatile:

1. Bassa Risoluzione del Sensore: La maggior parte dei metodi si basa su sensori di eventi a bassa risoluzione (ad esempio, 346 × 260), il che limita fondamentalmente la fedeltà della ricostruzione rispetto alle moderne fotocamere RGB multi-megapixel.
2. Requisiti di Sincronizzazione Rigidi: Le soluzioni ad alta risoluzione spesso richiedono una sincronizzazione temporale rigida a livello hardware tra fotocamere RGB e a eventi, rendendole incompatibili con i comuni dispositivi portatili (ad esempio, smartphone) che mancano di tali capacità di sincronizzazione.

Metodologia

Gli autori propongono AsyncEvGS, un framework progettato per la ricostruzione 3D ad alta fedeltà utilizzando un sistema duale flessibile, asincrono e ad alta risoluzione RGB–Event. La pipeline è composta da tre componenti principali:

1. Sistema Hardware

Gli autori introducono un nuovo banco di prova per fotocamere duali che accoppia una fotocamera a eventi Prophesee EVK-3 HD ad alta risoluzione (1280 × 720) con una fotocamera RGB standard (ad esempio, iPhone 13). Crucialmente, questo sistema opera senza sincronizzazione temporale a livello hardware, consentendo la cattura "in-the-wild" su dispositivi commerciali.

2. Inizializzazione Robusta tramite Stima della Posizione Cross-Dominio

Gli strumenti tradizionali di Structure-from-Motion (SfM) come COLMAP falliscono quando registrano congiuntamente fotogrammi RGB sfocati da movimento e immagini in scala di grigi derivate dagli eventi a causa dei divari di dominio e della sfocatura.

• Ricostruzione da Evento a Intensità: Il flusso grezzo di eventi viene convertito in una sequenza di immagini in scala di grigi nitide utilizzando E2VID.
• Inizializzazione VGGT: Invece di affidarsi a COLMAP, gli autori sfruttano il Visual Geometry Transformer (VGGT) per elaborare sia i fotogrammi RGB sfocati che i fotogrammi in scala di grigi ricostruiti dagli eventi nitidi. Questo fornisce una nuvola di punti densa e robusta e un'inizializzazione accurata della posizione della fotocamera per entrambe le modalità, superando le modalità di fallimento degli SfM tradizionali negli scenari di sfocatura da movimento.

3. Framework di Ottimizzazione

La rappresentazione 3DGS viene ottimizzata utilizzando una funzione di perdita multi-obiettivo progettata per gestire la natura asincrona dei dati e la mal posta della deblurring:

• Perdita di Deblurring ($L_{blur}$): Basata su Deblurring 3DGS, questa sintetizza un'immagine sfocata mediando $N$ viste vicine nitide renderizzate da un MLP e la confronta con l'input RGB sfocato catturato.
• Perdita di Struttura da Eventi ($L_{struct}$): Per affrontare la mal posta delle perdite di eventi classiche (che vincolano solo le differenze di intensità), gli autori propongono una perdita guidata dalla struttura. Utilizza un estrattore di struttura e una mappa di confidenza derivata dalla coerenza multiscala ad alta frequenza. La perdita è calcolata utilizzando l'indice di Similarità Strutturale (SSIM) tra l'immagine renderizzata e l'obiettivo ricostruito dagli eventi, ponderato per la confidenza. Questo si concentra sulla correttezza strutturale piuttosto che sull'intensità assoluta, mitigando le incoerenze di luminosità e il rumore.
• Regolarizzatori di Coerenza:
  • Coerenza RGB ($L_{reg-r}$): Previene che il modulo di deblurring converga verso soluzioni degenerate in cui gli errori nelle singole viste si annullano a vicenda. Impone che l'immagine renderizzata rimanga vicina sia ai fotogrammi vicini nitidi che all'input sfocato osservato.
  • Coerenza Colore degli Eventi ($L_{reg-e}$): Poiché le viste degli eventi mancano di colore, un modello 3DGS grezzo addestrato su immagini RGB funge da riferimento. Questo regolarizzatore garantisce che i rendering delle viste degli eventi non subiscano derive di colore, distillando le informazioni sul colore RGB nelle viste degli eventi.

Contributi Chiave

1. Nuovo Sistema Asincrono ad Alta Risoluzione: La prima pipeline pratica per la ricostruzione 3D ad alta fedeltà utilizzando un banco di prova RGB-Event flessibile da 1280 × 720, superando i limiti di risoluzione dei precedenti sensori di eventi a bassa risoluzione e i vincoli di sincronizzazione degli impianti industriali.
2. Framework Algoritmico Robusto Cross-Dominio:
   • Una pipeline di stima della posizione che utilizza VGGT per gestire il divario di dominio tra RGB sfocato e immagini derivate dagli eventi, consentendo un'inizializzazione stabile dove COLMAP fallisce.
   • Un framework di ottimizzazione su misura che presenta una nuova Perdita di Struttura da Eventi per sfruttare in modo robusto i dettagli ad alta frequenza degli eventi e Regolarizzatori di Coerenza per stabilizzare la deblurring e la stima del colore.
3. Dataset AsyncEv-Deblur: Un nuovo dataset RGB-Event ad alta risoluzione catturato con il sistema asincrono proposto, caratterizzato da scene diverse con grave sfocatura da movimento e rispettivi ground truth.

Risultati Sperimentali

Il metodo è stato valutato sul nuovo dataset AsyncEv-Deblur e sul dataset sintetico Ev-DeblurBlender.

• Prestazioni: L'approccio ottiene prestazioni all'avanguardia su tutte le metriche (PSNR, SSIM, LPIPS), superando significativamente i metodi basati solo su RGB (ad esempio, 3DGS, BAGS, DeblurringGS) e le baseline esistenti assistite da eventi (ad esempio, LSENeRF adattato al nuovo formato).
• Inizializzazione: Gli studi di ablazione mostrano che l'inizializzazione VGGT registra con successo il 100% dei fotogrammi in scenari di sfocatura da movimento impegnativi, mentre COLMAP fallisce nel registrare una porzione significativa di fotogrammi RGB sfocati.
• Analisi dei Componenti: La rimozione della Perdita di Struttura da Eventi ($L_{struct}$) o dei regolarizzatori di coerenza porta a un calo sostanziale delle prestazioni, confermando la loro necessità per recuperare dettagli fini e prevenire il degrado del colore.
• Confronto con Pipeline 2D: L'approccio end-to-end supera significativamente le pipeline che applicano prima reti di deblurring 2D seguite da 3DGS standard, evidenziando i vantaggi dell'ottimizzazione congiunta e della coerenza multi-vista.

Significato

Il documento afferma che AsyncEvGS colma efficacemente il divario tra la cattura 3D ad alta risoluzione e la robustezza richiesta per gli scenari di sfocatura da movimento. Disaccoppiando la necessità di sincronizzazione hardware e sfruttando sensori ad alta risoluzione, il metodo rende la ricostruzione 3D assistita da eventi fattibile per comuni dispositivi portatili come gli smartphone. Il lavoro dimostra che sfruttare i punti di forza complementari delle modalità RGB (colore) e Event (movimento ad alta frequenza) attraverso un framework di ottimizzazione specializzato può migliorare sostanzialmente la robustezza e la fedeltà della ricostruzione in condizioni di grave sfocatura da movimento.