Riepilogo Tecnico: VidSplat

Enunciato del Problema

Ricostruire la geometria 3D a partire da immagini multi-vista è un compito fondamentale nella visione artificiale, con recenti breakthroughs ottenuti attraverso i Campi Radianti Neurali (NeRF) e lo Splatting Gaussiano 3D (3DGS). Tuttavia, questi paradigmi dipendono fortemente dalla coerenza fotometrica multi-vista, causando un degrado significativo quando sono disponibili solo poche viste di input. In scenari con viste sparse, l'ottimizzazione diventa mal posta e sottovincolata.

Le soluzioni esistenti rientrano generalmente in due categorie: metodi generalizzabili che vengono pre-addestrati su grandi dataset per apprendere corrispondenze cross-vista, e metodi specifici per la scena che sovradattano singole scene utilizzando priori monoculare o stereo. Sebbene questi approcci migliorino le prestazioni, rimangono vincolati al recupero delle sole regioni visibili delle viste di input date. Faticano a inferire la geometria in regioni non viste, occluse o debolmente vincolate oltre il campo visivo di input, risultando in superfici incomplete e frammentate. Inoltre, i recenti approcci generativi per la sintesi di nuove viste richiedono spesso costosi pre-addestramenti, falliscono nel recuperare regioni estrapolate (producendo vuoti) o generano rendering visivamente plausibili ma geometricamente incoerenti.

Metodologia: VidSplat

Per affrontare queste limitazioni, gli autori propongono VidSplat, un framework di ricostruzione generativa senza addestramento. VidSplat sfrutta potenti priori di diffusione video per sintetizzare iterativamente nuove viste che compensano la copertura di input mancante, permettendo il recupero di scene 3D complete da input sparsi (anche una singola immagine). Il framework integra generazione e ricostruzione attraverso un ciclo di ottimizzazione iterativa che coinvolge due fasi principali: inizializzazione e addestramento.

1. Framework di Ottimizzazione

Il processo inizia con le viste di input sparse $\{V_{input}\}_0$.

• Inizializzazione: Viene costruita una nuvola di punti iniziale utilizzando DUSt3R. Sulla base di ciò, il sistema campiona traiettorie di camera basate sulla visibilità e rende immagini RGB e maschere. Queste vengono inviate a un modello di diffusione video controllato dalla camera (VDM) per sintetizzare clip video 3D-coerenti. I fotogrammi chiave di queste clip formano un set generato $\{V_{gen}\}_0$, che viene unito all'input per creare una nuvola di punti più densa per l'inizializzazione di Gaussiane 2D.
• Addestramento Iterativo: Durante l'addestramento delle Gaussiane, il sistema esegue molteplici cicli di raffinamento. In ogni ciclo $t$, vengono campionate nuove traiettorie e generate nuove sequenze per formare $\{V_{gen}\}_t$. Queste vengono unite all'insieme di viste corrente per espandere la copertura. A differenza della fase di inizializzazione, le viste generate non vengono utilizzate per la reinizializzazione ma vengono retroproiettate nello spazio 3D tramite profondità monoculare per creare centri aggiuntivi di Gaussiane. La ricostruzione viene raffinata iterativamente e le superfici finali vengono estratte utilizzando tetraedri in marcia.

2. Campionamento della Posizione della Camera Basato sulla Visibilità

Per esplorare efficacemente le regioni sottocoperte, VidSplat impiega una strategia di campionamento innovativa. Invece di una semplice interpolazione o percorsi circolari, costruisce traiettorie in cui la camera orbita attorno ai punti di intersezione tra i raggi della camera e la superficie della scena su una sfera. Le traiettorie vengono validate in base alla profondità e alla maschera dei fotogrammi chiave per garantire che evitino occlusioni da piani vicini (ad esempio, muri che bloccano la vista) e coprano una quantità appropriata di regioni non viste. Per mitigare l'accumulo di allucinazioni, la traiettoria viene estesa del 25% durante la generazione e i fotogrammi finali vengono scartati.

3. Generazione Video Guidata dalla Geometria

L'innovazione centrale risiede in una strategia di denoising senza addestramento e a stadi progettata per garantire la coerenza 3D. La generazione video standard introduce spesso deriva dei contenuti e dinamiche che violano i vincoli geometrici. VidSplat affronta questo problema mediante:

• Inversione: Impiegando l'inversione di diffusione sulle immagini RGB e maschere renderizzate per creare latenti rumorosi che codificano priori di layout indotti dal movimento della camera.
• Fusione Adattiva: Ad ogni passo di denoising, il modello fonde il latente previsto con il latente di riferimento invertito utilizzando una maschera spaziale $M(t)$.
• Controllo a Tre Stadi:
  1. Stadio Iniziale ($T_0 \to T_1$): La direzione di denoising nelle regioni note è strettamente vincolata a seguire i riferimenti renderizzati ($M(t) = M_{ref}$). Questo ancorizza la struttura della scena e previene la deriva dei contenuti.
  2. Stadio Centrale ($T_1 \to T_2$): Il vincolo viene gradualmente rilassato, permettendo al modello di raffinare i rendering imperfetti.
  3. Stadio Finale ($T_2 \to 0$): Il vincolo viene rimosso completamente per sintetizzare dettagli locali realistici e riparare artefatti.

4. Funzione di Perdita

L'obiettivo di ottimizzazione combina perdite per le viste di input e le viste generate. Per le viste di input, utilizza la perdita fotometrica standard, la regolarizzazione e un priori di normale. Per le viste generate, la perdita fotometrica viene sostituita con una perdita di Laplaciano per mitigare gli artefatti ad alta frequenza, e viene utilizzata una mappa di confidenza per pixel derivata dalla fusione della nuvola di punti per pesare la supervisione.

Contributi Chiave

1. Framework Generativo: Un framework innovativo che integra iterativamente la generazione video nella ricostruzione con Splatting Gaussiano, permettendo un raffinamento continuo e il recupero di scene 3D complete da input sparsi.
2. Denoising Guidato dalla Geometria: Una strategia di denoising senza addestramento e a stadi che guida adattivamente il processo di diffusione video verso la geometria sottostante, garantendo coerenza 3D senza richiedere un fine-tuning del modello.
3. Prestazioni allo Stato dell'Arte: Il metodo ottiene risultati superiori sia nella ricostruzione di superfici che nella sintesi di nuove viste su benchmark reali ampiamente adottati, superando i metodi esistenti per viste sparse e generativi.

Risultati Sperimentali

Gli autori hanno valutato VidSplat su diversi dataset reali, inclusi Tanks and Temples, Replica e DL3DV, coprendo scenari sia interni che esterni.

• Ricostruzione di Superfici: Sui dataset Tanks and Temples e Replica, VidSplat ha ottenuto metriche quantitative significativamente migliori (Distanza di Chamfer, F-Score, Coerenza delle Normali) rispetto a baseline come FSGS, MAtCha e GuidedVD. Le visualizzazioni dimostrano la capacità di ricostruire superfici complete e ad alta fedeltà senza buchi, anche con sole 5 viste di input.
• Sintesi di Nuove Viste: Sul dataset DL3DV, il metodo ha ottenuto i migliori punteggi PSNR, SSIM e LPIPS sia per scene interne che esterne, rendendo con successo dettagli di alta qualità in regioni scarsamente coperte dagli input.
• Generazione Video: Rispetto ad altri metodi di diffusione video controllati dalla camera (ad esempio, ViewCrafter, TrajectoryCrafter), VidSplat ha dimostrato una coerenza superiore con le geometrie ground truth e una maggiore diversità generativa.
• Generazione da Singola Vista: Il framework ha dimostrato con successo la capacità di generare scene 3D complete da una singola immagine di input, recuperando grandi regioni invisibili.

Significato

Il documento afferma che VidSplat rappresenta un avanzamento significativo nella ricostruzione 3D a viste sparse colmando efficacemente il divario tra modelli generativi video e ricostruzione geometrica. Introducendo una strategia di denoising guidata dalla geometria, gli autori superano la limitazione critica dei precedenti metodi generativi che non riescono a mantenere la coerenza 3D o a inferire geometrie non viste. La capacità del framework di funzionare senza addestramento (senza addestramento) e la sua robustezza su diversi backbones di diffusione video (inclusi SVD e Hunyuan) ne evidenziano la praticità e la scalabilità. In definitiva, VidSplat permette il recupero di scene 3D complete e ad alta fedeltà da dati estremamente limitati, aprendo nuove possibilità per applicazioni nella creazione di contenuti digitali, VR/AR e intelligenza incarnata dove la cattura multi-vista densa è impraticabile.