Riepilogo Tecnico: MVFusion-GS

1. Definizione del Problema

Estendere lo 3D Gaussian Splatting (3DGS) alle scene dinamiche tramite campi di deformazione è centrale per due compiti: la ricostruzione di scene dinamiche (modellazione fedele del movimento in primo piano) e la ricostruzione priva di distrattori (recupero di uno sfondo statico pulito rimuovendo gli oggetti transitori). Sebbene i framework disaccoppiati come DeGauss separino le scene in rami statici e dinamici, essi soffrono di un limite critico: la mancanza di una consapevolezza esplicita del moto.

Le reti di deformazione standard codificano le caratteristiche latenti attraverso griglie spazio-temporali senza modellare esplicitamente i pattern di movimento dei singoli Gaussiani o il loro contesto temporale. Di conseguenza, queste reti spesso non riescono a catturare movimenti a bassa ampiezza o transitori. Ciò porta a residui "pseudo-statici", in cui elementi dinamici del primo piano vengono erroneamente classificati come statici e lasciati nel ramo dello sfondo. Questa contaminazione degrada la qualità dello sfondo statico ricostruito e risulta in una deformazione imprecisa del primo piano.

2. Metodologia: MVFusion-GS

Gli autori propongono MVFusion-GS, un framework di raffinamento plug-in che potenzia le reti di deformazione esistenti con due meccanismi complementari di consapevolezza del moto. Il metodo tratta la rete di deformazione di base come un predittore grossolano e aggiunge uno stadio di raffinamento leggero che opera puramente nello spazio delle feature, non richiedendo modifiche alle teste di deformazione originali.

La deformazione totale è formulata come:
$$\Delta \mathcal{G}_d(t) = \Delta \mathcal{G}_d^{\text{base}}(t) + \Delta \mathcal{G}_d^{\text{MR}}(t)$$
dove il termine di raffinamento $\Delta \mathcal{G}_d^{\text{MR}}(t)$ è predetto da un vettore di feature fuso che combina le feature di base con due nuovi moduli di consapevolezza del moto.

A. Raffinamento Guidato dalla Varianza del Moto (MVG)

Questo modulo affronta la mancanza di indizi globali sul moto aggregando le statistiche di deformazione per singolo Gaussiano nel tempo.

• Segnatura della Traiettoria Globale: Periodicamente, il sistema campiona le traiettorie di deformazione per ogni Gaussiano attraverso molteplici istanti temporali. Calcola le statistiche (media e varianza) per lo spostamento della posizione, l'entità della rotazione e le variazioni di scala (sia isotrope che anisotrope). Queste vengono aggregate in una segnatura di traiettoria globale a 13 dimensioni ($v_i$) che funge da prior di intensità del moto a lungo termine.
• Dizionario della Varianza Locale: Per catturare le variazioni a breve termine, un dizionario leggero memorizza la varianza del moto locale all'interno di una finestra temporale scorrevole. Questo fornisce un punteggio di intensità del moto istantaneo ($e_i(t)$) per qualsiasi tempo di query tramite interpolazione.
• Iniezione: Queste segnature vengono codificate nello spazio delle feature di deformazione tramite un MLP leggero, fornendo alla rete dei prior espliciti per distinguere i Gaussiani statici dai veri soggetti in movimento.

B. Attenzione Temporale MotionFormer (MFTA)

Mentre MVG fornisce statistiche globali, manca di interazioni temporali a breve termine. MFTA affronta questo problema modellando le dipendenze temporali locali.

• Costruzione delle Feature Temporali: Per un Gaussiano al tempo $t_i$, il modulo costruisce un vicinato temporale che include $t_{i-w}, t_i, t_{i+w}$. Crea dei token utilizzando la feature di deformazione, la deformazione predetta e l'intensità del moto locale.
• Cross-Attention: Un meccanismo di cross-attention basato su Transformer aggrega le informazioni dai passi temporali vicini, permettendo alla rete di sfruttare il contesto temporale locale per predizioni di deformazione più coerenti.
• Iniezione: La risultante feature di moto temporale viene fusa con le feature di base e quelle di MVG prima di essere decodificata dalle teste di deformazione.

Strategia di Addestramento

L'addestramento procede in tre fasi:

1. Geometria di Base: Ottimizzazione della geometria statica con deformazione disabilitata.
2. Deformazione di Base: Attivazione della rete di deformazione di base per apprendere le trasformazioni fondamentali.
3. Raffinamento Consapevole del Moto: Attivazione dei rami completi MVG e MFTA, addestrati end-to-end con pesi inizializzati a zero per raffinare gli aggiornamenti di deformazione.

3. Contributi Chiave

Il paper identifica tre contributi primari:

1. Un Modulo Plug-in a Doppia Mansione: Un framework che potenzia la consapevolezza del moto della rete di deformazione, producendo miglioramenti consistenti sia nei benchmark di ricostruzione di scene dinamiche che di ricostruzione priva di distrattori.
2. Raffinamento Guidato dalla Varianza del Moto (MVG): Un meccanismo che aggrega le statistiche della traiettoria globale in un esplicito prior di intensità del moto, facilitando una separazione più accurata tra dinamico e statico.
3. Attenzione Temporale MotionFormer (MFTA): Un modulo basato su Transformer che sfrutta la cross-attention per modellare le dipendenze del moto cross-temporali, migliorando sia l'accuratezza della deformazione che la coerenza temporale.

4. Risultati Sperimentali

Il metodo è stato valutato su NeRF On-the-Go (senza distrattori), RobustNeRF (senza distrattori con inconsistenze cross-view) e Neu3D (ricostruzione di scene dinamiche).

• Ricostruzione Priva di Distrattori (NeRF On-the-Go): MVFusion-GS ha raggiunto prestazioni state-of-the-art (SOTA) in tutte le metriche medie (PSNR, SSIM, LPIPS). Notevolmente, ha ottenuto il valore LPIPS più basso in tutte le sei scene testate, indicando una qualità percettiva superiore. I risultati qualitativi hanno mostrato la rimozione dei residui pseudo-statici "fantasmatici" (ad esempio, silhouette sfocate di pedoni) che persistevano nello sfondo nei metodi di base come DeGauss.
• Ricostruzione di Scene Dinamiche (Neu3D): Il metodo ha ottenuto il miglior PSNR medio e LPIPS. Nelle regioni dinamiche, ha superato i metodi SOTA come SpaceTimeGS e ST-4DGS, preservando dettagli strutturali più nitidi in aree altamente dinamiche (ad esempio, fiamme, oggetti in rapido movimento) dove i competitor presentavano motion blur.
• Studi di Ablazione: La rimozione di MVG o MFTA ha comportato cali di prestazioni, confermando che sia le statistiche del moto a lungo termine che il contesto temporale a breve termine sono necessari. Il modello completo ha superato le varianti che utilizzavano solo la varianza posizionale o la self-attention, validando il design specifico della segnatura globale e del meccanismo di cross-attention.

5. Significato e Rivendicazioni

Il paper sostiene che la consapevolezza esplicita del moto sia la chiave per migliorare sia la modellazione del moto in primo piano che la ricostruzione dello sfondo statico. Riclassificando correttamente i Gaussiani pseudo-statici verso il ramo dinamico, il metodo offre doppi benefici:

1. Sfondi più Puliti: Essenziale per la ricostruzione priva di distrattori, eliminando gli artefatti causati da elementi dinamici classificati erroneamente.
2. Dettagli del Primo Piano più Fini: Essenziale per la ricostruzione dinamica, catturando movimenti sottili e transitori che le reti di deformazione standard perdono.

Gli autori mantengono una posizione modesta nella loro conclusione, riconoscendo che il metodo dipende ancora dal campo di deformazione di base per fornire indizi di moto iniziali affidabili. Notano che in casi di forte occlusione o evidenza di moto estremamente debole, dove la deformazione iniziale è insufficiente, potrebbero rimanere residui di artefatti, indicando la necessità di futuri lavori sulla riassegnazione robusta della consapevolezza del moto.