GP-4DGS: Probabilistic 4D Gaussian Splatting from Monocular Video via Variational Gaussian Processes

1. Il Problema

La ricostruzione di scene dinamiche da video monoculare è un compito fondamentale per applicazioni come la robotica e i sistemi autonomi. Sebbene i metodi recenti basati su 4D Gaussian Splatting (4DGS) abbiano ottenuto risultati visivi eccezionali, presentano limitazioni intrinseche:

• Natura Deterministica: I metodi esistenti trattano il movimento come un problema di ottimizzazione deterministica, imponendo prior di movimento fissi (es. deformazioni polinomiali, vincoli di rigidità) che vengono applicati uniformemente a tutte le primitive gaussiane.
• Mancanza di Incertezza: Non esiste un meccanismo principiato per quantificare l'incertezza nelle previsioni di movimento, rendendo difficile valutare l'affidabilità della ricostruzione in regioni occluse o scarsamente osservate.
• Limiti di Generalizzazione: Quando le primitive sono poco osservate o occluse, i prior fissi diventano inadeguati. Inoltre, questi metodi non possono estrapolare il movimento oltre i frame di addestramento (predizione futura) in modo affidabile.

2. Metodologia: GP-4DGS

Gli autori propongono GP-4DGS, un framework che integra i Gaussian Processes (GP) all'interno del pipeline 4DGS per creare un modello probabilistico delle scene dinamiche.

A. Modellazione Probabilistica del Movimento

Invece di apprendere un campo di deformazione deterministico, GP-4DGS modella le deformazioni temporali delle primitive gaussiane come distribuzioni probabilistiche:

• Input/Output: Per ogni primitiva, l'input è la posizione canonica 3D e il tempo $x = (p, t)$. L'output è un vettore di deformazione $d$-dimensionale (3 dimensioni per la traslazione + 6 per la rotazione continua).
• Kernel Composito: Poiché le correlazioni spaziali e temporali hanno strutture diverse, viene progettato un kernel composito:
  • Spaziale: Utilizza un kernel Matérn per catturare la regolarità geometrica e gestire le discontinuità tra oggetti spazialmente sconnessi.
  • Temporale: Combina kernel Matérn con un kernel Periodico. Questo permette di catturare pattern di movimento ciclici e abilitare l'estrapolazione temporale robusta.

B. Inferenza Variazionale Scalabile

Calcolare il posterior esatto di un GP con decine di migliaia di primitive ($N$) ha una complessità $O(N^3)$, proibitiva per 4DGS.

• Punti Induttori (Inducing Points): Viene adottata una formulazione di Gaussian Process Variational (VGP) con $M$ punti induttori ($M \ll N$).
• Complessità: La complessità viene ridotta a $O(NM^2 + M^3)$, rendendo l'inferenza fattibile.
• Inizializzazione: I punti induttori spaziali vengono selezionati utilizzando caratteristiche estratte dalle traiettorie temporali (tramite il modello Chronos) e clustering, mentre quelli temporali sono campionati uniformemente.

C. Strategia di Ottimizzazione GP-GS

Il training avviene attraverso un ciclo di feedback alternato (Algorithm 1):

1. Fase 1 (Training GP): Si selezionano le primitive "confidanti" (quelle con alta copertura visiva nei frame di training) e si addestra il VGP massimizzando l'ELBO (Evidence Lower Bound). Si introduce rumore gaussiano nelle coordinate spaziali per regolarizzare l'incertezza nella posizione canonica.
2. Fase 2 (Ottimizzazione GS): Si utilizzano i posteriori del GP (media e varianza) per guidare l'ottimizzazione delle primitive 4DGS. Viene introdotto un loss di guida GP ($L_{GP}$) che penalizza le deviazioni delle deformazioni dalle previsioni del GP, ma solo per le primitive che si discostano significativamente (soglia adattiva).
   • Questo crea un ciclo virtuoso: le osservazioni affidabili affinano i prior di movimento, che a loro volta stabilizzano la ricostruzione nelle regioni scarsamente osservate.

3. Contributi Chiave

1. Framework Probabilistico: Prima integrazione di GP nei 4DGS, abilitando la quantificazione dell'incertezza per le previsioni di movimento.
2. Estrapolazione Temporale: Capacità di prevedere il movimento futuro oltre i frame di addestramento sfruttando i kernel periodici e la natura probabilistica dei GP.
3. Prior di Movimento Adattivi: Invece di prior fissi, il sistema apprende prior dai dati che si adattano ai pattern di osservazione, migliorando la generalizzazione in regioni occluse.
4. Efficienza Computazionale: Sviluppo di uno schema di inferenza variabile scalabile e di una strategia di ottimizzazione duale (GP-GS) che bilancia ricostruzione e regolarizzazione.

4. Risultati Sperimentali

Il metodo è stato valutato su dataset come DyCheck (video monoculare con movimento rapido) e DAVIS (cambiamenti estremi di viewpoint).

• Qualità di Rendering: GP-4DGS supera gli stati dell'arte (come SoM, D-3DGS, 4DGS) in termini di mPSNR, mSSIM e mLPIPS, specialmente nel sottoinsieme "Challenging" con sovrapposizione ridotta tra viewpoint.
• Robustezza alle Occlusioni: In regioni scarsamente osservate, il metodo riduce gli artefatti (es. "floater", sfocature geometriche) propagando le correlazioni spazio-temporali dalle regioni ben osservate.
• Quantificazione dell'Incertezza: Il metodo fornisce mappe di incertezza che correlano accuratamente con gli errori di ricostruzione (misurato tramite AUSE-MSE). Le regioni ad alta incertezza corrispondono a zone di ambiguità del movimento o scarsa osservazione.
• Predizione Futura: Nelle scene con movimento periodico, GP-4DGS supera di gran lunga l'estrapolazione lineare naive, mantenendo coerenza temporale e fisica per i frame futuri non visti durante l'addestramento.

5. Significato e Impatto

GP-4DGS rappresenta un passo significativo verso l'integrazione di modelli probabilistici rigorosi nella grafica neurale ad alta fedeltà.

• Affidabilità: Fornisce non solo una ricostruzione visiva, ma anche una misura di affidabilità, cruciale per applicazioni di sicurezza come la guida autonoma o la robotica.
• Generalizzazione: Dimostra che l'apprendimento di prior di movimento dai dati (anziché imporre vincoli fissi) permette di gestire scenari complessi, occlusioni e movimenti futuri in modo più naturale.
• Futuro della Ricerca: Apre la strada a metodi di sintesi di viste dinamiche che sono non solo visivamente realistici, ma anche statisticamente fondati e capaci di ragionare sull'incertezza.