Learning Unified Representation of 3D Gaussian Splatting

Riepilogo Tecnico: Apprendimento di una Rappresentazione Unificata per lo Splatting Gaussiano 3D

Problematica

Sebbene lo Splatting Gaussiano 3D (3DGS) si sia affermato come una tecnica potente per la ricostruzione e il rendering 3D ad alta fedeltà e in tempo reale, la sua parametrizzazione nativa ($\theta = \{\mu, q, s, c, o\}$) presenta sfide fondamentali quando utilizzata come spazio di apprendimento per le reti neurali. Gli autori identificano tre disallineamenti critici tra i parametri standard del 3DGS e i bias induttivi delle architetture neurali:

1. Non-Unicità (Ambiguità): La mappatura dai parametri all'output renderizzato non è biunivoca. Problemi come la dualità del segno dei quaternioni (dove $q$ e $-q$ rappresentano la stessa rotazione) e le varanze indotte dalla simmetria creano "collisioni di embedding". Input di parametri distinti che producono output visivi identici generano segnali di supervisione contrastanti, portando a instabilità nell'addestramento e scarsa convergenza.
2. Eterogeneità Numerica: I componenti dei parametri spaziano su magnitudo e distribuzioni vastamente differenti (ad esempio, posizioni spaziali in $\mathbb{R}^3$ rispetto a quaternioni normalizzati a unità in $SO(3)$). Ciò viola l'assunto di distribuzione omogenea delle feature richiesto per un efficace flusso di gradiente nelle reti neurali standard.
3. Disallineamento dei Manifold (Varietà): I parametri risiedono su manifold matematici distinti (spazio Euclideo per le posizioni, gruppi di Lie per le rotazioni, armoniche sferiche per il colore). Forzare queste variabili non euclidee in spazi di feature euclidei standard ne rompe la struttura geometrica intrinseca, rendendo la rappresentazione difficile da comprimere, regolarizzare o generalizzare efficacemente.

Questi limiti si traducono in encoder instabili, "jitter" geometrici durante l'interpolazione latente e scarsa robustezza al rumore, ostacolando compiti a valle come la generazione, la compressione e l'editing.

Metodologia

Per affrontare questi problemi, l'articolo propone una Rappresentazione di Campo di Sotto-Manifold che incapsula l'informazione intrinseca dei primitivi Gaussiani attraverso un campo continuo definito su una superficie di iso-probabilità.

1. Rappresentazione del Campo di Sotto-Manifold ($E$):
Invece di utilizzare i parametri grezzi, ogni primitivo Gaussiano è rappresentato come una coppia $(M, F)$:

• Superficie di Iso-Probabilità ($M$): Un sotto-manifold 2D (un ellissoide) definito dall'equazione $(x - \mu)^\top \Sigma^{-1} (x - \mu) = r^2$, dove $r$ è un raggio fisso. Questa superficie cattura la forma geometrica e l'orientamento.
• Campo di Colore ($F$): Una funzione definita su $M$ che mappa i punti sulla superficie a colori dipendenti dalla vista, basandosi sui coefficienti originali delle armoniche sferiche.
  Questa formulazione stabilisce una corrispondenza biunivoca provabilmente unica tra il campo di radianza del Gaussiano e la sua rappresentazione, eliminando le ambiguità dei parametri.

2. Variational Auto-Encoder di Campo di Sotto-Manifold (SF-VAE):
Per apprendere gli embedding da questo campo continuo, gli autori progettano un framework VAE:

• Discretizzazione: Il campo continuo viene discretizzato campionando uniformemente $P$ punti dalla superficie di iso-probabilità per formare una nuvola di punti colorati.
• Encoder: Una rete basata su PointNet codifica la nuvola di punti in un vettore latente $z$.
• Decoder: Due reti neurali implicite ricostruiscono il campo originale:
  • Una rete di trasformazione delle coordinate $g_c$ che mappa i vettori latenti e le coordinate della sfera unitaria in posizioni 3D.
  • Una rete di campo di colore $g_f$ che predice i colori per queste posizioni.
• Recupero dei Parametri: I parametri originali del Gaussiano ($\theta$) vengono recuperati dalla nuvola di punti decodificata utilizzando l'Analisi delle Componenti Principali (PCA) per la matrice di covarianza e l'adattamento delle armoniche sferiche per i coefficienti di colore.

3. Distanza di Manifold (M-Dist):
Gli autori introducono una nuova funzione di perdita basata sulla distanza Wasserstein-2 (Optimal Transport) per misurare la similarità tra i campi di sotto-manifold. Questa metrica considera congiuntamente la distanza spaziale e la differenza di colore, offrendo una migliore correlazione con la qualità percettiva rispetto alle distanze standard nello spazio dei parametri (ad esempio, L1).

Contributi Chiave

• Caratterizzazione Formale dei Limiti: L'articolo identifica e dimostra formalmente che la non-unicità e l'eterogeneità numerica dei parametri nativi del 3DGS sono barriere fondamentali all'apprendimento neurale.
• Rappresentazione Unificata: Propone una rappresentazione di campo di sotto-manifold che fornisce una codifica unica, geometricamente coerente e numericamente stabile dei primitivi Gaussiani.
• Framework di Apprendimento: Sviluppa un framework SF-VAE che incorpora la metrica della Distanza di Manifold, dimostrando che l'apprendimento in questo spazio unificato produce risultati superiori rispetto ai baseline parametrici.

Risultati Sperimentali

Gli autori valutano il metodo utilizzando un framework VAE implementato autonomamente per garantire un confronto controllato, addestrando su un dataset generato casualmente di primitivi Gaussiani per garantire l'invarianza del dominio.

• Qualità della Ricostruzione: Sia sul dataset di livello oggetto (ShapeSplat) che su quello di livello scena (Mip-NeRF 360), la rappresentazione del Campo di Sotto-Manifold supera significativamente i baseline parametrici.
  • Su ShapeSplat, l'SF-VAE raggiunge un PSNR di 63.408 rispetto a 37.512 del baseline parametrico.
  • Su Mip-NeRF 360, l'SF-VAE raggiunge un PSNR di 29.833 rispetto a 18.818 del baseline parametrico.
  • Anche le metriche percettive (SSIM, LPIPS) e la proposta M-Dist mostrano miglioramenti sostanziali.
• Generalizzazione Zero-Shot: I modelli addestrati su dati sintetici casuali si generalizzano efficacemente alle scene del mondo reale, superando i modelli addestrati su domini reali specifici e trasferiti ad altri domini. Ciò suggerisce che la rappresentazione elimina i prior specifici del dominio.
• Robustezza: Lo spazio di embedding del sotto-manifold è significativamente più robusto al rumore. L'aggiunta di rumore allo spazio latente risulta in errori di ricostruzione molto più piccoli (misurati tramite M-Dist) rispetto agli embedding parametrici.
• Regolarità dello Spazio Latente: L'interpolazione lineare nello spazio latente dell'SF-VAE produce transizioni geometriche fluide, mentre l'interpolazione parametrica produce "jitter" innaturali in rotazione e scala.
• Applicabilità a Valle:
  • Clustering Non Supervisionato: Gli embedding SF producono una separazione semantica più chiara nei compiti di clustering di grafi rispetto ai parametri grezzi.
  • Gaussian Neural Fields (GNF): L'uso degli embedding SF come target per i campi neurali risulta in una maggiore fedeltà visiva (ad esempio, PSNR 58.6 vs 51.6 su ShapeSplat) rispetto alla regressione diretta dei parametri grezzi.

Significatività e Rivendicazioni

L'articolo sostiene che la rappresentazione del campo di sotto-manifold proposta risolve i disallineamenti teorici fondamentali tra i primitivi 3DGS e l'apprendimento neurale. Imponendo una mappatura univoca e rispettando la struttura geometrica dei dati, il metodo consente:

1. Addestramento Stabile: L'eliminazione delle collisioni di embedding porta a una migliore convergenza.
2. Apprendimento ad Alta Fedeltà: La rappresentazione preserva le strutture geometriche e fotometriche intrinseche, permettendo una ricostruzione e una generalizzazione superiori.
3. Framework Unificato: Un singolo modello addestrato su dati sintetici può generalizzare attraverso diversi domini (oggetti e scene), suggerendo una strada verso una vera rappresentazione unificata per il 3DGS.

Gli autori concludono che questo approccio fornisce una base rigorosa per i futuri compiti basati sull'apprendimento nel 3DGS, inclusi la modellazione generativa, la compressione e la comprensione semantica, pur riconoscendo gli attuali limiti riguardanti la modellazione di singoli primitivi e la necessità di futuri lavori sulla codifica a livello di scena.