3DGS$^2$-TR: Scalable Second-Order Trust-Region Method for 3D Gaussian Splatting

Sintesi Tecnica: 3DGS2-TR

Problematica
Sebbene lo 3D Gaussian Splatting (3DGS) si sia affermato come lo stato dell'arte per la sintesi di viste nuove in tempo reale, il processo di addestramento rimane un collo di bottiglia significativo. Lo standard 3DGS si affida all'ottimizzatore di primo ordine ADAM, che spesso soffre di una convergenza lenta negli spazi parametrici altamente non convessi e mal condizionati tipici del 3DGS. Il panorama di ottimizzazione è particolarmente complesso a causa del forte accoppiamento tra i parametri di geometria (posizione, rotazione, scala) e di aspetto (opacità, colore), nonché della non linearità e della continuità a tratti del processo di rasterizzazione (causata dall'ordinamento basato sulla profondità).

Gli approcci esistenti del secondo ordine (ad es., 3DGS-LM, 3DGS2) mirano ad accelerare la convergenza utilizzando informazioni sulla curvatura, ma affrontano criticità legate alla scalabilità. Essi si affidano tipicamente a rappresentazioni della curvatura esplicite o dense, portando a un elevato overhead di memoria ($O(n^2)$ o peggio) e a costi per iterazione onerosi. Ciò li rende inadatti per scene su larga scala o per contesti di addestramento distribuito. Inoltre, le discontinuità nella funzione di perdita del 3DGS violano i presupposti di regolarità richiesti dai classici metodi del secondo ordine, causando spesso instabilità.

Metodologia: 3DGS2-TR
Gli autori propongono 3DGS2-TR, un ottimizzatore a regione di fiducia (trust-region) del secondo ordine scalabile, progettato per accelerare l'addestramento del 3DGS mantenendo l'efficienza computazionale e di memoria dei metodi del primo ordine. Il metodo si basa su tre principi fondamentali: computazione per iterazione economica, scalabilità della memoria lineare rispetto ai parametri e vincoli di regione di fiducia.

1. Approssimazione della Hessiana Diagonale (Matrix-Free):
   Invece di calcolare matrici Hessiane complete, 3DGS2-TR approssima la curvatura utilizzando solo la diagonale della matrice di Gauss-Newton ($J^T J$). Questa viene stimata efficientemente tramite il metodo di Hutchinson, che utilizza vettori di Rademacher casuali per calcolare i prodotti Hessiana-vettore. Questo approccio garantisce che sia la complessità computazionale che quella di memoria rimangano $O(n)$, eguagliando la complessità di ADAM. Per stabilizzare le stime di curvatura, il metodo impiega una Media Mobile Esponenziale (EMA) delle stime diagonali, aggiornata periodicamente (ad es., ogni 10 iterazioni) anziché ad ogni passo.

2. Regione di Fiducia per Parametro tramite Distanza di Hellinger al Quadrato:
   Per affrontare la forte non linearità e le discontinuità intrinseche nella rasterizzazione del 3DGS, gli autori introducono una tecnica di regione di fiducia parametrica. A differenza dei vincoli globali o a livello di gruppo, questo metodo limita il passo di aggiornamento per ogni singolo parametro della Gaussiana.

   • Metrica: Il vincolo si basa sulla distanza di Hellinger al quadrato tra la distribuzione Gaussiana prima e dopo un aggiornamento. Questa metrica è stata scelta perché fornisce una soluzione in forma chiusa per Gaussiane non normalizzate e misura intuitivamente la discrepanza nell'aspetto renderizzato.
   • Normalizzazione: Per tenere conto del fatto che la massa apparente di una Gaussiana può cambiare arbitrariamente con la distanza di visione, la distanza di Hellinger è normalizzata per il determinante della matrice di scala ($\det(S)^{-1}$).
   • Meccanismo: Per ogni parametro, viene calcolato un raggio di regione di fiducia $\eta$ tale che la distanza di Hellinger al quadrato normalizzata rimanga al di sotto di una soglia $\epsilon$. Il passo di aggiornamento proposto viene quindi tagliato (clipping) a questo raggio ($\Delta x \cdot \text{clip}(-\eta, +\eta)$), garantendo che gli aggiornamenti non causino cambiamenti improvvisi e invalidi alla geometria o all'opacità della Gaussiana.

3. Pipeline di Ottimizzazione:
   L'algoritmo segue una formulazione stocastica di Gauss-Newton. Calcola un gradiente stocastico e una stima della Hessiana diagonale (tramite il metodo di Hutchinson), calcola un passo di aggiornamento del secondo ordine ($\Delta x = -\hat{D}^{-1} \hat{g}$), applica il clipping della regione di fiducia per parametro e aggiorna i parametri. Il metodo richiede solo un modesto overhead (circa il 10% in più rispetto a ADAM) grazie al campionamento periodico per la stima della Hessiana.

Contributi Chiave

• Ottimizzazione del Secondo Ordine Scalabile: Il paper presenta il primo ottimizzatore del secondo ordine per il 3DGS che raggiunge una complessità $O(n)$ sia in termini di computazione che di memoria, rendendolo scalabile a scene molto grandi e potenzialmente a contesti di addestramento distribuito.
• Stima della Hessiana Diagonale: Adattando il framework leggero di Sophia (Liu et al., 2023) al 3DGS, il metodo utilizza stime della Hessiana diagonale per tenere conto della curvatura della superficie di perdita senza i costi proibitivi delle operazioni su matrici complete.
• Regione di Fiducia basata sulla Distanza di Hellinger: Gli autori propongono un nuovo vincolo di regione di fiducia parametrico basato sulla distanza di Hellinger al quadrato. Ciò fornisce un modo rigoroso per limitare i cambiamenti geometrici delle primitive Gaussiane, affrontando l'instabilità causata dalla natura non regolare della rasterizzazione del 3DGS.

Risultati
Sotto identiche inizializzazioni dei parametri e senza l'uso di strategie di densificazione, 3DGS2-TR dimostra prestazioni superiori rispetto allo standard ADAM:

• Velocità di Convergenza: Raggiunge una migliore qualità di ricostruzione su dataset standard utilizzando il 50% in meno di iterazioni di addestramento rispetto ad ADAM.
• Efficienza di Memoria: Il metodo comporta un overhead di memoria GPU di picco inferiore a 1 GB (circa il 17% in più rispetto ad ADAM). Al contrario, i metodi esistenti del secondo ordine come 3DGS-LM comportano circa l'85% di overhead di memoria in più, evidenziando il vantaggio di scalabilità di 3DGS2-TR.

Significato
Il paper sostiene che 3DGS2-TR colmi il divario tra i benefici di convergenza dei metodi del secondo ordine e i requisiti di scalabilità per la creazione di contenuti 3D su larga scala. Evitando rappresentazioni dense della curvatura e introducendo un meccanismo di stabilità su misura per le discontinuità specifiche dello splatting gaussiano, il metodo permette tempi di addestramento più rapidi senza sacrificare la qualità della ricostruzione o l'efficienza della memoria. Questo progresso affronta un collo di bottiglia primario nella pipeline del 3DGS, facilitando potenzialmente un'adozione più ampia in applicazioni che richiedono una rapida ricostruzione di scene, come la realtà virtuale, la realtà aumentata e la robotica.