AdaGScale: Viewpoint-Adaptive Gaussian Scaling in 3D Gaussian Splatting to Reduce Gaussian-Tile Pairs

1. Il Problema

Il 3D Gaussian Splatting (3D-GS) è diventato uno stato dell'arte per la sintesi di nuove viste, offrendo prestazioni superiori rispetto alle Neural Radiance Fields (NeRF) grazie alla sua rappresentazione esplicita e al rendering basato su "tile" (mattonelle). Tuttavia, nonostante la sua velocità, il 3D-GS fatica a raggiungere il rendering in tempo reale (90-120 FPS) richiesto da applicazioni come AR/VR, specialmente su risoluzioni elevate (es. 4K).

Il collo di bottiglia principale risiede nella fase di generazione delle coppie Gaussiano-Tile. Durante il rendering, ogni Gaussiana 3D viene proiettata e testata per l'intersezione con le tile del framebuffer. Se una Gaussiana interseca una tile, viene creata una coppia che deve essere ordinata e processata durante la rasterizzazione.

• Limitazione delle soluzioni precedenti: I metodi recenti (come GSCore, AdR-Gaussian, FlashGS) hanno cercato di ridurre il numero di coppie eliminando quelle con contributo zero (intersezioni nulle) tramite bounding box più precisi. Tuttavia, non hanno considerato la variazione di importanza tra le coppie con contributo non nullo.
• Osservazione chiave: L'analisi degli autori rivela che le regioni periferiche di una Gaussiana (lontane dal centro) contribuiscono in modo trascurabile all'accumulo del colore del pixel. Le coppie Gaussiano-Tile che coinvolgono queste aree periferiche generano un carico computazionale sproporzionato rispetto al loro impatto visivo.

2. Metodologia: AdaGScale

Gli autori propongono AdaGScale, una tecnica di ridimensionamento adattivo delle Gaussiane basata sul punto di vista, progettata per ridurre selettivamente le coppie a bassa importanza.

A. Definizione del "Peripheral Score" (Punteggio Periferico)

Il concetto fondamentale è che le contribuzioni al colore nella regione periferica di una Gaussiana sono minime. Viene definito un Peripheral Score (PS) come la somma delle contribuzioni di colore dei pixel situati nella regione periferica di una Gaussiana $G_i$, dove il valore di $\alpha$ (opacità proiettata) è compreso tra una soglia minima $\tau$ (1/255) e una soglia intermedia $x$.

B. Stima Efficiente durante il Preprocessing

Calcolare esattamente il PS durante il preprocessing è impossibile perché richiederebbe il calcolo di $\alpha$ e della trasmissività $T$ (che dipende dall'ordinamento per profondità, disponibile solo dopo). Per aggirare questo problema, AdaGScale utilizza una strategia di approssimazione in tre fasi:

1. Approssimazione della Trasmissività: Sostituisce la trasmissività specifica per pixel $T_i$ con un valore costante massimo per Gaussiana ($max(T_i)$).
2. Stima del Limite Superiore basato sulla Profondità: Poiché $max(T_i)$ non può essere calcolato direttamente, viene stimato utilizzando una funzione a gradini ($T_{Upper}^i(depth)$) basata sulla profondità della Gaussiana, appresa offline su un dataset di calibrazione.
3. Calcolo in Forma Chiusa (Riemann Sum): La somma discreta delle contribuzioni viene approssimata con un integrale continuo (somma di Riemann) in coordinate polari, derivando una formula analitica per il PS.

C. Strategia di Ridimensionamento Adattivo

Sulla base del PS stimato, viene calcolata una soglia $\alpha$ adattiva ($Th_i$) per ogni Gaussiana:

• Se il PS è basso (bassa importanza periferica), $Th_i$ viene aumentata rispetto alla soglia fissa originale (1/255).
• Fase di Generazione delle Coppie: Viene utilizzata la soglia aumentata $Th_i$ per il test di intersezione con le tile. Questo riduce l'area di copertura effettiva della Gaussiana, eliminando le coppie con le tile periferiche e riducendo drasticamente il numero di coppie da processare.
• Fase di Rasterizzazione (Dual-Size Strategy): Questo è un punto cruciale. Durante il calcolo finale del colore del pixel, viene utilizzata la sorgine originale (soglia 1/255) e le dimensioni originali della Gaussiana.
  • Risultato: Le coppie eliminate non vengono mai processate (velocità), ma quelle rimanenti contribuiscono al colore con la loro esatta importanza originale, preservando la fedeltà visiva.

3. Contributi Chiave

1. Nuova Metrica di Importanza: Introduzione del "Peripheral Score" per quantificare il contributo delle regioni periferiche delle Gaussiane, identificando che molte coppie possono essere rimosse senza perdita visiva significativa.
2. Algoritmo di Approssimazione: Sviluppo di un metodo efficiente per stimare il PS durante la fase di preprocessing, rendendo possibile l'adattività senza retraining o overhead computazionale significativo.
3. Strategia Dual-Size: Una tecnica innovativa che utilizza dimensioni diverse per il test di intersezione (ridotto) e per l'accumulo del colore (originale), permettendo un'aggressiva riduzione delle coppie mantenendo la qualità dell'immagine.
4. Integrazione Senza Retraining: Il metodo si integra direttamente nelle pipeline 3D-GS esistenti (inclusi modelli compressi e basati su MLP) senza necessità di addestramento o fine-tuning dei modelli 3D.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diverse GPU (NVIDIA A6000) e dataset (indoor, outdoor, city-scale) con diversi modelli di Gaussian Splatting (3D-GS originale, GaussianSpa, CityGaussian, Scaffold-GS).

• Velocità di Rendering:
  • Su scene city-scale (CityGaussian), AdaGScale ottiene un speedup geometrico medio di 13.8x rispetto al 3D-GS originale.
  • Su modelli standard (Original 3D-GS), lo speedup è di 5.46x.
  • Anche su modelli già compressi (GaussianSpa) o basati su MLP (Scaffold-GS), si ottengono miglioramenti significativi (fino a 1.65x sulla sola fase di rendering di Scaffold-GS).
• Qualità dell'Immagine:
  • Il degrado della qualità (misurato in PSNR) è minimo. Per uno speedup di 13.8x su scene urbane, la perdita di PSNR è di circa 0.5 dB.
  • Il metodo permette di controllare il trade-off velocità/qualità tramite un parametro utente $K$.
• Riduzione delle Coppie:
  • Si osserva una riduzione delle coppie Gaussiano-Tile fino al 43% rispetto ai metodi precedenti (come FlashGS), che si traduce direttamente in una minore complessità computazionale nelle fasi di ordinamento e rasterizzazione.

5. Significato e Impatto

AdaGScale rappresenta un passo avanti significativo verso il rendering 3D in tempo reale su dispositivi consumer e per applicazioni AR/VR.

• Efficienza Computazionale: Dimostra che non è necessario mantenere tutte le intersezioni geometriche per ottenere una qualità visiva accettabile, sfruttando la natura decrescente della contribuzione delle Gaussiane.
• Versatilità: La capacità di funzionare su modelli pre-addestrati, modelli compressi e pipeline ibride (MLP) lo rende una soluzione pratica e immediatamente applicabile nell'industria.
• Scalabilità: I risultati su scene di grandi dimensioni (city-scale) suggeriscono che il metodo è essenziale per gestire la densità di Gaussiane richiesta dalle applicazioni moderne, superando i limiti attuali dell'hardware GPU.

In sintesi, AdaGScale risolve il collo di bottiglia del rendering 3D-GS non riducendo il numero di primitive 3D, ma ottimizzando intelligentemente il processo di intersezione con le tile, eliminando il lavoro inutile mantenendo intatta la fedeltà visiva.