GoDe: Gaussians on Demand for Progressive Level of Detail and Scalable Compression

1. Il Problema: Limitazioni della Compressione "Single-Rate"

Nonostante i recenti progressi nel campo dei Radiance Field espliciti, in particolare il 3D Gaussian Splatting (3DGS), che hanno ridotto il consumo di memoria e migliorato le prestazioni di rendering in tempo reale, le attuali tecniche di compressione presentano un limite fondamentale: sono intrinsecamente single-rate (a singolo tasso).

• Limitazione attuale: Ogni livello di compressione o budget di memoria target richiede l'addestramento o il fine-tuning di un modello separato. Questo genera una collezione di punti operativi fissi e indipendenti.
• Conseguenze pratiche: In scenari di deployment reali, dove la memoria, la larghezza di banda o i budget computazionali variano tra dispositivi o nel tempo, mantenere, archiviare o trasmettere molteplici modelli specializzati diventa impraticabile.
• Obiettivo: Spostare il paradigma verso una compressione scalabile, dove un'unica rappresentazione addestrata possa supportare molteplici punti operativi (tasso-distorsione) senza necessità di riaddestramento o modifiche strutturali.

2. Metodologia: GoDe (Gaussians on Demand)

Gli autori propongono GoDe, un framework generale per la compressione scalabile e il controllo progressivo del livello di dettaglio (LoD) basato su 3DGS. L'approccio non richiede nuove architetture, ma riorganizza un modello 3DGS pre-addestrato esistente.

Il processo si articola in tre fasi principali:

A. Costruzione di una Gerarchia Progressiva (Hierarchical Organization)

L'idea centrale è che i modelli 3DGS addestrati possiedono già una distribuzione strutturata delle informazioni. GoDe sfrutta i segnali di ottimizzazione (gradienti) già presenti durante l'addestramento per ordinare le primitive Gaussiane.

• Criterio di Importanza: Viene calcolata la sensibilità del gradiente aggregata per ogni Gaussiana (somma delle norme dei gradienti rispetto a tutti i suoi parametri: posizione, opacità, scala, rotazione, armoniche sferiche).
• Costruzione Iterativa: Invece di una classificazione "one-shot", il metodo costruisce la gerarchia in modo top-down e iterativo:
  1. Si parte dal modello completo.
  2. Si identificano le Gaussiane con la minore sensibilità del gradiente (quelle che contribuiscono meno alla qualità di ricostruzione) e si assegnano al livello di raffinamento successivo ($E_l$).
  3. Si rimuovono queste Gaussiane dal set corrente e si ripete il processo.
• Risultato: Si ottiene una gerarchia fissa $G = (G_0, E_1, ..., E_{L-1})$, dove $G_0$ è una base compatta (struttura grezza) e ogni livello successivo aggiunge dettagli progressivamente più fini.

B. Fine-Tuning Consapevole della Quantizzazione

Per garantire coerenza tra tutti i livelli e robustezza sotto vincoli di precisione ridotta, viene eseguito un singolo stage di fine-tuning congiunto:

• Durante l'ottimizzazione, i livelli vengono campionati casualmente ($l \sim Uniform\{0, ..., L-1\}$).
• Si simula la quantizzazione dei parametri (es. 8-bit per le armoniche sferiche, 16-bit per posizione/rotazione) prima del passaggio in avanti, utilizzando un straight-through estimator per la propagazione dei gradienti.
• Viene applicata una penalità $L_1$ sui coefficienti di aspetto per favorire la sparsità.
• Questo assicura che i parametri condivisi (specialmente nei livelli inferiori) rimangano robusti indipendentemente dal livello di dettaglio selezionato.

C. Compressione e Rendering Adattivo

• Bitstream Scalabile: Dopo il fine-tuning, la base $G_0$ e i set di raffinamento $\{E_l\}$ vengono compressi indipendentemente utilizzando Zstandard (ZSTD) con dizionari condivisi. Questo permette un decoding progressivo: si può iniziare con $G_0$ e aggiungere strati man mano che la banda lo consente.
• Transizioni Lisce: Per evitare artefatti visivi ("pop-in") durante il cambio di livello a runtime, viene utilizzata un'interpolazione lineare dell'opacità delle nuove Gaussiane aggiunte, permettendo transizioni fluide tra i livelli di dettaglio.

3. Contributi Chiave

1. Compressione Scalabile da un'unica Pipeline: Dimostrano che è possibile derivare molteplici livelli di compressione da un singolo modello pre-addestrato con un unico stage di fine-tuning congiunto, eliminando la necessità di addestrare modelli separati per ogni budget.
2. Organizzazione Gerarchica Indotta dai Gradienti: Introducono una strategia di masking iterativa basata sulla sensibilità del gradiente aggregato, che crea una gerarchia LoD stabile ed efficace senza modifiche architetturali.
3. Design Agnostico al Modello: L'approccio si basa su segnali di ottimizzazione generici, rendendolo applicabile a varianti esplicite (3DGS standard), neurali (Scaffold-GS) e gerarchiche (Octree-GS).
4. Efficienza di Deployment: Abilita lo streaming progressivo, il decoding veloce e il rendering adattivo su hardware eterogeneo.

4. Risultati Sperimentali

Il framework è stato valutato su benchmark standard (Mip-NeRF360, Tanks&Temples, DeepBlending) e su diverse varianti di 3DGS.

• Prestazioni Tasso-Distorsione: GoDe raggiunge prestazioni comparabili o superiori ai metodi state-of-the-art single-rate (come HAC, Context-GS, RDO) su molti dataset, pur offrendo la scalabilità.
• Flessibilità: Un singolo modello GoDe copre un ampio spettro di dimensioni (da pochi MB a ~60 MB) mantenendo qualità di ricostruzione competitiva.
• Efficienza:
  • Addestramento: Il costo computazionale è paragonabile all'addestramento di un singolo modello (più un fine-tuning congiunto), mentre i metodi single-rate richiederebbero l'addestramento di $N$ modelli separati per ottenere $N$ punti operativi.
  • Decoding: Si osservano accelerazioni nel decoding fino a 1762x rispetto ai metodi precedenti, rendendo praticabile la decompressione on-the-fly.
• Ablation Study:
  • La strategia di ordinamento basata sui gradienti aggregati supera metodi basati su opacità o gradienti posizionali.
  • Il masking iterativo è superiore a un approccio "one-shot".
  • Il confronto con PUP-3DGS (un metodo di pruning basato su incertezza) mostra che GoDe ottiene una qualità di ricostruzione superiore a parità di numero di primitive e budget di ottimizzazione.

5. Significato e Impatto

GoDe rappresenta un cambiamento significativo nel modo di concepire la compressione per i Radiance Field. Dimostra che la scalabilità non è un compromesso inevitabile con la qualità, ma può essere un'proprietà intrinseca della rappresentazione se sfruttati correttamente i segnali di ottimizzazione esistenti.

• Impatto Pratico: Abilita l'uso di 3DGS in scenari dinamici (es. streaming video, realtà aumentata su dispositivi mobili con risorse variabili) dove la capacità di adattare istantaneamente la qualità in base alla banda o alla potenza di calcolo è cruciale.
• Generalità: Poiché non richiede architetture specializzate, può essere integrato in qualsiasi pipeline 3DGS esistente, rendendolo una soluzione immediatamente applicabile e versatile.

In sintesi, GoDe trasforma un modello 3DGS statico in una risorsa dinamica e adattiva, risolvendo il problema della frammentazione dei modelli di compressione e aprendo la strada a un'adozione più ampia dei Radiance Field in applicazioni reali.