Learning Hierarchical Sparse Transform Coding for 3DGS Compression

Il paper propone un metodo di codifica trasformativa addestrabile (TTC) che integra una trasformazione di analisi-sintesi gerarchica, basata su KLT e una rete neurale sparsa, per migliorare le prestazioni di compressione e il compromesso tra bitrate e tempo di decodifica nella rappresentazione 3DGS.

L'essenziale

🎨 Il Problema: La "Valigia" Troppo Grande

Immagina di voler inviare a un amico un mondo intero in 3D (come un videogioco o un'architettura virtuale) attraverso internet.
Il metodo attuale, chiamato 3DGS (Gaussian Splatting), è come avere un mondo fatto di milioni di palloncini colorati (i "Gaussiani"). Ogni palloncino ha una posizione, una forma, un colore e una trasparenza.
Il problema? Se provi a inviare tutti questi palloncini così come sono, la "valigia" (il file) è enorme. È come se volessi spedire un'intera foresta intera, foglia per foglia, invece di inviare solo un disegno della foresta.

Fino a oggi, per comprimere questi file, gli esperti usavano due metodi principali:

1. Tagliare via i palloncini inutili (come buttare via le foglie secche).
2. Mettere i palloncini in ordine e usare un "codice segreto" (Entropia) per descriverli più brevemente.

Ma c'era un difetto: il codice segreto era troppo pesante da decifrare e non riusciva a eliminare abbastanza "spazzatura" dai dati prima di iniziare a comprimere. Era come cercare di impacchettare una stanza piena di oggetti sparsi senza prima riordinarli: il pacco rimane enorme e difficile da aprire.

---

💡 La Soluzione: "Riordinare Prima di Imballare"

Gli autori di questo paper (Hao Xu, Xiaolin Wu e Xi Zhang) hanno detto: "Aspetta, perché non insegniamo al computer a riordinare i palloncini mentre li crea, prima ancora di iniziare a comprimerli?"

Hanno introdotto un nuovo metodo chiamato TTC (Training-Time Transform Coding).
Immagina che invece di inviare la lista caotica dei palloncini, il computer impari a trasformarli in una partitura musicale ordinata.

Come funziona la loro magia (SHTC)?

Hanno creato un sistema a due livelli, come un filtro a doppio strato:

1. Livello 1: Il Filtro Magico (KLT)
   Immagina di avere un mazzo di carte colorate mescolato. Il primo filtro (KLT) riordina le carte in modo che tutti i "rossi" siano insieme, tutti i "blu" insieme, e così via. In questo modo, la maggior parte dell'informazione importante finisce in poche carte iniziali.

   • Risultato: Il computer può inviare solo le prime carte (quelle importanti) e il file diventa già molto piccolo.

2. Livello 2: Il "Ritocco" Intelligente (Residuo Sparsamente Codificato)
   Ma cosa succede delle carte che non abbiamo mandato? C'è un piccolo errore, un "residuo". Invece di inviare tutte le carte mancanti (che sarebbe lento), usano un trucco da detective.
   Sanno che il residuo è quasi sempre "vuoto" (come un foglio bianco con solo qualche macchia). Invece di inviare il foglio intero, inviano solo le coordinate delle macchie.

   • L'analogia: È come dire al ricevitore: "Disegna un foglio bianco. Poi, metti un punto rosso qui e un punto blu lì". È molto più veloce che inviare l'immagine completa.

---

🚀 Perché è meglio degli altri?

Fino a ora, i metodi migliori cercavano di comprimere i dati usando algoritmi sempre più complessi e lenti (come cercare di chiudere una valigia strappando via pezzi di tessuto).

Il metodo di questo paper fa qualcosa di diverso:

• Impara insieme: Invece di creare prima il mondo 3D e poi cercare di comprimerlo, insegna al computer a creare il mondo già pronto per essere compresso. È come costruire una casa con mattoni che si incastrano perfettamente, invece di costruirne una e poi doverla smontare per metterla in un camion.
• Decodifica veloce: Quando il tuo amico riceve il file, può aprirlo molto velocemente. Non deve fare calcoli complicati per ricostruire il mondo.
• Qualità superiore: A parità di dimensione del file, la qualità dell'immagine è migliore.

📊 In sintesi: Il Compromesso Perfetto

Immagina una bilancia:

• Da una parte c'è la Qualità (quanto è bello il mondo 3D).
• Dall'altra c'è la Dimensione (quanto pesa il file) e la Velocità (quanto tempo ci vuole ad aprirlo).

I metodi vecchi erano lenti o pesanti.
Il metodo SHTC di questo paper è come un super-eroe della compressione: rende il file piccolo come un uccellino, ma mantiene la qualità di un'aquila, e lo fa decodificare in un batter d'occhio.

Conclusione:
Hanno inventato un modo per "insegnare" al computer a riorganizzare i dati 3D mentre li crea, usando un sistema a due livelli (uno per l'essenziale e uno per i dettagli nascosti). Questo permette di inviare mondi 3D incredibilmente dettagliati in pochi secondi, senza far impazzire il computer dell'utente che li guarda. È un passo gigante verso la realtà virtuale e i giochi in streaming che non hanno bisogno di cavi giganti o download di ore.

Sommario tecnico

1. Il Problema

La 3D Gaussian Splatting (3DGS) ha rivoluzionato la sintesi di nuove viste in tempo reale, offrendo qualità visiva superiore. Tuttavia, la natura non strutturata e l'elevato numero di primitive Gaussiane generano un enorme sovraccarico di archiviazione e larghezza di banda.

Le attuali soluzioni di compressione per 3DGS si dividono principalmente in due categorie, entrambe con limiti significativi:

• Metodi non strutturati: Basati su pruning (potatura) e quantizzazione. Offrono riduzioni limitate e spesso degradano la qualità.
• Metodi strutturati (basati su "Anchor"): Utilizzano modelli di entropia complessi (es. HAC++, ContextGS) per codificare le attributi degli "anchor" (punti di riferimento). Il problema fondamentale è che questi metodi non utilizzano trasformate di analisi-sintesi (analysis-synthesis transform) apprese durante l'addestramento. Di conseguenza, la ridondanza nei dati non viene rimossa efficacemente prima della codifica, costringendo i modelli di entropia a gestire dipendenze ad alta dimensionalità complesse. Questo porta a:
  • Prestazioni Rate-Distortion (R-D) subottimali.
  • Modelli di entropia eccessivamente complessi.
  • Alta latenza di decodifica.

Inoltre, i pochi lavori precedenti che hanno introdotto trasformate (Post-training Transform Coding - PTC) le applicano a posteriori su un modello 3DGS già addestrato e fissato. Questo approccio disaccoppiato impedisce l'adattamento reciproco tra la rappresentazione 3DGS, il modello di entropia e la trasformata, limitando i guadagni di compressione.

2. Metodologia Proposta: TTC e SHTC

Gli autori propongono un nuovo paradigma chiamato Training-time Transform Coding (TTC), in cui la trasformata di analisi-sintesi viene appresa e ottimizzata congiuntamente alla rappresentazione 3DGS e al modello di entropia sotto un unico obiettivo Rate-Distortion.

All'interno di questo paradigma, introducono SHTC (Sparsity-guided Hierarchical Transform Coding), un'architettura di trasformata gerarchica, leggera ed efficiente.

Design di SHTC

SHTC affronta le sfide specifiche della compressione 3DGS (dati irregolari, vincoli di parametri per la bitstream) attraverso un design a due livelli:

1. Livello 1: Trasformata KLT (Karhunen-Loève Transform)

   • Obiettivo: Decorrelazione dei canali e compattazione dell'energia.
   • Funzionamento: Viene applicata una KLT sui vettori di attributo degli anchor. Poiché la KLT è ottimale per la decorrelazione lineare, concentra la maggior parte dell'energia in pochi coefficienti principali.
   • Compressione: Vengono mantenuti solo i primi $M$ coefficienti principali (truncation), riducendo drasticamente il bitrate. Tuttavia, questo introduce un errore di troncamento.

2. Livello 2: Livello di Raffinamento Neurale (Residual Coding)

   • Obiettivo: Compensare l'errore di troncamento del Livello 1 con un costo di bitrate minimo.
   • Ispirazione: Compressione Compressiva (Compressed Sensing). Il residuo (la differenza tra l'attributo originale e la ricostruzione KLT) è tipicamente sparso (molte componenti vicine a zero).
   • Implementazione:
     • Analisi: Una trasformazione lineare appresa ($A$) proietta il residuo in un insieme compatto di misurazioni lineari.
     • Sintesi: La ricostruzione del residuo viene formulata come un problema inverso regolarizzato dalla sparsità. Invece di usare una rete neurale "black-box", gli autori adottano un approccio di Deep Unfolding basato sull'algoritmo ISTA (Iterative Shrinkage-Thresholding Algorithm). Questo mappa le iterazioni di ottimizzazione in un piccolo numero di strati neurali appresi, mantenendo l'interpretabilità e sfruttando il prior di sparsità.

Integrazione nel Flusso di Lavoro

SHTC viene integrato nel framework HAC (Hash-grid Assisted Context).

• Le coordinate degli anchor sono compresse separatamente (MPEG-GPCC).
• Gli attributi degli anchor (feature, scaling, offset) vengono elaborati da SHTC.
• I coefficienti trasformati (principal e residuo) vengono quantizzati e codificati con entropia utilizzando un modello di contesto basato su hash grid, che è più semplice e veloce grazie alla pre-decorrelazione operata da SHTC.

3. Contributi Chiave

1. Paradigma TTC: Introduzione del primo framework che ottimizza congiuntamente la rappresentazione 3DGS, il modello di entropia e la trasformata di analisi-sintesi durante l'addestramento, superando i limiti dei metodi PTC disaccoppiati.
2. Architettura SHTC: Progettazione di una trasformata gerarchica che bilancia l'efficienza dei parametri e delle prestazioni. Combina la KLT (ottimale per la decorrelazione) con un raffinatore neurale basato su compressione compressiva e deep unfolding, ideale per i vincoli di bitstream specifici per scena.
3. Efficienza Computazionale: SHTC evita la costruzione costosa di grafi spaziali (KNN) limitando le trasformate al dominio dei canali. Il modello di raffinamento è estremamente leggero (pochi migliaia di parametri aggiuntivi).
4. Ottimizzazione MDL (Minimum Description Length): Il design è guidato dal principio di bilanciare il costo della descrizione della trasformata stessa ($L(M)$) con il costo della codifica dei dati trasformati ($L(D|M)$), evitando trasformate troppo complesse che annullerebbero i guadagni di compressione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset standard (Mip-NeRF360, Tanks&Temples, DeepBlending, ecc.) confrontando SHTC con lo stato dell'arte (HAC++, ContextGS, CAT-3DGS, ecc.).

• Prestazioni Rate-Distortion (R-D): SHTC supera significativamente i metodi basati su anchor esistenti.
  • Rispetto a HAC++, SHTC ottiene un risparmio di bitrate (BD-rate) medio del -20%.
  • Rispetto a ContextGS, il risparmio è del -49%.
  • Rispetto al HAC vanilla, il risparmio raggiunge il -64%.
• Efficienza di Decodifica: Grazie alla pre-decorrelazione dei dati, SHTC permette l'uso di modelli di entropia più semplici e paralleli.
  • La latenza di decodifica è inferiore rispetto a metodi complessi come CAT-3DGS o ContextGS.
  • Il tempo di rendering (FPS) rimane elevato e competitivo.
• Trade-off Pareto: SHTC si posiziona sul fronte di Pareto ottimale tra qualità (BD-rate) e tempo di decodifica, offrendo il miglior compromesso tra i metodi confrontati.
• Overhead Parametrico: L'integrazione di SHTC aggiunge solo 1.154 parametri netti al modello (rispetto a HAC), mentre metodi come HAC++ ne aggiungono oltre 45.000. Questo dimostra l'efficienza del design basato su sparsità.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale nella compressione di scene 3D basate su Gaussiane:

• Cambio di Paradigma: Dimostra che l'ottimizzazione congiunta di trasformata e rappresentazione è superiore all'approccio "post-training" o all'uso di soli modelli di entropia complessi.
• Applicabilità Reale: L'alta efficienza di decodifica e il basso overhead di memoria rendono la 3DGS comprimibile e praticabile per applicazioni in tempo reale con vincoli di banda stretti, come la Realtà Virtuale (VR), il gaming immersivo e la conservazione del patrimonio culturale.
• Ispirazione per Altri Codec: La strategia di progettazione efficiente dei parametri (combinazione di prior di sparsità e deep unfolding) potrebbe servire da blueprint per lo sviluppo di codec neurali per immagini e video a bassa complessità.

In sintesi, il paper propone una soluzione elegante ed efficace che risolve il collo di bottiglia della ridondanza nei dati 3DGS, permettendo compressioni estreme senza sacrificare la qualità visiva o la velocità di decodifica.