Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting

1. Il Problema: Scalabilità e Risoluzione nella Ricostruzione Feed-Forward

Il lavoro affronta una limitazione fondamentale nei metodi esistenti di 3D Gaussian Splatting (3DGS) feed-forward (come NoPoSplat, DepthSplat, Flash3D).

• Crescita Quadratica: I metodi attuali prevedono primitivi allineati ai pixel. Di conseguenza, il numero di gaussiane necessarie cresce quadraticamente all'aumentare della risoluzione dell'immagine (es. passare da 512p a 4K richiede 64 volte più gaussiane).
• Limiti Computazionali: Questa crescita rende la previsione della rete e il rendering proibitivi in termini di memoria e tempo di calcolo per risoluzioni elevate (2K, 4K), limitando le applicazioni feed-forward a risoluzioni basse (centinaia di pixel).
• Accoppiamento Geometria-Aspetto: Nei metodi standard, l'aspetto (colore) e la geometria sono accoppiati all'interno di ogni primitiva. Per rappresentare texture ad alta frequenza su geometrie semplici, sono necessarie un numero eccessivo di gaussiane.
• Mancanza di Generalizzazione: I metodi esistenti basati su texture (che separano geometria e aspetto) richiedono solitamente ottimizzazione per scena, perdendo la capacità di inferenza istantanea (feed-forward) su nuove scene.

2. Metodologia: LGTM (Less Gaussians, Texture More)

LGTM introduce un framework feed-forward che supera il collo di bottiglia della risoluzione scalando l'aspetto tramite texture e mantenendo la geometria compatta.

Architettura a Doppia Rete

Il cuore di LGTM è la disaccoppiamento della previsione geometrica da quella dell'aspetto (texture) tramite due sottoreti distinte:

1. Rete delle Primitive ($f_{prim}$):
   • Input: Immagini a bassa risoluzione.
   • Output: Un set compatto di parametri geometrici per le gaussiane 2D (posizione $\mu$, scala $s$, rotazione $r$, opacità $o$, colore base $c$).
   • Strategia: Utilizza un'architettura ViT (Vision Transformer) encoder-decoder. Viene addestrata con supervisione ad alta risoluzione: anche se l'input è a bassa risoluzione, la rete viene addestrata a renderizzare e ottimizzare i primitivi a risoluzione piena (es. 4K) per apprendere scale e geometrie appropriate.
2. Rete delle Texture ($f_{texture}$):
   • Input: Immagini ad alta risoluzione + le feature geometriche estratte dalla rete delle primitive.
   • Output: Mappe di texture per primitiva ($T^c$ per il colore, $T^\alpha$ per l'opacità) con risoluzione $T \times T$.
   • Meccanismo: Combina tre tipi di feature:
     • Feature locali estratte dalle immagini ad alta risoluzione tramite patchification.
     • Feature proiettive ($F_{proj}$): ottenute mappando inversamente l'immagine sorgente ad alta risoluzione sulle mappe di texture delle gaussiane (simulando un "rendering inverso" in pochi millisecondi).
     • Feature geometriche riutilizzate dalla rete delle primitive.

Rendering con Texture

Ogni gaussiana 2D viene arricchita con mappe di texture apprendibili. Durante il rendering, invece di usare solo il colore SH (Spherical Harmonics) o un valore costante, il sistema campiona le mappe di texture ($T^c[u]$ e $T^\alpha[u]$) nel punto di intersezione del raggio.

• L'opacità finale è data da: $a_i(u) = o_i \cdot T^\alpha_i[u]$.
• Il colore finale è: $\hat{c}_i(u, d_i) = T^c_i[u] + SH(c_i, d_i)$.

Strategia di Addestramento

Viene adottato un approccio a due stadi per stabilizzare l'addestramento:

1. Pre-training Geometrico: Addestramento isolato della rete delle primitive per stabilire una solida base geometrica.
2. Addestramento Congiunto: Addestramento congiunto di entrambe le reti. I pesi della rete delle primitive vengono aggiornati con un learning rate ridotto (0.1x) per mantenere la stabilità geometrica, mentre le texture (inizializzate a zero) apprendono i dettagli ad alta frequenza.

3. Contributi Chiave

• Primo Network Feed-Forward con Texture: LGTM è il primo metodo capace di prevedere gaussiane con texture in modalità feed-forward, eliminando la necessità di ottimizzazione per scena.
• Scalabilità 4K: Sfruttando la separazione tra geometria (bassa risoluzione) e aspetto (alta risoluzione), LGTM permette il rendering feed-forward a 4K con un numero di primitivi drasticamente ridotto rispetto ai metodi tradizionali.
• Versatilità: Il framework è agnostico rispetto al numero di viste di input e può essere applicato a metodi monoculari, a due viste (con o senza pose note) e multi-view.

4. Risultati Sperimentali

I risultati sono stati valutati sui dataset RealEstate10K e DL3DV-10K su risoluzioni da 1K a 4K.

• Qualità dell'Immagine: LGTM supera costantemente i baselines (3DGS e 2DGS standard) su tutte le metriche (PSNR, SSIM, LPIPS). In particolare, mostra miglioramenti significativi su LPIPS (fino al 75% di riduzione dell'errore percettivo), indicando una migliore cattura dei dettagli ad alta frequenza.
• Efficienza di Memoria e Tempo:
  • Training: Mentre i metodi baselines falliscono (OOM - Out Of Memory) a 2K/4K, LGTM addestra con successo a 4K utilizzando meno di 30 GB di VRAM.
  • Inferenza: Passando da una risoluzione di 512x288 a 4096x2304 (un aumento di 64x dei pixel), LGTM richiede solo 1.80x in più di memoria di picco e 1.47x in più di tempo totale rispetto al modello base a bassa risoluzione. Al contrario, i metodi tradizionali diventerebbero proibitivi.
• Ablation Study: L'analisi dimostra che sia le feature di patchification che le mappe di texture (colore e alpha) sono essenziali per le prestazioni finali.

5. Significato e Impatto

LGTM rappresenta un passo avanti cruciale per la realtà virtuale e aumentata (VR/AR) e altre applicazioni che richiedono ricostruzioni istantanee di scene complesse ad alta fedeltà visiva.

• Superamento del Collo di Bottiglia: Risolve il problema della scalabilità che ha finora impedito l'uso pratico dei metodi feed-forward 3DGS in scenari reali ad alta risoluzione.
• Efficienza: Dimostra che è possibile ottenere ricostruzioni di qualità 4K con un numero di primitivi geometrici molto basso, spostando il carico computazionale sulla gestione efficiente delle texture.
• Generalizzazione: La capacità di funzionare senza ottimizzazione per scena apre la strada a applicazioni in tempo reale su dispositivi mobili o cloud per scenari dinamici.

Limitazioni: La qualità della ricostruzione dipende ancora fortemente dalla precisione della geometria predetta (migliore in setting monoculari o con pose note) e richiede una regolazione manuale della risoluzione delle texture per bilanciare qualità e costo computazionale.