GlobalSplat: Efficient Feed-Forward 3D Gaussian Splatting via Global Scene Tokens

1. Il Problema

Il 3D Gaussian Splatting (3DGS) è diventato lo stato dell'arte per la sintesi di nuove viste (Novel View Synthesis - NVS) grazie alla sua capacità di rendering veloce e di alta fedeltà. Tuttavia, l'allocazione spaziale efficiente dei primitivi (i Gaussiani) rimane una sfida fondamentale, specialmente nel contesto della ricostruzione feed-forward (dove la scena viene ricostruita in un singolo passaggio di rete senza ottimizzazione iterativa per scena).

Le soluzioni attuali, sia basate su ottimizzazione iterativa che su inferenza feed-forward, soffrono di compromessi significativi tra compattezza della rappresentazione, velocità di ricostruzione e fedeltà del rendering. In particolare:

• I metodi feed-forward esistenti tendono ad allineare i primitivi alle viste di input (pixel-aligned o voxel-aligned).
• Questo approccio "centrato sulla vista" introduce ridondanza massiva: man mano che il numero di viste di input aumenta per coprire meglio la scena, il numero di Gaussiani necessari cresce esponenzialmente (spesso centinaia di migliaia o milioni).
• Tale ridondanza porta a file di grandi dimensioni, consumo elevato di memoria GPU e tempi di inferenza lenti, rendendo difficile la scalabilità per contesti con molte viste (large-context).

2. Metodologia: GlobalSplat

Gli autori propongono GlobalSplat, un framework basato sul principio "Allineare prima, Decodificare dopo" (Align First, Decode Later). L'obiettivo è generare una rappresentazione 3D compatta e globalmente coerente indipendentemente dal numero di viste di input.

Architettura Chiave

1. Rappresentazione Latente Globale:

   • Invece di generare Gaussiani direttamente dalle singole viste, GlobalSplat fonde tutte le viste di input in un insieme fisso di token latenti della scena globale (Global Scene Tokens).
   • Il numero di token è costante (es. 2048) e indipendente dal numero di viste in ingresso, garantendo la scalabilità.
   • Questi token risolvono le corrispondenze cross-view e codificano la struttura della scena prima di qualsiasi decodifica geometrica esplicita.

2. Architettura a Doppio Ramo (Dual-Branch):

   • L'encoder utilizza un'architettura iterativa a due rami paralleli per disaccoppiare geometria e aspetto:
     • Ramo Geometria: Elabora le informazioni strutturali.
     • Ramo Aspetto: Elabora le informazioni di colore e texture.
   • Questo disaccoppiamento previene che la texture "mascheri" errori strutturali e garantisce una solida coerenza geometrica.
   • I token latenti vengono aggiornati iterativamente attraverso meccanismi di attenzione incrociata (cross-attention) con le feature delle viste e auto-attenzione (self-attention) per il contesto globale.

3. Decodifica e Curriculum di Addestramento:

   • Un decoder specializzato trasforma i token latenti globali in un insieme esplicito di Gaussiani 3D.
   • Curriculum Coarse-to-Fine: Per evitare il "rigonfiamento" della rappresentazione (representation bloat), il modello viene addestrato con una strategia graduale. Inizia con una capacità decodificata bassa (Gaussiani fusi in gruppi grossolani) e aumenta progressivamente la capacità (fino a 8 Gaussiani per token) man mano che la geometria globale converge. Questo permette di affinare i dettagli locali solo dopo che la struttura globale è stabile.

4. Input e Normalizzazione:

   • Le viste vengono normalizzate in un sistema di coordinate canonico.
   • Le feature di input includono non solo i patch RGB, ma anche embedding di raggi Plücker e codici specifici per la telecamera (posizione e intrinseche) per fornire un forte prior geometrico.

3. Contributi Chiave

• Identificazione del Collo di Bottiglia: Gli autori evidenziano come la formazione di primitivi basata sulle viste (view-centric) nei metodi feed-forward attuali sia il principale ostacolo alla scalabilità, portando a ridondanza e instabilità.
• Paradigma "Align First, Decode Later": Proposta di un nuovo flusso di lavoro che aggrega le informazioni multi-vista in uno spazio latente globale compatto prima di generare la geometria esplicita.
• Architettura Disaccoppiata: Introduzione di un encoder a doppio ramo per separare geometria e aspetto, migliorando la robustezza strutturale.
• Efficienza Estrema: Dimostrazione che è possibile ottenere qualità competitiva mantenendo un budget fisso e ultra-compatto di Gaussiani (es. 16K), indipendentemente dal numero di viste di input.

4. Risultati Sperimentali

Il modello è stato valutato sui dataset RealEstate10K e ACID (per la generalizzazione zero-shot), confrontandosi con metodi feed-forward avanzati come ZPressor, DepthSplat, C3G e AnySplat.

• Qualità vs. Compattezza:
  • GlobalSplat (con 16K Gaussiani) raggiunge un PSNR di 28.53 su RealEstate10K con 24 viste, paragonabile a metodi molto più pesanti come ZPressor (che usa 393K Gaussiani).
  • Rispetto a metodi ultra-compatti come C3G (2K Gaussiani), GlobalSplat offre una qualità visiva nettamente superiore, recuperando dettagli ad alta frequenza.
• Efficienza e Risorse:
  • Dimensione del File: < 4 MB (contro i 134 MB di ZPressor o centinaia di MB di altri metodi).
  • Memoria GPU: Picco di soli 1.79 GB (contro i 3.70 GB di ZPressor o 29 GB di DepthSplat).
  • Velocità di Inferenza: < 78 ms per passaggio in avanti (single forward pass), significativamente più veloce dei baselines (es. ZPressor ~194 ms, DepthSplat ~669 ms).
• Generalizzazione: Il modello mantiene prestazioni robuste su ACID (ambienti esterni/aerei) senza ri-addestramento, dimostrando che la rappresentazione latente globale cattura strutture di scena trasferibili.

5. Significato e Impatto

GlobalSplat stabilisce un nuovo punto di riferimento pratico per la ricostruzione 3D feed-forward.

• Scalabilità: Risolve il problema della ridondanza, permettendo di aggiungere più viste di input per migliorare la copertura della scena senza aumentare il costo computazionale o la dimensione del modello.
• Deployabilità: La dimensione ridotta (<4 MB) e la bassa latenza rendono possibile l'uso di 3DGS su dispositivi con risorse limitate o in applicazioni in tempo reale che richiedono un rendering rapido.
• Nuovo Paradigma: Sposta il focus dalla generazione densa basata su pixel/voxel alla sintesi basata su token globali, aprendo la strada a metodi di sintesi di viste più efficienti e coerenti.

In sintesi, GlobalSplat dimostra che è possibile ottenere una sintesi di nuove viste di alta qualità, veloce e compatta, superando i limiti di ridondanza dei metodi attuali attraverso un'architettura che privilegia la coerenza globale della scena rispetto all'allineamento locale alle viste.