Technische Samenvatting: LocusGS

Probleemstelling

Recente feed-forward 3D Gaussian Splatting (3DGS) methoden zijn verschoven van kostbare per-scène optimalisatie naar directe voorspelling vanuit invoerbeelden. Onder deze methoden vertegenwoordigen query-gebaseerde benaderingen (bijv. TokenGS) een scène met een vaste set leerbare queries (tokens). Elk token aggregeert multi-view bewijs via een Transformer-decoder en wordt gedecodeerd naar een groep 3D Gaussians.

De auteurs observeren echter een kritieke beperking in bestaande query-gebaseerde methoden: zwakke ruimtelijke coherentie. Hoewel verschillende queries idealiter gespecialiseerd zouden moeten zijn in afzonderlijke, coherente lokale regio's van de scène, verspreiden de Gaussians die uit een enkele latente query worden gedecodeerd zich vaak over verre, ongerelateerde scènegebieden. Dit resulteert in een ruimtelijk diffuse distributie die slecht aansluit bij de onderliggende structuur van de scène. De auteurs schrijven dit falen toe aan de puur latente representatie van bestaande Gaussian queries, die geen expliciet begrip hebben van waar in de 3D-ruimte een query opereert of hoe groot een regio die het beslaat is. Gevolgelijk zijn de multi-view bewijzen die door een query worden geaggregeerd en de resulterende Gaussians niet beperkt tot een coherente lokale regio.

Methodologie: LocusGS

Om dit aan te pakken, stellen de auteurs LocusGS (Spatially Grounded Tokens) voor, die elke Gaussian query uitbreidt met een expliciete 3D ankerstatus. Deze status bestaat uit een 3D-centrum ($\mu$) en een ondersteuningsstraal ($r$).

Kerncomponenten

1. Expliciete 3D Ankerstatussen:
   In plaats van een query uitsluitend te representeren als een latente feature vector, associeert LocusGS elke query $i$ op decoderlaag $l$ met een ankerstatus $a^l_i = (\mu^l_i, r^l_i)$.

   • Centrum ($\mu$): Specificeert de huidige 3D-referentielocatie van de query.
   • Straal ($r$): Definieert de omvang van de lokale ondersteuningsregio van de query. De straal wordt geparametriseerd via een onbeperkte variabele $\rho$ die door een softplus-functie wordt geleid om positiviteit te garanderen.
   • Deze statussen zijn leerbaar, gedeeld over scènes en worden progressief verfijnd gedurende de decoderlagen.

2. Anker-gestuurde Decoder:
   De decoder maakt gebruik van de ankerstatussen om zowel self-attention als cross-attention mechanismen te sturen:

   • Anker-bewuste Self-Attention: Een positional embedding afgeleid van het ankercentrum $\mu$ wordt geïnjecteerd in de token features. Dit maakt interacties tussen Gaussian tokens afhankelijk van hun relatieve 3D-locaties, en niet alleen van de latente feature-gelijkenis.
   • Anker-naar-Straal Geometrische Bias (Cross-Attention): Om multi-view bewijs te aggregeren, introduceert de methode een geometrische bias gebaseerd op de afstand tussen het ankercentrum $\mu^l_i$ van de query en de camerastralen $\ell_j$ die geassocieerd zijn met de image tokens.
     • De bias wordt gedefinieerd als $b^l_{ij} = -\frac{1}{2} \left( \frac{D(\mu^l_i, \ell_j)}{\sigma_0 r^l_i} \right)^2$, waarbij $D$ de Euclidische afstand van het punt tot de straal is.
     • Deze bias straft image tokens af waarvan de stralen ver van het anker verwijderd zijn, wat de query effectief stuurt om te focussen op geometrisch relevante observaties. De straal $r^l_i$ regelt de bandbreedte van deze ruimtelijke voorkeur.

3. Dynamische Ankerverfijning:
   Na elke decoderlaag voorspellen de token features residuele updates ($\Delta \mu, \Delta \rho$) voor het ankercentrum en de straal. Dit stelt het anker de mogelijkheid om de 3D-locatie en de ondersteuningsschaal aan te passen aan de specifieke invoerscène terwijl de decoder vordert.

4. Anker-gecentreerde Gaussian Decoding:
   In de uiteindelijke decoderingsfase worden Gaussians niet op een volledig onbeperkte manier voorspeld. In plaats daarvan voorspelt het model lokale offsets ($\delta$) relatief aan het uiteindelijke verfijnde ankercentrum. Het uiteindelijke Gaussian centrum wordt berekend als:
   $$\mu^G_{i,k} = \mu^L_i + r^L_i \delta_{i,k}$$
   Hier biedt het ankercentrum het globale referentiepunt, en de straal schaalt de lokale offsets. Deze formulering dwingt de Gaussians die uit een enkele token worden gedecodeerd om een compacte lokale groep rond het anker te vormen, in plaats van vrij te verspreiden.

5. Multi-laag Rendering Supervisie:
   Het trainingsdoel bevat rendering supervisie op tussenliggende decoderlagen (naast de laatste laag). De loss combineert beeldreconstructie (MSE + SSIM) met visibility regularisatie toegepast op zowel de gedecodeerde Gaussian centra als de ankercentra, wat coherente ruimtelijke organisatie stimuleert tijdens het gehele decodeerproces.

Belangrijkste Bijdragen

• Ruimtelijke Gronding van Queries: De introductie van expliciete 3D ankerstatussen (centrum en straal) voor query-gebaseerde 3DGS, waarmee men verder gaat dan louter latente representaties.
• Anker-bewuste Mechanismen: Het ontwerp van geometrische biases voor cross-attention (anker-naar-straal) en positional embeddings voor self-attention die de ankerstatus gebruiken om ruimtelijke coherentie af te dwingen.
• Gestructureerde Gaussian Generatie: Een decoderingsstrategie die lokale offsets voorspelt geschaald door de ankerstraal, wat ervoor zorgt dat tokens ruimtelijk compacte Gaussian groepen genereren.
• Progressieve Verfijning: Een mechanisme om ankerlocaties en ondersteuningsstralen iteratief te verfijnen over decoderlagen, waardoor het model in staat is de scènegeometrie aan te passen.

Experimentele Resultaten

De auteurs evalueren LocusGS op novel view synthesis benchmarks, specifiek RealEstate10K (RE10K) en DL3DV, en vergelijken dit met baselines zoals TokenGS, MVSplat en DepthSplat.

• Renderingkwaliteit: Onder identieke token en Gaussian budgetten presteert LocusGS consistent beter dan query-gebaseerde baselines (TokenGS) op het gebied van PSNR, SSIM en LPIPS. Zo bereikt LocusGS (4096 tokens) op DL3DV met 4 invoerbeelden een PSNR van 24.80 vergeleken met 23.44 van TokenGS.
• Ruimtelijke Organisatie: Kwalitatieve en kwantitatieve analyses tonen aan dat LocusGS significant meer gestructureerde Gaussian distributies produceert.
  • Token-niveau Compactheid: De paper introduceert een metriek $C_{centroid}$ om de dispersie van Gaussians binnen een token te meten. LocusGS vermindert deze dispersie drastisch (bijv. van 5.11 naar 0.19 op RE10K), wat aangeeft dat Gaussians van een enkele token dicht bij elkaar gegroepeerd zijn.
  • Anker Lay-outs: De geleerde ankers vormen een grove, coherente ruimtelijke steiger over de scène, die de hoofdstructuren dekt en hun radii aanpast aan de lokale complexiteit (grotere radii in ijle regio's, kleinere in gedetailleerde gebieden).
• Generalisatie: Het model behoudt een vast Gaussian budget onafhankelijk van het aantal invoerbeelden, in tegenstelling tot dense pixel-aligned methoden. Het vertoont robuuste prestaties bij testen met variërende aantallen contextbeelden (2, 4 en 6 beelden) op DL3DV.
• Efficiëntie: Hoewel LocusGS een iets hoger aantal parameters heeft (241.5M vs. 222.0M voor TokenGS) en een hogere forward latency, bereikt het superieure reconstructiekwaliteit zonder het aantal voorspelde Gaussians te verhogen.

Betekenis en Claims

Het paper claimt dat expliciete 3D ankerstatussen een effectieve ruimtelijke prior bieden voor query-gebaseerde feed-forward 3DGS. Door queries in de 3D-ruimte te grondvesten, transformeert LocusGS Gaussian tokens van impliciete latente embeddings naar interpreteerbare ruimtelijke reconstructie-queries.

De auteurs stellen dat deze aanpak niet alleen de rendering nauwkeurigheid verbetert, maar fundamenteel de ruimtelijke organisatie en interpreteerbaarheid van de representatie versterkt. De resultaten laten zien dat expliciete ruimtelijke statussen de queries stimuleren om zich te specialiseren in coherente lokale regio's, wat leidt tot meer gestructureerde Gaussian distributies die beter aansluiten bij de scènegeometrie. Het werk suggereert dat het integreren van geometrische statussen in het query-mechanisme een cruciale stap is naar een robuustere en meer gestructureerde 3D-scène reconstructie.