Geometry-Aware Scene Configurations for Novel View Synthesis

Technische Samenvatting: Geometrie-bewuste Scèneconfiguraties voor Synthese van Nieuwe Weergaven

Probleemstelling
Recente vooruitgang in Neural Radiance Fields (NeRF) maakt immersieve 3D-ervaringen mogelijk op basis van beeldwaarnemingen, maar ze staan voor aanzienlijke uitdagingen wanneer ze worden toegepast op grote schaal binnenlandse scènes die zijn vastgelegd via informele, handbediende trajecten. Deze scenario's vertonen vaak onregelmatige waarnemingspatronen, schaarse data en complexe lay-outs met rommel, occlusie en vlakke, homogene oppervlakken. Standaard schaalbare scènerepresentaties wijzen hun beperkte representatieve capaciteit (bases, zoals NeRF-blokken of feature-roosters) toe met behulp van uniforme strategieën – ofwel door ruimte gelijkmatig te verdelen of door bases langs het cameratraject te distribueren. Deze benaderingen houden geen rekening met de niet-uniforme aard van binnenlandse geometrie of de specifieke statistieken van de invoermetingen, wat leidt tot inefficiënt gebruik van middelen en verslechterde weergavekwaliteit, met name in extrapolatiescenario's of gebieden zonder textuur. Bovendien worstelen bestaande methoden vaak met zwevende artefacten in onderbeperkte gebieden door gebrek aan geometrische consistentie.

Methodologie
De auteurs stellen een systematisch, scène-adaptief raamwerk voor dat gebruikmaakt van direct beschikbare geometrische priors om zowel de plaatsing van representatiebases als de trainingsweergaveconfiguratie te optimaliseren. De methode bestaat uit drie hoofdfasen:

1. Extraheren van een Geometrisch Steiger: De pijplijn begint met het extraheren van een benaderend geometrisch steiger uit de invoer van multi-view afbeeldingen. Dit kan worden bereikt via methoden voor impliciete oppervlakreconstructie (bijv. MonoSDF) of feed-forward dieptepredictoren (bijv. MapAnything). Dit steiger dient als een consistente schatting van het onderliggende scènesoppervlak.
2. Optimalisatie van Geometrie-bewuste Basisplaatsing: In plaats van een uniforme verdeling, optimaliseert de methode de posities van een beperkte set bases (NeRF-blokken of neurale lichtveldprobes). Het registreert eerst waarnemingsstatistieken op het geometrische steiger door "dekkingstewichten" te berekenen voor oppervlakpunten. Deze gewichten accumuleren zichtbaarheidsinformatie van alle trainingscamera's, gewogen op afstand en uitlijning van oppervlaknormalen. Vervolgens wordt een energiefunctie geminimaliseerd om basisposities te verschuiven naar gebieden met een hoge waarnemingsdichtheid en complexe geometrie, zodat de vaste capaciteit van de bases wordt toegewezen waar deze het meest nodig is.
3. Scène-adaptieve Geometrische Regularisatie: Om gebieden met onvoldoende metingen aan te pakken (bijv. vlakke muren of occludeerde gebieden), introduceert de methode scène-bewuste virtuele weergavepunten. Met behulp van een strategie voor het plannen van de volgende beste weergave die ruimtelijke diversiteit en gezamenlijke zichtbaarheid van kenmerken in overweging neemt, selecteert het systeem virtuele weergavepunten om de scène te dekken. Dieptes die worden gerenderd vanuit deze virtuele weergaven, geleid door het geometrische steiger, worden gebruikt om tijdens het trainen robuuste diepteregularisatie op te leggen. Dit onderdrukt zwevende artefacten en stabiliseert de optimalisatie in schaars waargenomen gebieden.

Belangrijkste Bijdragen

• Scène-adaptieve Basisdistributie: De auteurs introduceren een optimalisatiestrategie die bases plaatst op basis van de correlatie tussen scènegeometrie en meetstatistieken, en presteert beter dan uniforme of trajectgebaseerde toewijzingsmethoden.
• Op energie gebaseerde Optimalisatie van Plaatsing: Er wordt een nieuwe energiefunctie gedefinieerd op het geometrische steiger om waarnemingsstatistieken te accumuleren, waardoor de optimale positionering van een beperkte set bases mogelijk is om het invoertraject efficiënt te dekken.
• Regularisatie met Virtuele Weergavepunten: Het artikel stelt een methode voor om scène-adaptieve virtuele weergavepunten te genereren en te gebruiken om plausibele supervisie te bieden in niet-gewaarnomen gebieden, waardoor de reconstructie effectief wordt geregulariseerd zonder extra opnames in de echte wereld te vereisen.
• Uitgebreide Evaluatie: Het raamwerk wordt gevalideerd op real-world binnenlandse scènes uit de ScanNet++ en Zip-NeRF datasets, waarbij aanzienlijke verbeteringen worden aangetoond ten opzichte van baselines zoals NeLF-Pro, LocalRF en diverse varianten van 3D Gaussian Splatting (3DGS).

Resultaten
Experimentele resultaten op de ScanNet++ en Zip-NeRF datasets tonen aan dat de voorgestelde methode de reconstructiekwaliteit aanzienlijk verbetert in termen van PSNR, SSIM en LPIPS, met name in uitdagende extrapolatiescenario's waar baselines vaak falen.

• Prestaties: Wanneer toegepast op NeLF-Pro en LocalRF, bereikt de methode state-of-the-art prestaties onder NeRF-gebaseerde benaderingen, en presteert deze vaak beter dan 3DGS-varianten in extrapolatietaken waarbij 3DGS last heeft van ernstige artefacten.
• Efficiëntie: De benadering bereikt deze winsten zonder het geheugengebruik te verhogen ten opzichte van de onderliggende baseline-architecturen, aangezien hetzelfde aantal parameters wordt hergebruikt maar de ruimtelijke indeling wordt geoptimaliseerd.
• Robuustheid: Ablatiestudies bevestigen dat zowel de optimalisatie van basisplaatsing als de geometrische regularisatie (met behulp van virtuele weergaven) onafhankelijk bijdragen aan de prestaties. De methode toont ook robuustheid tegen onnauwkeurigheden in het geometrische steiger, waarbij verbeteringen behouden blijven zelfs wanneer de voorafgaande geometrie ruis bevat.

Betekenis en Claims
Het artikel beweert dat door expliciet de wisselwerking te modelleren tussen onderliggende geometrie en vooraf vastgelegde cameraweergavepunten, het mogelijk is om het gebruik van beperkte middelen voor reconstructie van binnenlandse scènes op grote schaal te maximaliseren. De auteurs benadrukken dat, hoewel 3D Gaussian Splatting snelheid biedt, NeRF-gebaseerde representaties voordelen behouden in geheugenefficiëntie en geometrische consistentie voor grote, onbegrensde scènes, met name in gebieden zonder textuur. De voorgestelde scène-adaptieve strategieën worden gepresenteerd als een generaliseerbare verbetering die toepasbaar is op diverse representaties voor synthese van nieuwe weergaven, en bieden een principiële oplossing voor de niet-triviale uitdaging van het toewijzen van representatieve capaciteit in complexe binnenlandse omgevingen. Het werk claimt niet om catastrofale fouten in upstream SfM of kalibratie op te lossen, maar richt zich op het verbeteren van de reconstructiefideliteit gegeven een succesvol geometrisch steiger.