Enhancing Novel View Synthesis via Geometry Grounded Set Diffusion

Probleemstelling

De paper adresseert een fundamentele beperking van 3D Gaussian Splatting (3DGS) in de context van autonoom rijden en gesimuleerde werelden. Hoewel 3DGS uitstekende temporele coherentie en geometrische nauwkeurigheid biedt bij het renderen van scènes vanuit bekende camera-posities, degradeert de kwaliteit aanzienlijk bij nieuwe weergaven (Novel View Synthesis - NVS). Dit gebeurt vooral wanneer het voertuig afwijkt van de getrainde trajecten (bijvoorbeeld bij het oversteken van rijstroken of bij dynamische objecten).

De resulterende artefacten omvatten:

• Floaters: Valse objecten die in de lucht zweven.
• Geometrische inconsistenties: Onnauwkeurige diepte en structuur.
• Textuurbloeding: Vervaging van details.

Bestaande oplossingen, zoals pure diffusion-based enhancers (bijv. DiFix3D), vertrouwen vaak uitsluitend op RGB-beelden. Dit leidt tot "hallucinaties" van inhoud die er visueel aantrekkelijk uitziet, maar niet fotometrisch correct is ten opzichte van de onderliggende scène, vooral bij lage signaal-ruisverhoudingen (SNR).

Methodologie: SetDiff

De auteurs stellen SetDiff voor, een raamwerk dat een geometrie-gegronde set-diffusiemodel combineert met 3DGS. De kern van de methode bestaat uit drie pijlers:

1. Geometrie-Grounded Conditioning

In plaats van alleen RGB-afbeeldingen te gebruiken, integreert SetDiff expliciete 3D-geometrische priors in het diffusieproces:

• Coördinatenkaarten (C-maps): Het model rendert per-pixel 3D-wereldcoördinaten (xyz-positie) van de zichtbare oppervlakken. Dit fungeert als een structuurkaart die het diffusiemodel helpt te begrijpen waar geometrie consistent is, waar onzekerheid bestaat en waar occlusies optreden.
• Plücker Ray Embeddings: Camera-posities worden gecodeerd als Plücker-ray embeddings (een 6D-vector per pixel die de straalrichting en het moment beschrijft). Dit geeft het model pose-bewuste informatie over hoe de camera kijkt.
• Fusie: Deze geometrische informatie wordt via een convolutie-encoder verwerkt en elementsgewijs opgeteld bij de VAE-latents van de afbeeldingen, wat het denoiser in staat stelt om geometrisch plausibele details te herstellen zonder de structuur te schaden.

2. Set-Based Diffusie Architectuur

Traditionele methoden verwerken referentie- en doelbeelden één voor één of in vaste paren. SetDiff introduceert een onvolgorde-gebaseerde set-mixer:

• Variabele Set: Het model kan een willekeurig aantal referentiebeelden (schone beelden van bekende trajecten) en doelbeelden (ruisige nieuwe weergaven) gelijktijdig verwerken.
• Set Mixer Attention: In plaats van standaard self-attention, gebruikt de UNet-architectuur een "Set Mixer". Dit verenigt alle tokens van alle inputbeelden (zowel referentie als doel) in één grote set en voert multi-head self-attention uit. Hierdoor kan het model informatie uit elk referentiebeeld naar elk doelbeeld stromen, wat de aggregatie van complementaire informatie maximaliseert.
• Permutatie-invariantie: Door willekeurige permutaties tijdens het trainen, leert het model om onafhankelijk te zijn van de volgorde van de inputframes, wat robuustheid biedt.

3. Training en Inference

• Het model is gebaseerd op een 2D U-Net (gedistilleerd van Stable Diffusion) voor single-step inferentie, wat efficiëntie garandeert.
• Het trainingsdoel is een combinatie van een latent diffusion loss (v-prediction) en een pixel-ruimtelijke reconstructieloss (combinatie van L2, SSIM en LPIPS) om zowel structurele als perceptuele kwaliteit te waarborgen.

Belangrijkste Bijdragen

1. Geometrie-Grounded Conditioning: Een nieuwe strategie om 3D-geometrische cues (C-maps en Plücker-rays) direct te integreren in een diffusiedenoiser, wat hallucinaties reduceert en de fotometrische nauwkeurigheid verbetert.
2. Variabele Set-Architectuur: Een schaalbaar ontwerp dat een willekeurig aantal camera's en tijdstippen gelijktijdig verwerkt, waardoor effectieve content-overdracht tussen meerdere weergaven mogelijk is zonder de rekenkosten exponentieel te laten stijgen.
3. State-of-the-Art Prestaties: Het bereiken van nieuwe records in NVS-kwaliteit op uitdagende datasets voor autonoom rijden.

Resultaten

SetDiff is geëvalueerd op vier datasets: EUVS, Para-Lane, nuScenes en DL3DV.

• Kwaliteitsverbetering: SetDiff overtreft consistent bestaande methoden zoals 3DGS, DiFix3D, DiFix3D++ en VEGS.
  • Op EUVS toonde het significante verbeteringen in PSNR, SSIM en LPIPS, vooral bij extreme extrapolaties (Settings 2 en 3).
  • Op Para-Lane (rijstroken oversteken) werd een reductie van LPIPS met ongeveer 50% bereikt ten opzichte van ruwe 3DGS, met een PSNR-stijging van ~1 dB ten opzichte van andere diffusion-enhancers.
  • Op nuScenes (dynamische scènes) herstelde SetDiff details zelfs bij lange temporele extrapolaties (tot 5 seconden), waar andere methoden faalden.
• Ablatie Studies: Experimenten bevestigden dat zowel C-maps als camera-posities essentieel zijn; de combinatie van beide levert de beste resultaten op. Ook werd aangetoond dat het vergroten van de set met referentiebeelden (tot ongeveer 3-4 beelden) de kwaliteit aanzienlijk verbetert.
• Efficiëntie: Ondanks het verwerken van meerdere weergaven, bereikt SetDiff real-time prestaties (~1.8 FPS op een A100 GPU) dankzij single-step denoising en parallelle batch-verwerking. Het is zelfs efficiënter dan single-view methoden zoals DiFix.

Betekenis en Conclusie

SetDiff stelt een nieuwe standaard voor realistische en betrouwbare nieuwe weergave-synthese in autonome rij-scenario's. Door de zwaktes van puur RGB-gebaseerde hallucinatie te overwinnen door expliciete 3D-geometrie te gebruiken, maakt het 3DGS-gebaseerde simulatoren veel robuuster voor closed-loop training en evaluatie. Het biedt een schaalbare oplossing die niet alleen de visuele kwaliteit verbetert, maar ook de structurele consistentie behoudt, zelfs onder extreme omstandigheden zoals grote camera-afwijkingen en dynamische obstakels.