Technische Samenvatting: Difix3D-W

Probleemstelling

Het artikel behandelt de uitdaging van 3D novel view synthesis vanuit een schaarse set ongeconstrueerde real-world afbeeldingen. Bestaande methoden blinken uit bij dichte collecties afbeeldingen of schaarse sets met geconstrueerde afbeeldingen (zonder transiënte elementen), maar hebben moeite met real-world scenario's die worden gekenmerkt door:

• Distractoren: Transiënte objecten (bijv. mensen, voertuigen) die in sommige aanzichten voorkomen maar in andere niet.
• Occlusies en variaties in uiterlijk: Dynamische veranderingen in de scène.
• Schaarsheid: Beperkte geometrische informatie, diepte-ambiguïteit en tekortschietende cameraperspectieven door het kleine aantal invoerafbeeldingen.

Eerdere benaderingen die proberen distractoren te verwerken, vertrouwen vaak op het trainen van vision foundation models (bijv. SAM, DINO) op beperkte data, wat niet generaliseert, of ze vereisen dichte collecties afbeeldingen die tijdrovend zijn om te verwerven. Bovendien falen standaard strategieën voor dichtheidscontrole in 3D Gaussian Splatting (3DGS) vaak in schaarse scenario's omdat positionele gradiënten verstrengeld raken met kleur en opaciteit, wat leidt tot artefacten in plaats van het opvullen van geometrische gaten.

Methodologie

De auteurs stellen Difix3D-W voor, een framework ontworpen om hoogwaardige 3D-scènes te synthetiseren uit schaarse, door distractoren getroffen afbeeldingen. De methode bestaat uit drie primaire componenten:

1. Reference-Guided View Refinement (RGVR)

Om artefacten veroorzaakt door distractoren in gerenderde aanzichten te mitigeren, introduceren de auteurs een herontworpen one-step diffusion model (DM).

• Mask Generatie: In plaats van een mask generator te trainen op schaarse data, maakt de methode gebruik van Grounded SAM met tekstbeschrijvingen om transiënte maskers ($M_t$) te genereren uit grondwaarheid afbeeldingen. Dit maakt generalisatie mogelijk, ongeacht het aantal invoersamples.
• Refinement Proces: Het diffusiemodel neemt een gecorrumpeerd gerenderd beeld ($\hat{I}$), een referentie-aanzicht ($\hat{I}_{ref}$) en het transiënte masker ($M_t$) als input.
• Cross-Attention Mechanisme: De auteurs modificeren de cross-attention lagen van de denoising U-Net. De attention map wordt berekend zodanig dat het referentie-aanzicht selectief de gemaskeerde (gecorrumpeerde) regio's van het gerenderde beeld verfijnt, terwijl de ongemaskeerde regio's grotendeels onveranderd blijven door het self-attention mechanisme.
• Optimalisatie: Het verfijnde beeld ($\tilde{I}_{ref}$) wordt gebruikt om een fotometrische loss ($L_{photo}$) te berekenen om de 3D Gaussians te optimaliseren, waardoor distractor-artefacten effectief worden verwijderd zonder de trainingstijd significant te verhogen.

2. Reference-Guided Pseudo-Label Synthese & Sparsity-Aware Gaussian Replication (SAGR)

Om het gebrek aan geometrische details in schaarse regio's en onvoldoende camerastandpunten aan te pakken:

• Pseudo-Label Synthese: Het framework genereert pseudo-labels ($\hat{I}_{pseudo}$) door het RGVR-proces toe te passen op renderings vanuit andere cameraperspectieven. Deze pseudo-labels compenseren voor ontbrekende viewpoints en worden gebruikt om de 3D-representatie te optimaliseren naast de fotometrische loss.
• Sparsity-Aware Gaussian Replication (SAGR): Standaard 3DGS densificatie vertrouwt op positionele gradiënten, wat de auteurs beargumenteren onvoldoende is in schaarse, ongeconstrueerde settings vanwege de verstrengeling met kleur en opaciteit.
  • De voorgestelde strategie gebruikt een geaccumuleerde opaciteitskaart ($\hat{D}$) als pixelgewijs gewicht om de positionele gradiënten te heroriënteren.
  • Dit stelt het systeem in staat om werkelijk schaarse regio's te identificeren en Gaussians specifiek te repliceren om deze gaten op te vullen, waardoor een dichter en nauwkeuriger Gaussian veld wordt geconstrueerd.

3. Regularisatie en Optimalisatie

Om model collapse te voorkomen en multi-view consistentie te waarborgen:

• LoRA (Low-Rank Adaptation): De auteurs gebruiken LoRA in de VAE-decoder van het diffusiemodel tijdens test-time training om het model te focussen op de specifie�ing scène.
• Score Distillation Sampling (SDS) Loss: Een SDS loss ($L_{SDS}$) wordt gebruikt naast de fotometrische en pseudo-label losses om geometrische consistentie te behouden.
• Totale Loss: De optimalisatie-objective combineert de standaard 3DGS loss ($L_{GS}$), fotometrische loss ($L_{photo}$), pseudo-label loss ($L_{pseudo}$) en SDS loss ($L_{SDS}$), waarbij $L_{pseudo}$ wordt geïntroduceerd na enkele warm-up iteraties om sampling uit een slecht geoptimaliseerde initiële staat te voorkomen.

Belangrijkste Bijdragen

1. Eerste Framework voor Sparse Unconstrained Synthesis: Naar beste kennis van de auteurs is dit het eerste werk dat 3D-reconstructie aanpakt vanuit een schaarse set real-world afbeeldingen met diverse distractoren.
2. Plug-and-Play Veelzijdigheid: De methode functioneert effectief in zowel geconstrueerde als ongeconstrueerde scenario's. De reference-guided view refinement module kan worden geïntegreerd in bestaande pipelines zonder significante overhead in computationele complexiteit.
3. Sparsity-Aware Densificatie: De introductie van SAGR adresseert de specifieke faalmodus van standaard dichtheidscontrole in schaarse velden door gebruik te maken van opaciteitsinformatie in plaats van enkel te vertrouwen op positionele gradiënten.
4. Generaliseerbare Distractor Verwijdering: Door gebruik te maken van Grounded SAM voor mask generatie in plaats van een specifieke model te trainen op schaarse data, bereikt de methode robuustheid tegen transiënte elementen.

Experimentele Resultaten

De auteurs evalueerden Difix3D-W op de NeRF On-the-go, Photo Tourism, en LLFF datasets.

• Kwantitatieve Prestaties: De methode presteert consistent beter dan bestaande state-of-the-art benaderingen (inclusief 3DGS, RobustSplat, WildGaussians, en Difix3D+).
  • Op de NeRF On-the-go dataset (3-view naar 9-view) behaalde Difix3D-W een gemiddelde PSNR van 17.54, SSIM van 0.578, en LPIPS van 0.428, waarmee het de vorige beste (Difix3D+) met aanzienlijke marges overtrof (bijv. +1.96 PSNR in 3-view).
  • Op de Photo Tourism dataset behaalde het een PSNR van 19.86 en SSIM van 0.779, waarmee het methoden zoals CR-NeRF en SparseGS-W overtrof.
• Ablatie Studies:
  • Het verwijderen van het transiënte masker of het cross-attention mechanisme degradeerde de prestaties aanzienlijk, wat de noodzaak van de reference-guided refinement bevestigt.
  • De SAGR-strategie bleek cruciaal voor het uitlijnen van Gaussians en het verminderen van artefacten vergeleken met standaard dropout of unpooling technieken.
  • Het gebruik van LoRA en de SDS loss droeg bij aan het behoud van 3D-consistentie en het voorkomen van model collapse.

Betekenis en Claims

Het artikel claimt dat Difix3D-W de weg vrijmaakt voor het realiseren van real-world 3D-scenario's zonder arbeidsintensieve data-acquisitie. Door succesvol om te gaan met schaarse inputs en transiënte distractoren, maakt de methode hoogwaardige 3D-rendering mogelijk in ongeconstrueerde omgevingen waar voorheen methoden faalden.

De auteurs positioneren dit werk niet als een incrementele uitbreiding van bestaande methoden, maar als een onderscheidend framework dat de kloof overbrugt tussen schaarse beeldsets en diverse, real-world scenario's. Zij erkennen beperkingen, zoals de moeilijkheid bij het identificeren van statische distractoren (bijv. geparkeerde auto's) die persistent zijn in de sequentie en potentiële degradatie wanneer cameraperspectieven sterk overlappen, wat suggereert dat toekomstig werk voorkennis of inpainting-modellen kan integreren om deze specifieke edge cases aan te pakken.