SyncFix: Fixing 3D Reconstructions via Multi-View Synchronization

Probleemstelling

Huidige methoden voor 3D-reconstructie, zoals NeRF en 3D Gaussian Splatting (3DGS), lijden vaak onder artefacten zoals "floaters" (drijvende objecten), getextureerde ruis en geometrische vervormingen, vooral wanneer deze worden getraind op een beperkt aantal beelden (sparse-view settings).

Recente benaderingen proberen deze problemen op te lossen door gebruik te maken van generatieve 2D-modellen (zoals diffusion-modellen) om afzonderlijke weergaven (views) te verfijnen. De fundamentele beperking van deze bestaande methoden (bijv. Difix3D+) is dat ze elke weergave onafhankelijk van elkaar behandelen. Dit negeert de cruciale geometrische en semantische constraints die gelden tussen verschillende hoekpunten van hetzelfde 3D-scène.

• Gevolg: Onafhankelijke verfijning leidt tot inconsistenties. Wat in de ene weergave als een muur wordt "hallucineerd", kan in een andere weergave ontbreken of een andere vorm hebben. Wanneer deze tegenstrijdige signalen weer worden teruggevoerd naar het 3D-model, ontstaat er instabiliteit, wat resulteert in vervreemding van het uiterlijk (appearance drift) en verslechterde geometrie.

Methodologie: SyncFix

SyncFix introduceert een nieuw raamwerk dat multi-view consistentie tijdens het verfijningsproces afdwingt, in plaats van het achteraf te corrigeren.

1. Formuleren als Gezamenlijke Conditionele Generatie:
In plaats van marginale verdelingen te leren (d.w.z. $P(x_{GT}^{(i)} | x_{D}^{(i)})$ voor elke weergave $i$ apart), modelleert SyncFix de gezamenlijke conditionele verdeling over meerdere weergaven: $P(X_{GT} | X_{D})$. Dit betekent dat de correctie voor één weergave direct afhankelijk is van alle andere weergaven in de set.

2. Latent Bridge Matching (LBM):
SyncFix gebruikt een Latent Bridge Matching aanpak in plaats van traditionele iteratieve denoising diffusion.

• Principe: Het model leert een deterministische "brug" (flow) tussen de verdeling van vervormde (distorted) latente representaties ($Z_D$) en schone doel-laten ($Z_{GT}$).
• Traject: Er wordt een continue pad gedefinieerd: $Z_t = (1-t)Z_D + tZ_{GT} + \sigma\sqrt{t(1-t)}\epsilon$.
• Doel: Het netwerk voorspelt het snelheidsveld ($v_\theta$) dat nodig is om van $Z_D$ naar $Z_{GT}$ te bewegen. Dit gebeurt in één stap (single-pass), wat efficiënter is dan iteratief denoising.

3. Cross-View Attention:
Om de consistentie tussen weergaven te garanderen, worden de transformer self-attention lagen aangepast.

• Latente tokens van alle weergaven in een batch worden samengevoegd.
• De attention-mechanisme wordt globaal berekend, waardoor tokens van de ene weergave kunnen "kijken" naar tokens van andere weergaven.
• Dit ontwerp is permutatie-invariant (de volgorde van de weergaven maakt niet uit) en vereist geen expliciete camera-parameters (zoals pose of epipolaire lijnen) tijdens het trainen. De consistentie ontstaat puur door de geleerde correlaties in de gedeelde latente ruimte.

4. Training en Inferentie:

• Training: Het model wordt getraind op paren van vervormde en schone beelden (N=2 views) uit de DL3DV dataset. De vervormingen worden gegenereerd door 3DGS-modellen te trainen op zeer weinig beelden.
• Inferentie: Hoewel getraind op paren, generaliseert het model naadloos naar een willekeurig aantal views ($N$) tijdens inferentie. Meer views leiden tot strengere constraints en betere resultaten. Optionele referentiebeelden kunnen worden gebruikt om de verfijning te sturen.

Belangrijkste Bijdragen

1. SyncFix Framework: Een nieuw systeem dat 3D-reconstructie-verfijning behandelt als een gezamenlijk generatief probleem, wat geometrische en semantische consistentie afdwingt vóór de 3D-distillatie.
2. Latent Bridge Matching voor Multi-View: De toepassing van LBM op multi-view data, wat een deterministische en efficiënte manier biedt om van vervormde naar schone representaties te gaan zonder iteratief denoising.
3. Cross-View Attention Mechanisme: Een architectuur die views koppelt via attention zonder expliciete geometrische supervisie, waardoor het model leert om structurele inconsistenties op te lossen.
4. Nieuwe Metriek (CVSC): Introductie van de Cross-View Semantic Consistency (CVSC) metriek. Deze meet de overeenkomst van semantische features tussen gekoppelde punten in verschillende weergaven, wat een betere maatstaf is voor 3D-consistentie dan traditionele pixel-metrieken.

Resultaten

SyncFix werd geëvalueerd op de DL3DV en NeRFBusters datasets, en getest op feedforward-methoden (AnySplat).

• Kwalitatieve Verbetering: SyncFix produceert scherpere, consistentere geometrieën. In tegenstelling tot Difix3D+, die vaak objecten vervormt of inconsistenties introduceert tussen views (bijv. een deur die in de ene view zichtbaar is en in de andere verdwijnt), behoudt SyncFix de structuur over alle hoekpunten heen.
• Kwantitatieve Resultaten:
  • DL3DV: SyncFix verbetert de PSNR met 0,77 dB en verlaagt de LPIPS en DreamSim scores aanzienlijk ten opzichte van de state-of-the-art Difix3D+.
  • Consistentie: De CVSC-score van SyncFix is significant hoger, wat aantoont dat de gegenereerde beelden semantisch beter overeenkomen tussen verschillende views.
  • Generalisatie: Het model werkt ook goed op data buiten de trainingsdistributie (NeRFBusters) en op resultaten van feedforward splatting-methoden (AnySplat), zelfs zonder referentiebeelden.
• Ablatie Studies: Experimenten tonen aan dat het toevoegen van meer views tijdens inferentie de prestaties verbetert. Een single-view versie van SyncFix verbetert de beeldkwaliteit, maar mist de cruciale consistentie die alleen door multi-view training wordt bereikt.

Significantie en Conclusie

SyncFix markeert een paradigmaverschuiving in het gebied van 3D-reconstructie en generatieve verfijning. Het paper demonstreert dat het behandelen van 3D-scènes als een verzameling onafhankelijke 2D-beelden fundamenteel mislukt voor het behoud van geometrische consistentie.

Door het verfijningsproces te formuleren als een gezamenlijke generatie-taak in de latente ruimte, kan SyncFix complexe 3D-structuren herstellen zonder de instabiliteit die voortkomt uit het reconciliëren van tegenstrijdige 2D-hallucinaties. Dit suggereert dat toekomstige generatieve modellen voor visuele scènes inherent multi-view moeten opereren om de fysieke realiteit van objecten en ruimtes correct te modelleren. De methode biedt een robuuste oplossing voor het probleem van "floaters" en vervormingen in sparse-view 3D-reconstructies.