DenoiseSplat: Feed-Forward Gaussian Splatting for Noisy 3D Scene Reconstruction

DenoiseSplat is een feed-forward methode voor 3D Gaussian Splatting die robuuste 3D-scèneherconstructie mogelijk maakt uit ruisige multi-view beelden door te trainen op een groot schaalbaar benchmark met synthetische ruis, zonder gebruik te maken van 3D-ground truth.

De kern

Stel je voor dat je een prachtige 3D-wereld wilt bouwen, zoals een virtueel museum of een robot die een kamer moet navigeren. Normaal gesproken gebruiken computers hiervoor foto's van een object vanuit verschillende hoeken. Maar er is een groot probleem: in het echte leven zijn foto's zelden perfect. Ze hebben ruis, korrel, vlekjes of zijn wazig, net als een foto gemaakt met een oude telefoon in het donker.

De meeste bestaande methoden om 3D-werelden te bouwen, gaan ervan uit dat de foto's kristalhelder zijn. Als je ze "vuile" foto's geeft, wordt het resultaat een rommeltje: de muren zijn scheef, de kleuren zijn verkeerd en de details zijn weg.

De auteurs van dit paper, DenoiseSplat, hebben een slimme oplossing bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Smeerkaas"-aanpak

Stel je voor dat je een 3D-model wilt maken van een auto. Je hebt foto's nodig.

• De oude manier (Tweestaps): Eerst probeer je elke foto apart schoon te maken (alsof je elke foto apart wast en strijkt). Daarna gebruik je die schone foto's om de auto te bouwen.
  • Het nadeel: Door het wassen en strijken zijn de details (zoals de glans op de lak of de randen van de wielen) vaak verdwenen of vervormd. Bovendien kijken de foto's niet meer naar elkaar: de linkerfoto lijkt niet meer op de rechterfoto, waardoor de 3D-auto eruitziet alsof hij uit verschillende stukken is geplakt.
• De directe manier (De "Dumpe"): Je gooit de vuile foto's direct in de machine die de 3D-auto bouwt.
  • Het nadeel: De machine raakt in paniek. Omdat de foto's ruis bevatten, denkt hij dat de ruis echte details zijn. Het resultaat is een auto die eruitziet als een korrelige, trillende massa.

2. De Oplossing: DenoiseSplat (De "Slimme Architect")

DenoiseSplat doet iets heel anders. In plaats van de foto's eerst schoon te maken, leert het de machine om terwijl het bouwt, de ruis te negeren.

Het is alsof je een architect hebt die niet alleen kijkt naar de blauwdrukken (de foto's), maar ook weet hoe een huis er echt moet uitzien, zelfs als de blauwdrukken bekrast zijn.

Hoe werkt dat?
De auteurs hebben een slimme truc bedacht: ze splitsen het bouwwerk in twee aparte teams die samenwerken:

1. Het Bouwteam (Geometrie): Dit team kijkt naar de vorm, de grootte en de positie van de muren. Ze zijn erg goed in het zien van de "grote lijnen" en zijn niet zo snel in de war door kleine vlekjes op de foto.
2. Het Schilderteam (Uiterlijk): Dit team is verantwoordelijk voor de kleuren, de textuur en de details. Ze zijn wat gevoeliger voor ruis.

De Magie:
Omdat deze twee teams gescheiden zijn, kan het Bouwteam een stevige, stabiele structuur neerzetten, zelfs als de foto's erg vies zijn. Het Schilderteam gebruikt die stabiele structuur als leidraad om de kleuren en details zo goed mogelijk te reconstrueren, zonder dat de ruis de vorm van het huis verandert.

3. De Oefening: Een Kunstmatige "Vuilnisbak"

Om deze architect te trainen, hebben de auteurs een enorme oefensessie bedacht. Ze namen duizenden schone foto's van huizen (uit een dataset genaamd RE10K) en hebben er kunstmatig ruis op gezet.

• Ze maakten ze korrelig (zoals oud film).
• Ze maakten ze zout-en-peper (zoals oude tv-beelden).
• Ze maakten ze wazig.

Het belangrijkste: ze zorgden ervoor dat alle foto's van hetzelfde huis precies dezelfde soort ruis hadden. Dit is heel realistisch, want als je een video maakt met je telefoon, heeft elke frame dezelfde ruis.

De architect (het computerprogramma) leerde hierdoor: "Als ik deze specifieke soort ruis zie op alle foto's, moet ik weten dat het geen echte muur is, maar gewoon ruis. Ik moet de echte muur eronder zien."

4. Het Resultaat: Een Schone Wereld uit Vuile Foto's

Als je nu DenoiseSplat vraagt om een 3D-wereld te bouwen van een nieuwe set vuile foto's (die het programma nog nooit heeft gezien), doet het dit in één keer:

1. Het kijkt naar de vuile foto's.
2. Het bouwt direct een schone, scherpe 3D-wereld.
3. Je kunt eromheen lopen en nieuwe hoeken bekijken, en het ziet eruit alsof de foto's oorspronkelijk perfect waren.

Waarom is dit beter?

• Geen wachttijd: Je hoeft niet eerst de foto's schoon te maken en daarna te bouwen. Het gebeurt tegelijkertijd.
• Beter detail: Omdat het de structuur en de kleur apart behandelt, blijven de randen scherp en verdwijnt de ruis.
• Consistentie: Omdat het naar alle foto's tegelijk kijkt, blijft het 3D-model logisch en niet "uit elkaar gevallen".

Samenvatting in één zin

DenoiseSplat is een slimme 3D-bouwer die, in plaats van eerst de vuile foto's te poetsen, leert om de ruis te negeren terwijl hij de 3D-wereld bouwt, zodat je zelfs met slechte camera's een perfect scherp 3D-beeld krijgt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DenoiseSplat: Feed-Forward Gaussian Splatting for Noisy 3D Scene Reconstruction" in het Nederlands.

Probleemstelling

De huidige stand van de techniek voor 3D-scèneherconstructie en het synthetiseren van nieuwe weergaven (novel-view synthesis), zoals Neural Radiance Fields (NeRF) en 3D Gaussian Splatting (3DGS), gaat er vaak van uit dat de invoerbeelden schoon en ruisvrij zijn. In de praktijk echter, bijvoorbeeld bij video's van mobiele apparaten of webbronnen, lijden beelden vaak aan sensorruis, compressie-artefacten en degradatie door slechte belichting.

Bestaande methoden falen onder deze omstandigheden:

1. Directe invoer: Het invoeren van ruizige beelden in standaard 3DGS-pipelines (zoals MVSplat) leidt tot een snelle degradatie van de reconstructiekwaliteit, met name in geometrie en textuur.
2. Tweestapsoplossingen: Een gangbare engineering-oplossing is om eerst elk frame 2D te ontdoen van ruis (met netwerken zoals DnCNN of IDF) en deze vervolgens naar een 3D-pipeline te sturen. Dit heeft echter nadelen:
   • 2D-ontruising kan leiden tot oververvaging en het verlies van subtiele details.
   • Het onafhankelijk ontdoen van ruis per weergave verzwakt de multi-view consistentie, wat cruciaal is voor betrouwbare 3D-fusie.
   • Het splitsen van het proces in meerdere modules verhoogt de latentie en complexiteit.

Er is dus een behoefte aan een methode die ruis direct binnen de 3D-representatie aanpakt in plaats van als een voorbewerkingsstap.

Methodologie: DenoiseSplat

De auteurs stellen DenoiseSplat voor, een feed-forward 3D Gaussian Splatting-methode die specifiek is ontworpen voor ruizige multi-view invoer. De kern van de aanpak is het leren van een schone 3D-scène direct vanuit ruizige observaties, zonder testtijd-optimalisatie.

1. Dataset en Ruismodelleren:

• Gebaseerd op het RealEstate10K (RE10K) dataset.
• De auteurs hebben een groot, scene-consistent benchmark opgezet door vier soorten ruis toe te voegen aan de 2D RGB-beelden: Gaussische ruis, Poisson-ruis, sprekkelruis (speckle) en zout-en-peperruis.
• Scene-level consistentie: Belangrijk is dat voor één scène dezelfde ruissoort en -intensiteit over alle weergaven wordt toegepast. Dit bootst realistische opnameomstandigheden na (waarbij dezelfde camera-instellingen worden gebruikt) en zorgt voor een reproduceerbaar benchmark.

2. Netwerkarchitectuur:
Het model bouwt voort op de MVSplat-architectuur (een feed-forward framework dat 3D-primitieven voorspelt uit schaarse weergaven), maar introduceert twee cruciale verbeteringen:

• Dual-Branch Gaussian Head (Geometrie-Appearance Decoupling):
  In plaats van één gedeelde kop die alle parameters van de Gaussians voorspelt, wordt de kop opgesplitst in twee lichtgewicht takken:

  • Geometrische tak: Voorspelt posities, rotaties, schalen en opaciteit. Deze tak focust op stabiele structurele cues die minder gevoelig zijn voor ruis.
  • Appearance-tak: Voorspelt de sfeerharmonische-coëfficiënten (SH) en kleuren. Deze tak kan residualen en kleurfluctuaties absorberen zonder de geometrie te verstoren.
    Deze decoupling voorkomt dat ruis in de kleurinformatie de geometrische schatting verstoort.

• Cross-Branch Boundary-Guided Appearance Correction (CBC):
  Om foutenpropagatie aan de randen van objecten (waar geometrie onzeker kan zijn) te beperken, introduceert CBC een correctiemechanisme.

  • De geometrische tak genereert een randkaart (boundary map) en een betrouwbaarheidsindicator.
  • Deze signalen sturen een "gate" die bepaalt waar de appearance-tak een residu-correktie toepast.
  • Dit zorgt voor scherpe randen en vermindert artefacten zonder de geometrie zelf te wijzigen (gradient isolation).

3. Training:
Het model wordt end-to-end getraind met alleen schone 2D-renderings als supervisie (ground truth). Er is geen 3D-ground truth nodig. Het doel is om de voorspelde 3D-Gaussian representatie zo te trainen dat de gerenderde beelden overeenkomen met de schone doelen, ondanks de ruizige invoer.

Belangrijkste Bijdragen

1. Probleemformulering: Systematische studie van 3D-reconstructie uit ruizige multi-view invoer en het voorstellen van een feed-forward framework (DenoiseSplat) dat geen per-scène optimalisatie vereist.
2. Architecturale Innovatie: De introductie van een dual-branch Gaussian head voor het ontkoppelen van geometrie en uiterlijk, wat leidt tot robuustere structuren en scherpere texturen onder ruis.
3. Nieuwe Benchmark: Een reproduceerbaar, multi-ruis, scene-consistent dataset (op RE10K) met vier ruissoorten, wat een standaard biedt voor het evalueren van ruis-resistente 3D-methoden.
4. Comprehensieve Evaluatie: Uitgebreide experimenten en ablatiestudies die aantonen dat de methode superieur is aan bestaande oplossingen.

Resultaten

De prestaties zijn geëvalueerd op het gegenereerde ruizige RE10K-benchmark, vergeleken met:

• MVSplat-GT: De bovenste limiet (getraind en getest op schone data).
• MVSplat-Noisy: Standaard MVSplat getest op ruizige data (zonder aanpassing).
• Denoise-Then-MVSplat: Een tweestaps-pipeline (IDF denoiser + MVSplat).

Kernbevindingen:

• Kwantitatief: DenoiseSplat overtreft zowel de "vanilla" MVSplat-Noisy als de sterke tweestaps-baseline (IDF + MVSplat) op alle metrieken (PSNR, SSIM, LPIPS) over verschillende ruisniveaus en -types. Het verkleint de kloof met de schone bovenste limiet aanzienlijk.
• Kwalitatief: In tegenstelling tot de tweestaps-methode, die vaak leidt tot oververvaging en het verlies van hoge-frequentie details (zoals dunne draden of tralies), behoudt DenoiseSplat de randen en textuurdetails beter.
• Generalisatie: Het model presteert consistent goed op zowel gezien (seen) als nieuwe (novel) weergaven, wat aangeeft dat de multi-view consistentie beter behouden blijft dan bij 2D-ontruising.
• Efficiëntie: De methode behoudt de snelheid van feed-forward inferentie (één forward pass) en voegt slechts een minimale overhead toe ten opzichte van de originele MVSplat, zonder testtijd-optimalisatie.

Betekenis en Toekomstperspectief

DenoiseSplat markeert een belangrijke stap in de richting van robuuste 3D-reconstructie voor real-world toepassingen. Door ruis te behandelen als een integraal onderdeel van de 3D-representatie in plaats van als een voorbewerkingsstap, lost het fundamentele problemen op met betrekking tot multi-view consistentie en detailbehoud.

Beperkingen en Future Work:

• De huidige ruismodellen zijn synthetisch; toekomstig werk moet zich richten op complexe, echte camera-ruis, bewegingsonscherpte en compressie-artefacten.
• Generalisatie naar andere datasets dan RE10K en naar dynamische scènes moet nog verder worden onderzocht.
• Integratie met semantische cues voor nog betere 3D-begripstaken.

Samenvattend biedt DenoiseSplat een efficiënte, end-to-end oplossing voor het herconstrueren van schone 3D-scènes uit ruizige video-invoer, wat essentieel is voor toepassingen zoals VR, robotica en contentcreatie in niet-gecontroleerde omgevingen.