💻 computer science

SSA-3DGS: Unsupervised Removal of Screen-Space Artifacts for 3D Gaussian Splatting

Het artikel stelt SSA-3DGS voor, een ongesuperviseerd framework dat een 3D-scène en een leerbare 2D-overlay gezamenlijk optimaliseert om statische screen-space-artefacten uit 3D Gaussian Splatting-reconstructies effectief te ontwarren en te verwijderen zonder dat handmatige supervisie vereist is.

Oorspronkelijke auteurs: Kristof Overdulve, Lode Jorissen, Nick Michiels

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kristof Overdulve, Lode Jorissen, Nick Michiels

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een perfect, 3D digitaal model van een kamer probeert te bouwen met behulp van een stapel foto's die vanuit verschillende hoeken zijn genomen. Dit is wat een technologie genaamd 3D Gaussian Splatting (3DGS) doet. Het is als een super-slimme puzzeloplosser die naar al je foto's kijkt en precies uitrekent waar elk object zich in de 3D-ruimte bevindt.

Echter, deze puzzeloplosser heeft een grote zwakte: hij gaat ervan uit dat elke foto perfect schoon is.

Het Probleem: De "Vastgelopen" Vlekken

In de echte wereld zijn je foto's vaak niet schoon door "screen-space artefacten". Dit zijn dingen die aan je cameralens of scherm kleven en niet bij de kamer horen die je fotografeert.

Voorbeelden: Een veeg modder op de lens, een duim die per ongeluk een deel van de sensor bedekt, een watermerk van een video, of het dashboard van een auto dat zichtbaar is in een dashcam-video.

De Analogie: Stel je voor dat je probeert een 3D-beeldhouwwerk van een boom te maken, maar elke foto die je maakt heeft een vlek vet op de cameralens. Omdat de vetvlek op exact dezelfde plek blijft zitten in de foto (terwijl je wel rondom de boom bewoog), raakt de computer in de war. Hij denkt: "O, die vetvlek is een onderdeel van de boom!"

In plaats van een schone boom te bouwen, bouwt de computer een boom met een vreemde, zwevende vlek van vet die vlak voor de boom zweeft. In het paper noemen ze deze vlekken "floaters". Het resultaat is een slordig, kwalitatief slecht 3D-model.

De Oplossing: SSA-3DGS

De auteurs hebben een nieuwe methode ontwikkeld genaamd SSA-3DGS. Zie dit als een "slimme detective" die samenwerkt met de 3D-bouwer.

In plaats van alleen maar de boom te bouwen, doet SSA-3DGS twee dingen tegelijkertijd:

Het bouwt de schone 3D-boom.
Het leert hoe de "vetvlek" eruitziet.

Hoe het werkt (De Creatieve Metafoor):
Stel je voor dat je naar een beslagen raam kijkt.

De Oude Manier: Je probeert het raam schoon te maken door het glas te boenen, maar je beseft niet dat de vlek aan de buitenkant van het glas zit. Je eindigt met het boenen van het glas tot het vervormd raakt, of je denkt dat de vlek deel uitmaakt van het uitzicht buiten.
De SSA-3DGS Manier: Je beseft dat er twee lagen zijn. Er is het Raam (de 3D-scène) en de Vlek (het 2D-artefact).
- Terwijl je rond de boom loopt, beweegt de boom ten opzichte van jouw gezichtsveld.
- Maar de vlek op de lens blijft op exact dezelfde plek in jouw gezichtsveld staan.
- SSA-3DGS gebruikt dit verschil in beweging (genaamd motion parallax) om te concluderen: "Ah! De boom beweegt, maar dat specifieke punt niet. Daarom moet dat punt een vlek op de lens zijn, en geen onderdeel van de boom."

Het systeem creëert een "ghost layer" (een leerbare 2D-overlay) die de vlek vastlegt. Vervolgens trekt het deze "ghost layer" af van de foto's om een zuivere 3D-boom te bouwen.

De "Magische" Regels (Regularisatie)

Om te voorkomen dat de computer lui wordt en de hele boom als een "vlek" bestempelt om het werk te vermijden, hebben de auteurs twee eenvoudige regels toegevoegd:

De "Wees Spaarzaam"-regel: Het systeem krijgt de instructie: "Markeer een plek alleen als een vlek als het echt niet anders kan. Het grootste deel van de afbeelding is de echte boom." Dit voorkomt dat het systeem per ongeluk echte details wegwist.
De "Wees Glad"-regel: Het systeem krijgt de instructie: "Vlekken zien er meestal uit als solide klodders (zoals een moddersmeer of een logo), niet als willekeurige statische ruis." Dit voorkomt dat het systeem probeert willekeurige pixelglitches te verklaren als vlekken.

De Resultaten

Het team heeft dit getest op:

Nep vuil: Ze voegden digitaal watermerken, modderspatten en dashboard-overlays toe aan schone foto's.
Echt vuil: Ze smeerden daadwerkelijk modder op een cameralens en filmden een scène, en filmden daarna dezelfde scène met een schone lens om te zien hoe goed ze presteerden.

De Uitkomst:

Oude 3DGS: Produceerde modellen met zwevende vlekken en een lage kwaliteit (ongeveer 21,5 dB PSNR).
SSA-3DGS: Produceerde schone, hoogwaardige modellen (ongeveer 29,5 dB PSNR).
Bonus: Het systeem heeft het vuil niet alleen verwijderd; het heeft het vuil ook daadwerkelijk gereconstrueerd als een apart 2D-beeld. Je kunt de modder of het watermerk perfect geïsoleerd zien, alsof je een sticker van een raam afpelt.

Samenvatting

Kortom, SSA-3DGS is een hulpmiddel dat de 3D-bouwer leert om het "vuil op de lens" te negeren. Door te beseffen dat vuil stilstaat op het scherm terwijl de wereld beweegt, kan het de twee van elkaar scheiden, wat resulteert in een schone 3D-wereld en een apart beeld van het vuil, zonder dat daarvoor een mens nodig is om handmatig aan te geven waar het vuil zit.

Technische Samenvatting: SSA-3DGS

Probleemstelling

Methoden voor Novel View Synthesis (NVS), in het bijzonder 3D Gaussian Splatting (3DGS), vertrouwen op de aanname dat invoerbeelden schoon en multi-view consistent zijn. Echte opnames bevatten echter vaak screen-space artefacten: statische occlusies die vaststaan aan het 2D-beeldvlak in plaats van aan de 3D-wereld. Veelvoorkomende voorbeelden zijn fysieke sensordefecten, omgevingsobstakels (regen, modder op lensbehuizingen), opname-obstakels (vingers, dashboards) en digitale overlays (watermerken, UI-elementen).

Omdat deze artefacten statisch zijn ten opzichte van de camerasensor, "bewegen" ze ten opzichte van de wereldgeometrie terwijl de camera door de scène beweegt. Standaard 3D-reconstructiealgoritmen, die uitgaan van multi-view consistentie, falen in het verwerpen van deze artefacten. In plaats daarvan bakken ze deze artefacten foutief in de 3D-geometrie als "floaters" (nabij-camera 3D Gaussians) of view-afhankelijke effecten, wat de getrouwheid van de novel-view renders ernstig verslechtert. Bestaande robuustheidsmethoden (bijv. NeRF-W, RobustNeRF, DeSplat) richten zich primair op world-space transiënten of bewegende objecten en hebben moeite om statische screen-space ruis te onderscheiden van scènegeometrie. Bovendien missen single-image restauratietechnieken 3D-structurele kennis, wat leidt tot temporeel flikkeren en geometrische inconsistenties wanneer ze als een pre-processing stap worden toegepast.

Methodologie: SSA-3DGS

De auteurs stellen SSA-3DGS voor, een ongesuperviseerd framework dat gezamenlijk een 3D-scènerepresentatie en een leerbare 2D-overlay optimaliseert om screen-space artefacten te ontwarren van de onderliggende geometrie.

Kernformulering

De methode breidt de standaard 3DGS-pipeline uit door een leerbare 2D-overlay te introduceren die gedeeld wordt over alle trainingsweergaven. De uiteindelijke voorspelde pixelkleur $\hat{C}(u)$ wordt gemodelleerd als een alpha-blend tussen de schone 3D-scène render $\hat{C}_{3D}(u)$ en de artefact-overlay:
$\hat{C}(u) = A(u) \cdot W(u) + (1 - A(u)) \cdot \hat{C}_{3D}(u)$
Waar:

$W \in \mathbb{R}^{H \times W \times 3}$ de leerbare Artifact Color Map is.
$A \in \mathbb{R}^{H \times W \times 1}$ de leerbare Artifact Alpha Matte is.
Zowel $W$ als $A$ zijn gedefinieerd in pixelcoördinaten en blijven constant voor alle camerastandpunten, in tegen tegenstelling tot de 3D Gaussians die per view verschillend projecteren.

Optimalisatie en Regularisatie

De decompositie is ondergedetermineerd; zonder regularisatie zou het model degenereren naar oplossingen waarbij de 3D-scène uniform overbelicht of onderbelicht wordt door een overlay, of waar geldige scène-details worden geabsorbeerd door de overlay. Om dit te voorkomen, introduceren de auteurs een samengestelde verliesfunctie:
$\mathcal{L} = \mathcal{L}_{rgb} + \lambda_{sparse}\mathcal{L}_{sparse} + \lambda_{tv}\mathcal{L}_{TV}$

Fotometrische Verliesfunctie ( $\mathcal{L}_{rgb}$ ): Standaard L1- en SSIM-verlies tussen de gecomponeerde voorspelling en de grondwaarheid.
Sparsity Regularisatie ( $\mathcal{L}_{sparse}$ ): Moedigt de alpha-matte $A$ aan om overal waar mogelijk nul te zijn. Dit stuurt de optimalisatie aan om pixels eerst via 3D-geometrie te verklaren, waarbij de overlay alleen wordt gebruikt wanneer dat noodzakelijk is. Het voorkomt ook de "exposure collapse" degeneratieve oplossing.
Total Variation Verlies ( $\mathcal{L}_{TV}$ ): Moedigt de overlay aan om uit stuksgewijs gladde regio's te bestaan. Dit onderdrukt absorptie van hoogfrequente ruis en dwingt ruimtelijke coherentie af, wat de aard van veel echte artefacten weerspiegelt (bijv. watermerken, modderspatten).

Initialisatie

In plaats van de overlay met constanten te initialiseren, zaait de methode $W$ en $A$ met behulp van per-pixel statistieken uit de trainingsset. Pixels met een stabiele intensiteit over verschillende views (waarschijnlijk artefacten) beginnen bijna opaak, terwijl pixels met een hoge multi-view variatie (waarschijnlijk scène-inhoud) bijna transparant beginnen.

Belangrijkste Bijdragen

Ongesuperviseerde Ontwarring: Een methode om een schone 3DGS-scène te herstellen en de screen-space artefact simultaan te segmenteren uit gecorrumpeerdeerde multi-view opnames, zonder grondwaarheid-masks of handmatige supervisie.
Regularisatieschema: Een nieuwe combinatie van sparsity en total-variation constraints die de optimalisatie richting 3D geometrische verklaringen stuurt, waardoor de artefact-laag alleen echte screen-space ruis vastlegt.
Real-World Dataset: De introductie van een zelf-gecaptureerde real-world dataset met echte, fysiek geïnduceerde artefacten (modder op een lensbehuizing, rig-occlusies) om de methode te benchmarken voorbij synthetische composities.

Resultaten

De auteurs evalueerden SSA-3DGS op de Mip-NeRF 360 dataset (met synthetische artefacten) en hun eigen gecaptureerde real-world dataset.

Kwantitatieve Prestaties: Op de synthetische benchmark verbeterde SSA-3DGS de reconstructiefidelity met tot wel 9 dB PSNR ten opzichte van vanilla 3DGS getraind op dezelfde gecorrumpeerde inputs. Het presteerde consequent beter dan de baseline 3DGS en de distractor-robuuste methode, DeSplat.
- Met MCMC densificatie bereikte SSA-3DGS een gemiddelde PSNR van 28,43 dB op gecorrumpeerde inputs, waarmee het de prestaties benadert van 3DGS getraind op schone data (29,57 dB).
- Op de real-world "Mud" scène verbeterde de methode de PSNR met 3,0 dB ten opzichte van de sterkste baseline (DeSplat).
Kwalitatieve Prestaties: Visuele resultaten tonen aan dat SSA-3DGS succesvol artefacten verwijdert (watermerken, dashboards, modder, UI-elementen) en schone geometrie herstelt, terwijl baselines de artefacten vaak in de scène bakken als semi-transparante floaters. De methode reconstrueert ook succesvol het artefact zelf als een aparte overlay.
Ablatie: De studie bevestigt dat zowel sparsity als total-variation regularisatie noodzakelijk zijn. Het verwijderen ervan resulteerde in een daling van ~1,0 dB in PSNR en degradeerde de FLIP-scores, waarbij het model faalde om het artefact correct van de scène te scheiden.

Betekenis en Claims

Het artikel claimt dat SSA-3DGS een levensvatbaar pad biedt naar betrouwbare 3D-reconstructie vanuit ongecontroleerde, "in-the-wild" opnames door expliciet imperfecties in de capture te modelleren. In tegenstelling tot generieke 2D-denoising toegepast als een pre-processing stap, die multi-view consistentie doorbreekt, behoudt SSA-3DGS geometrische coherentie door de scheidingslogica direct in de 3D-optimalisatieloop te integreren.

De auteurs merken op dat de methode vertrouwt op multi-view consensus; daarom zijn voldoende dichte captures vereist. Ze erkennen een beperking met betrekking tot artefacten die slechts bij benadering statisch zijn (bijv. occluders met view-afhankelijke reflecties), die slechts gedeeltelijk worden gevangen door hun statische-overlay model, hoewel de methode in dergelijke scenario's nog steeds gracieus degradeert en de baselines overtreft. Het werk suggereert dat het expliciet modelleren van sensor-vlak obstructies een cruciale stap is voor robuuste NVS in real-world toepassingen.