Distractor-free Generalizable 3D Gaussian Splatting

Deze paper introduceert DGGS, een nieuw raamwerk dat het tot nu toe onontgonnen probleem van afleidingsvrije, generaliseerbare 3D Gaussian Splatting oplost door tijdens training en inferentie storende elementen effectief te elimineren en zo stabiele reconstructies en nauwkeurige maskers voor onbekende scènes mogelijk te maken.

De kern

Stel je voor dat je een prachtige foto maakt van een oud kerkplein. Maar op de foto staat een snel voorbijrijdende bus en een groepje toeristen die in de weg lopen. Als je nu probeert een 3D-model van dat plein te maken, zou die bus en dat groepje mensen in het 3D-model "geestachtig" blijven hangen. Ze zouden eruit zien als vage, zwevende vlekken die er niet horen, omdat ze op de foto's op verschillende plekken staan.

Dit is precies het probleem waar dit nieuwe onderzoek (DGGS) een oplossing voor biedt. Hier is de uitleg in simpele taal:

1. Het Probleem: De "Geesten" in je 3D-wereld

Vroeger waren computerslimme systemen om 3D-modellen te maken heel goed, maar ze hadden een zwak punt: ze konden niet goed omgaan met afleidende objecten (in het Engels: distractors). Denk aan voorbijgangers, auto's, of zelfs een vliegende duif.

Als je een computer vraagt om een 3D-model te maken van een straat, en er lopen mensen over de weg, denkt de computer: "Oh, die mensen horen bij de muur!" Omdat de mensen op elke foto op een andere plek staan, probeert de computer ze allemaal tegelijk te bouwen. Het resultaat is een modderige, vervormde 3D-wereld met rare zwevende vlekken.

2. De Oplossing: DGGS (De "Slimme Verwijderaar")

De onderzoekers hebben een nieuw systeem bedacht dat we DGGS noemen. Je kunt het zien als een super-slimme chef-kok die een gerecht maakt, maar eerst alle slechte ingrediënten uit de pan haalt voordat hij begint met koken.

Het werkt in twee stappen:

Stap 1: De Training (Het Leren van de Chef)

Normaal gesproken leert een computer door naar duizenden foto's te kijken. Als er een bus op één foto staat, leert de computer dat de bus deel uitmaakt van de muur.

• De truc van DGGS: Het systeem kijkt naar meerdere foto's tegelijk. Het zegt: "Wacht even, die bus staat op foto 1 links, maar op foto 2 rechts. Een muur staat niet op twee plekken tegelijk. Die bus is dus een 'verkeerde' gast."
• Het systeem maakt een masker (een soort digitale stempel) dat de bus "onzichtbaar" maakt voor de computer. Zo leert de computer alleen de echte, statische wereld (de gebouwen, de bomen) te begrijpen, zonder de rommel.

Stap 2: Het Maken van het Model (Het Koken)

Als je nu een nieuw 3D-model wilt maken van een straat die je nog nooit hebt gezien, pakt DGGS de beste foto's uit een grote stapel.

• De Score: Het systeem kijkt naar alle beschikbare foto's en zegt: "Deze foto heeft een grote bus, die gebruiken we niet. Deze foto heeft een paar mensen, maar die zijn klein, die kunnen we gebruiken."
• De Scherpslijper: Zelfs als er nog een klein beetje rommel in de geselecteerde foto's zit, heeft DGGS een laatste trucje. Het "snoeit" de 3D-blokjes (de bouwstenen van het model) die horen bij die rommel weg. Het is alsof je een beeldhouwer bent die een klein stukje van een steen weghaalt dat niet bij het standbeeld hoort.

3. Waarom is dit speciaal?

Tot nu toe moesten computers voor elke nieuwe plek (bijvoorbeeld elke nieuwe stad) apart worden getraind om die specifieke mensen en auto's te herkennen. Dat is als een kok die voor elke klant een nieuw recept moet leren.

DGGS is algemeen toepasbaar. Het heeft geleerd hoe je "geesten" herkent in elke situatie, zonder dat je het systeem eerst moet uitleggen wie de mensen in die specifieke straat zijn. Het werkt dus direct, net zo snel als je een foto maakt.

Samenvatting in één zin

DGGS is een slimme manier om 3D-modellen te maken van foto's, waarbij het systeem automatisch de "storingen" (zoals voorbijgangers of auto's) weghaalt, zodat het eindresultaat eruitziet alsof je de foto's hebt genomen in een perfecte, lege wereld, zonder dat je daarvoor hard hoeft te werken.

Het is alsof je een foto bewerkt met een magische gum die alleen de mensen verwijdert die in de weg lopen, maar de achtergrond perfect intact laat.

Technische samenvatting

Probleemstelling

Bestaande methoden voor Generalizable 3D Gaussian Splatting (3DGS) zijn ontworpen om 3D-scènes te reconstrueren vanuit een beperkt aantal referentieafbeeldingen zonder per-scène optimalisatie. Echter, deze methoden worstelen in realistische, onbeperkte opnamescenario's ("in the wild") vanwege de aanwezigheid van distractors (tijdelijke objecten zoals voertuigen, voetgangers of ballonnen).

Deze distractors veroorzaken twee fundamentele problemen:

1. Tijdens training: Distractors verstoren de 3D-geometrische consistentie tussen verschillende weergaven. Bestaande generaliseerbare modellen leren hierdoor onjuiste geometrie, wat leidt tot instabiliteit en een beperking tot statische, gecontroleerde scènes.
2. Tijdens inferentie: Distractors in de referentieafbeeldingen worden onjuist geprojecteerd in de 3D-ruimte, wat resulteert in artefacten (zoals "ghosting") en gaten in de gereconstrueerde nieuwe weergaven.

Bestaande oplossingen voor het verwijderen van distractors zijn meestal scène-specifiek (vereisen iteratieve optimalisatie per scène) en kunnen niet direct worden toegepast op generaliseerbare modellen die feed-forward inferentie gebruiken.

Methodologie: DGGS

De auteurs stellen DGGS voor, een raamwerk dat een distractor-vrije generaliseerbare trainingsparadigma en een inferentieframework introduceert. Het doel is om distractors te detecteren en te elimineren zonder extra supervisie of scène-specifieke optimalisatie.

1. Distractor-vrije Generaliseerbare Training (Sec. 4.1)

Het kernidee is het gebruik van de inherente 3D-consistentie tussen referentieafbeeldingen om distractors te identificeren.

• Referentie-gebaseerde Mask Voorspelling:
  • In plaats van alleen te vertrouwen op de fout tussen een query-afbeelding en de render (wat vaak leidt tot verkeerde classificatie van moeilijke statische gebieden als distractors), gebruikt DGGS een filtermechanisme.
  • Het systeem re-rendert de referentieafbeeldingen vanuit de geschatte 3DGS. Gebieden in deze re-renders die consistent zijn (lage fout), worden beschouwd als betrouwbare statische gebieden.
  • Deze betrouwbare gebieden worden geprojecteerd naar de query-view om een "Robust Mask" te filteren. Als een gebied in de query-view als distractor wordt gemarkeerd, maar consistent is met de re-render van de referenties, wordt dit label gecorrigeerd.
• Mask Refinement Module:
  • Om onnauwkeurigheden door dieptefouten (disparity errors) en ruis te verhelpen, wordt het masker ontleed in twee delen: distractor-gebieden en disparity-fout-gebieden.
  • Een voorgeprogrammeerd segmentatiemodel (zoals Entity Segmentation of SAM) wordt gebruikt om de distractor-gebieden op te vullen.
  • Er wordt een auxiliary loss geïntroduceerd die de query-view superviseert op gebieden die in de query verduisterd zijn, maar zichtbaar zijn in de referenties. Dit helpt bij het leren van occlusies.
• Trainingsverlies: Het totale verlies wordt berekend met het gefilterde masker, waardoor de training zich alleen richt op de statische, betrouwbare delen van de scène.

2. Distractor-vrije Generaliseerbare Inferentie (Sec. 4.2)

Zelfs met een goed getraind model kunnen resterende distractors in de geselecteerde referenties artefacten veroorzaken. DGGS lost dit op met een twee-staps inferentieframework:

• Stap 1: Referentie Scoring en Selectie:
  • Uit een pool van beschikbare referentieafbeeldingen worden kandidaten gescoord op basis van de voorspelde distractor-masks en de dispariteit (verschil in perspectief).
  • De beste $N$ referenties (met de minste distractors en de beste geometrische dekking) worden geselecteerd voor de feitelijke reconstructie.
• Stap 2: Distractor Pruning:
  • Zelfs na selectie kunnen er nog rest-distractors aanwezig zijn. DGGS introduceert een pruning-strategie die specifieke 3D-Gaussian-primitieven verwijdert die corresponderen met de gedetecteerde distractor-gebieden in de 3D-ruimte.
  • Dit gebeurt selectief om te voorkomen dat gemeenschappelijke occlusies (die in alle referenties voorkomen) per ongeluk worden verwijderd, wat zou leiden tot witte vlekken.

Belangrijkste Bijdragen

1. Nieuw Probleemdefinitie: DGGS is, voor zover bekend, het eerste werk dat zich richt op "Distractor-free Generalizable 3DGS", een tot nu toe onontgonnen terrein.
2. Generaliseerbaar Trainingsparadigma: Een nieuwe methode om distractor-masks te voorspellen in een feed-forward setting door gebruik te maken van 3D-consistentie tussen referenties, zonder per-scène optimalisatie.
3. Twee-staps Inferentie: Een innovatief framework dat referentie-selectie en 3D-pruning combineert om artefacten en gaten te minimaliseren tijdens het renderen van nieuwe weergaven.
4. Superieure Generalisatie: Het model presteert beter dan bestaande scène-specifieke methoden in cross-scène scenario's (bijv. trainen op buiten, testen op binnen) en vereist geen extra supervisie voor maskers.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op zowel echte datasets (On-the-go, RobustNeRF) als synthetische data (gebaseerd op Re10K en ACID).

• Kwantitatieve Prestaties:
  • DGGS behaalt een PSNR van 21.74 op de Mean (vijf scènes), wat significant hoger is dan de baseline Mvsplat (15.45) en andere bestaande generaliseerbare methoden.
  • Het overtreft zelfs bestaande scène-specifieke distractor-vrije methoden (zoals NeRF-HuGS en SLS) in generalisatiecapaciteit, zelfs zonder per-scène fine-tuning.
• Kwalitatieve Resultaten:
  • Visuele vergelijkingen tonen aan dat DGGS veel minder artefacten, ghosting en gaten produceert dan concurrenten.
  • De voorspelde masks zijn nauwkeuriger dan die van scène-specifieke methoden, omdat ze niet afhankelijk zijn van iteratieve convergentie van de loss-functie.
• Efficiëntie:
  • Hoewel er een lichte daling in rendering-snelheid is door de twee-staps inferentie en het gebruik van segmentatiemodellen, blijft het systeem efficiënt genoeg voor praktische toepassingen. De snelheid kan verder worden geoptimaliseerd door de resolutie van de segmentatie te verlagen.

Betekenis en Toekomstperspectief

DGGS opent de deur voor robuuste 3D-reconstructie in realistische, onbeheerde omgevingen. Het lost het fundamentele probleem op dat generaliseerbare 3D-modellen gevoelig zijn voor tijdelijke objecten.

• Impact: Het maakt het mogelijk om hoogwaardige 3D-modellen te genereren vanuit casual opnames (bijv. van smartphones of drones) zonder dat de gebruiker hoeft te wachten op een "schone" scène of handmatige maskering.
• Beperkingen: Het systeem heeft nog moeite met gebieden die in alle referentieafbeeldingen consistent worden verduisterd (bijv. een object dat in elke foto dezelfde plek blokkeert), wat leidt tot "speckle"-artefacten. De auteurs suggereren dat generatieve modellen een mogelijke oplossing hiervoor kunnen zijn.
• Toekomst: Dit werk legt de basis voor toekomstig onderzoek naar generaliseerbare 3D-vision in dynamische omgevingen en kan worden uitgebreid naar bredere toepassingen in augmented reality, robotica en autonome voertuigen.