Semantic-Guided 3D Gaussian Splatting for Transient Object Removal

Deze paper introduceert een semantisch geleid raamwerk voor het verwijderen van tijdelijke objecten uit 3D-Gaussian Splatting-reconstructies, dat door het gebruik van CLIP-gebaseerde categorische filtering parallax-ambiguïteit oplost en ghosting-artefacten effectief elimineert zonder de geheugenkosten of real-time prestaties te beïnvloeden.

De kern

Stel je voor dat je een prachtige 3D-foto van een plein maakt, maar er lopen toevallig mensen voorbij die je niet in het eindresultaat wilt hebben. Bij de oude methoden voor het maken van 3D-beelden (zoals 3D Gaussian Splatting) ontstond hierdoor een spookachtig probleem: die mensen verschenen als doorzichtige, zwevende "geesten" in je foto. De computer wist immers niet of die mensen echt daar waren of dat het een foutje was.

Dit nieuwe papier beschrijft een slimme oplossing die werkt als een slimme conciërge met een bril. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Geest" in de Machine

Normaal gesproken probeert de computer te raden wat er gebeurt door te kijken naar beweging. Maar dat werkt niet altijd goed. Als je camera beweegt, kan een stilstaand muurtje eruitzien alsof het beweegt, en een voorbijganger kan eruitzien alsof hij stilstaat. De computer raakt in de war en maakt die "geesten" (ghosting artifacts) in je 3D-wereld.

2. De Oplossing: Een Bril die de Wereld Begrijpt

In plaats van alleen naar beweging te kijken, geeft de auteurs hun computer een bril die taal en beelden begrijpt (een technologie genaamd CLIP).

Stel je voor dat je de computer een lijstje geeft met woorden zoals "een foto van een persoon" of "een foto van een hand". Dit zijn de dingen die je wilt weghalen (de "distractors").

3. Hoe het Werkt: De "Score" van elke Deeltje

De 3D-wereld bestaat uit miljoenen kleine, zwevende deeltjes (Gaussians). De nieuwe methode doet het volgende:

• De Check: De computer kijkt naar de foto's die hij maakt en vraagt de "bril": "Zie ik hier een persoon?"
• De Score: Als de bril denkt van ja, krijgt het deeltje in de lucht een rode score. Als het een muur of een boom is, krijgt het een blauwe score.
• Het Verzamelen: De computer houdt bij hoe vaak een deeltje een rode score krijgt.
  • Als een deeltje vaak als "mens" wordt gezien, krijgt het een hoge rode score.
  • Als een deeltje vaak als "muur" wordt gezien, blijft het blauw.

4. De Schoonmaak: De "Tuinman"

Nu komt de tuinman (de algoritme) in actie:

• Verfijning: De deeltjes met een hoge rode score (de mensen) krijgen een "straf": ze worden langzaam onzichtbaar gemaakt (hun transparantie wordt verhoogd).
• Wegsnijden: Als een deeltje echt duidelijk als "mens" is geïdentificeerd, wordt het er fysiek uit geknipt.
• Beschermd: De deeltjes die als "muur" of "boom" worden gezien, blijven veilig staan, zelfs als ze maar zelden te zien zijn. Dit lost het probleem op waarbij de computer een stilstaande muur per ongeluk weghad omdat hij maar zelden in beeld kwam.

Waarom is dit zo slim?

• Geen geheugenproblemen: Andere methoden waren als een zware vrachtwagen die veel geheugen nodig had. Deze methode is als een kleine, wendbare fiets: hij is snel en gebruikt weinig energie.
• Geen verwarring: De computer maakt geen fouten meer door beweging. Hij weet wat hij ziet (een persoon), niet alleen hoe het beweegt.
• Resultaat: In tests bleek dat de nieuwe methode veel scherpere en schonere foto's maakte dan de oude methoden, zonder dat de "geesten" van de voorbijgangers nog zichtbaar waren.

Kortom: Het is alsof je een 3D-foto maakt en de computer automatisch weet: "Ah, dat is een mens die voorbij loopt, die haal ik eruit. Dat is een muur, die laat ik staan." Zo krijg je een perfecte, statische wereld zonder die vervelende spookbeelden.

Technische samenvatting

Titel: Semantic-Guided 3D Gaussian Splatting voor het Verwijderen van Transiënte Objecten

1. Het Probleem

Bij het reconstrueren van 3D-scènes uit casual multi-view opnames (bijvoorbeeld foto's van een scène met voorbijgangers of bewogen objecten) ontstaan er artefacten in de vorm van "geesten" (ghosting) in de 3D Gaussian Splatting (3DGS) reconstructie.

• Oorzaak: 3DGS en NeRF-achtige methoden gaan uit van statische scènes. Wanneer een object in sommige beelden aanwezig is en in andere niet, probeert het model deze inconsistentie op te lossen door een semi-transparante, geestachtige versie van het object te renderen.
• Bestaande oplossingen en beperkingen:
  • Motion-based filtering: Methodes die vertrouwen op beweging of zichtbaarheid hebben last van parallax-ambiguïteit. Een statisch object dat slechts in een paar hoeken zichtbaar is (door camera-beweging) kan ten onrechte worden verwijderd, terwijl een transiënt object dat in veel hoeken voorkomt, kan worden behouden.
  • Scene decomposition: Methodes die de scène opdelen in statische en dynamische lagen vereisen vaak aanzienlijk meer geheugen en rekkracht.
  • Implicit representations: Bestaande methodes zoals RobustNeRF werken vaak met volumetrische representaties die traag te trainen zijn.

2. Methodologie: CLIP-GS Framework

De auteurs stellen een semantisch geleid framework voor dat 3DGS combineert met Vision-Language-modellen (specifiek CLIP) om transiënte objecten te identificeren en te verwijderen zonder de efficiëntie van 3DGS te verliezen.

Kerncomponenten:

1. CLIP-based Semantische Score:

   • Tijdens het trainen worden gegenereerde beelden ($I_t$) verwerkt door de CLIP ViT-B/32 vision encoder.
   • Er worden twee sets tekst-prompten gedefinieerd:
     • Distractor prompts ($D$): Bijv. "een foto van een persoon", "voetgangers", "handen".
     • Static prompts ($S$): Bijv. "een foto van een gebouw", "muur", "meubels".
   • De cosine-ähnheid tussen het gegenereerde beeld en de distractor-prompts wordt berekend. Een hoge score wijst op de aanwezigheid van een transiënt object.

2. Per-Gaussian Score Accumulatie:

   • In plaats van op beeldniveau te werken, worden de semantische scores geaccumuleerd per individuele 3D-Gaussian ($G_j$) over de trainingsiteraties.
   • Voor elke Gaussian wordt bijgehouden hoe vaak deze zichtbaar was ($n_j$) en de geaccumuleerde distractor-score ($\tilde{s}_j$).
   • De uiteindelijke semantische score per Gaussian is de genormaliseerde gemiddelde score: $s_j = \tilde{s}_j / n_j$. Dit zorgt ervoor dat scores de categorie-consistentie weergeven en niet alleen de frequentie van zichtbaarheid.

3. Categorie-bewust Verwijderen (Pruning & Regularisatie):

   • Opaciteitsregularisatie: Een extra verliesterm ($L_{CLIP}$) wordt toegevoegd aan de fotometrische loss. Deze straft de opaciteit ($\alpha$) van Gaussians met hoge semantische scores af, waardoor transiënte elementen geleidelijk worden onderdrukt.
   • Periodieke Pruning: Tijdens het trainen worden Gaussians verwijderd die voldoen aan:
     • Een semantische score boven een drempelwaarde ($\tau$) (d.w.z. waarschijnlijk een transiënt object).
     • OF een te lage zichtbaarheid en lage opaciteit (geometrisch instabiele Gaussians).
   • Drempelkalibratie: De drempel $\tau$ wordt zorgvuldig gekalibreerd (in dit paper tussen 0.015 en 0.02) om te voorkomen dat statische objecten per ongeluk worden verwijderd.

3. Belangrijkste Bijdragen

• Semantische in plaats van motion-based filtering: Het oplossen van de parallax-ambiguïteit door objecten te classificeren op basis van hun categorie (via CLIP) in plaats van hun bewegingspatroon. Dit zorgt ervoor dat statische objecten die zelden zichtbaar zijn (bijv. een muur in een hoek) toch worden behouden, terwijl mensen worden verwijderd.
• Efficiëntie: Het framework behoudt de lichtgewicht en real-time rendering-eigenschappen van 3DGS. Er is geen zware scene-decompositie nodig en het geheugenoverhead is minimaal (slechts twee extra scalair arrays per Gaussian).
• Integratie met Vision-Language Models: Het gebruik van CLIP alleen tijdens de trainingsfase voor structurele pruning, zonder de inferentie-tijd te beïnvloeden.

4. Resultaten

Het framework is geëvalueerd op het RobustNeRF-benchmark (vier sequenties: Statue, Android, Yoda, Crab).

• Kwantitatieve resultaten:
  • CLIP-GS behaalde consistent betere resultaten dan "Vanilla" 3DGS en Mip-NeRF 360.
  • PSNR: Verbetering tot +1.94 dB ten opzichte van Vanilla 3DGS (op de 'Statue' sequentie).
  • SSIM & LPIPS: Verbeteringen in structurele gelijkenis en perceptuele kwaliteit.
  • Ablatie-studies: De combinatie van opaciteitsregularisatie en periodieke pruning leverde de grootste winst (+1.3 dB) op. Zelfs met generieke prompts (zonder dataset-specifieke aanpassing) was er nog steeds een verbetering van +0.7 dB.
• Kwalitatieve resultaten:
  • Visuele vergelijkingen tonen dat CLIP-GS de "geest"-artefacten succesvol verwijdert.
  • Statische randen (zoals muren die slechts in 15% van de beelden zichtbaar waren) werden correct behouden, terwijl transiënte objecten (zoals voetgangers) volledig werden verwijderd.
• Efficiëntie: Het model behoudt real-time rendering en voegt slechts een minimaal geheugenoverhead toe.

5. Betekenis en Toekomstperspectief

• Praktische Toepasbaarheid: De methode biedt een praktische oplossing voor scenario's waar geheugen en snelheid cruciaal zijn (bijv. AR/VR toepassingen), zonder de hoge kosten van complexe scene-decompositie.
• Beperkingen:
  • Vereist dat gebruikers vooraf weten welke categorieën van transiënte objecten verwacht worden (hoewel generieke termen zoals "mens" vaak werken).
  • Minder effectief bij zeer kleine objecten (<50 pixels) vanwege de resolutie van CLIP.
  • De drempelwaarde $\tau$ moet per dataset worden gekalibreerd.
• Toekomstig werk: De auteurs plannen onderzoek naar patch-level scoring voor betere lokalisatie van kleine objecten, geleerde prompt-generatie om handmatige specificatie te verminderen, en adaptieve drempelstrategieën.

Conclusie:
Dit paper introduceert een effectieve en efficiënte aanpak voor het verwijderen van transiënte objecten in 3D Gaussian Splatting. Door semantische informatie van Vision-Language-modellen te gebruiken, wordt het fundamentele probleem van parallax-ambiguïteit opgelost, wat leidt tot scherpere, ghost-vrije reconstructies met behoud van de snelheid en lichtgewicht aard van 3DGS.