Dropping Anchor and Spherical Harmonics for Sparse-view Gaussian Splatting

Deze paper introduceert DropAnSH-GS, een nieuwe methode voor 3D Gaussian Splatting die overfitting bij beperkte weergaven aanpakt door zowel ruimtelijke buren van ankers als hogere-orde sferische harmonische coëfficiënten willekeurig te verwijderen, wat leidt tot robuustere en comprimeerbaardere 3D-representaties.

De kern

Stel je voor dat je een 3D-wereld wilt bouwen, zoals een virtueel museum of een landschap, maar je hebt maar een paar foto's om mee te werken. Dit is een heel lastige taak voor computers. Ze proberen duizenden kleine, onzichtbare "wolkjes" (in de vaktaal: Gaussians) te plaatsen om de wereld na te bootsen.

Het probleem is dat als je maar weinig foto's hebt, de computer vaak "overleert". Hij probeert zo precies mogelijk te zijn op die ene foto, waardoor hij rare artefacten, vage vlekken of vreemde vervormingen creëert op plekken waar hij geen foto's van heeft. Het is alsof een schilder die maar één foto van een boom heeft, die boom zo gedetailleerd schildert dat hij op andere foto's totaal niet meer op een boom lijkt.

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd DropAnSH-GS. Laten we dit uitleggen met twee simpele metaforen:

1. Het probleem: De "Buren-effect" (De Neighbors)

Stel je voor dat je een muur wilt bouwen met duizenden kleine bakstenen. Als je één baksteen weghaalt, valt de muur niet in elkaar; de buren vullen het gat direct op. De muur ziet er nog steeds perfect uit.

In de oude methoden voor 3D-modellen haalden ze willekeurig één "baksteen" (een Gaussisch wolkje) weg om de computer te dwingen iets anders te leren. Maar omdat de buren zo op elkaar lijken, vullen ze het gat direct op. De computer leert niets nieuws en blijft overgevoelig voor de originele foto's.

De oplossing van de auteurs:
In plaats van één baksteen weg te halen, kiezen ze een "anker" en halen ze die baksteen én al zijn directe buren tegelijk weg.

• De analogie: Je haalt nu niet één steen weg, maar je maakt een groot gat in de muur. De buren kunnen dat gat niet meer opvullen. De computer wordt nu gedwongen om verder weg te kijken, naar andere delen van de muur, om te begrijpen hoe het gat eruit moet zien. Hierdoor leert hij de werkelijke structuur van de wereld, in plaats van alleen de oppervlakte van de foto's.

2. Het tweede probleem: Te veel details (De Sferische Harmonischen)

Een 3D-model heeft ook "kleur-informatie". Deze informatie wordt opgeslagen in lagen, net als een cake met verschillende verdiepingen.

• De onderste lagen zijn de basis-kleuren (rood, blauw, groen).
• De bovenste lagen zijn de super-fijne details (een vlekje hier, een glansje daar).

Bij weinig foto's probeert de computer al die bovenste, fijne lagen te gebruiken om de foto's perfect na te bootsen. Dit zorgt voor ruis en overfitting. Het is alsof je een schets maakt van een gezicht, maar je probeert elke vlek op de huid perfect na te tekenen, waardoor het gezicht er onnatuurlijk en "ruisig" uitziet.

De oplossing van de auteurs:
Ze dwingen de computer om tijdens het leren de bovenste lagen (de fijne details) soms te negeren.

• De analogie: Ze zeggen tegen de computer: "Gebruik alleen de basis-kleuren om het gezicht te tekenen. De fijne details mogen we even vergeten."
• Het mooie resultaat: Omdat de computer is getraind om het gezicht goed te maken zonder die fijne details, kan je na het trainen die bovenste lagen gewoon weggooien. Je krijgt een model dat kleiner is (minder geheugen nodig) en sneller werkt, maar nog steeds heel scherp en mooi blijft. Het is alsof je een foto maakt die je later in een lagere resolutie kunt zetten zonder dat het beeld wazig wordt.

Samenvatting in één zin

Deze nieuwe methode maakt het 3D-model slimmer door tijdelijk grote stukken van de "muur" weg te halen (zodat de computer niet op zijn buren kan leunen) en door te dwingen dat het model eerst de basisbegrippen van kleur leert voordat het zich zorgen maakt over de kleinste details.

Het resultaat: Je krijgt een 3D-wereld die er veel natuurlijker uitziet, zelfs als je maar een paar foto's hebt, en het bestand is bovendien kleiner en sneller te laden.

Technische samenvatting

Probleemstelling

3D Gaussian Splatting (3DGS) heeft zich bewezen als een toonaangevende methode voor het synthetiseren van nieuwe weergaven (Novel View Synthesis - NVS) met een uitstekende balans tussen renderingsnelheid en visuele kwaliteit. Echter, wanneer 3DGS wordt getraind met weinig input-beelden (sparse views), treedt er ernstige overfitting op. Dit resulteert in artefacten, wazigheid en geometrische vervormingen.

Bestaande oplossingen die gebruikmaken van Dropout-technieken (waarbij willekeurig de dekking/opaciteit van bepaalde Gaussians tijdelijk op nul wordt gezet tijdens training) blijken onvoldoende te werken vanwege twee fundamentele beperkingen:

1. Het compensatie-effect van buren: Omdat 3DGS-scènes worden weergegeven door duizenden overlappende Gaussians met zeer vergelijkbare eigenschappen in lokale gebieden, wordt het weglaten van één Gaussian vaak gecompenseerd door zijn directe buren. Hierdoor blijft het signaal voor regularisatie zwak en leert het model niet robuust.
2. Beperkt gebruik van attributen: Bestaande methoden richten zich uitsluitend op het weglaten van de opaciteit (transparantie), terwijl ze negeren dat hoogwaardige coëfficiënten van Sferische Harmonischen (SH) (die kleur en uiterlijk coderen) ook een belangrijke bron van overfitting zijn in scenario's met weinig beelden.

Methodologie: DropAnSH-GS

De auteurs stellen DropAnSH-GS voor, een nieuwe regularisatiestrategie die twee innovaties combineert om overfitting effectief te bestrijden:

1. Anchor-based Dropout (Ruimtelijke Regularisatie)

In plaats van individuele, geïsoleerde Gaussians te verwijderen, selecteert deze methode willekeurig een set van "anchors" (anker-Gaussians).

• Mechanisme: Wanneer een anchor wordt geselecteerd, worden niet alleen deze Gaussian, maar ook al zijn naburige Gaussians binnen een bepaalde straal (op basis van Euclidische afstand) tegelijkertijd uitgeschakeld (hun opaciteit wordt op 0 gezet).
• Doel: Dit creëert grotere "informatieholtes" in de 3D-scène. Hierdoor kunnen naburige Gaussians de ontbrekende informatie niet meer eenvoudig compenseren. Het model wordt gedwongen om op langere afstand contextuele informatie te gebruiken om de ontbrekende gebieden te reconstrueren, wat leidt tot robuustere en meer gegeneraliseerde scene-representaties.

2. Spherical Harmonics (SH) Dropout (Attribuut Regularisatie)

De auteurs identificeren dat hoogwaardige SH-coëfficiënten (die fijne kleurdetails coderen) in sparse-view settings vaak overfitting veroorzaken.

• Mechanisme: Tijdens de training worden voor een willekeurige subset van Gaussians alle SH-coëfficiënten boven een bepaalde graad ($l_{max}$) tijdelijk op nul gezet.
• Dynamiek: $l_{max}$ neemt geleidelijk toe naarmate de training vordert, waardoor het model eerst leert op basis van ruwe, laagwaardige SH (globale kleur) en later fijnere details toevoegt.
• Voordeel: Dit dwingt het model om de belangrijkste uiterlijke informatie te concentreren in de lagere graad coëfficiënten. Na training kunnen de hogere graad coëfficiënten worden verwijderd (gepruned) zonder opnieuw te hoeven trainen, wat resulteert in een veel kleiner model.

Belangrijkste Bijdragen

1. Identificatie van beperkingen: De auteurs analyseren en tonen aan dat bestaande Dropout-methoden falen door ruimtelijke redundantie (compensatie-effect) en het negeren van SH-overfitting.
2. DropAnSH-GS: Een nieuwe, gestructureerde ruimtelijke Dropout-methode die clusters van Gaussians verwijdert in plaats van geïsoleerde punten, wat de regularisatiekracht aanzienlijk versterkt.
3. Uitbreiding naar SH: De introductie van een Dropout-mechanisme specifiek voor SH-coëfficiënten, wat overfitting op kleurvariaties onderdrukt en flexibele, post-training compressie mogelijk maakt.
4. Breed toepasbaarheid: De methode is modulair en kan eenvoudig worden geïntegreerd in bestaande 3DGS-varianten zonder de basis-objectfunctie te hoeven wijzigen.

Resultaten

Experimenten zijn uitgevoerd op standaard datasets (LLFF, Mip-NeRF-360, Blender) met zeer beperkt aantal input-beelden (3 tot 12 views).

• Kwaliteit: DropAnSH-GS presteert significant beter dan state-of-the-art methoden (zoals DropGaussian en DropoutGS) en NeRF-gebaseerde methoden. Op de LLFF dataset (3 views) werd een PSNR van 20.68 bereikt, vergeleken met 20.33 voor DropGaussian en 19.17 voor standaard 3DGS.
• Modelgrootte en Compressie: Door het trainen met SH-Dropout kan het model na training worden gecomprimeerd. Een model dat alleen de laagste graad SH behoudt (SH0) behoudt nog steeds een hoge kwaliteit (PSNR 25.04 op Blender) maar is 75% kleiner dan het volledige model.
• Efficiëntie: De methode introduceert een verwaarloosbare rekentijd (minder dan 2,8% extra trainingstijd) dankzij een efficiënte CUDA-implementatie voor het zoeken naar buren.
• Compatibiliteit: De methode verbetert de prestaties van diverse andere 3DGS-varianten (zoals FSGS, CoR-GS, DNGaussian) wanneer deze erop wordt toegepast.

Significantie

Dit werk biedt een cruciale doorbraak voor het toepassen van 3D Gaussian Splatting in real-world scenario's waar data schaars is (bijvoorbeeld bij drone-opnames of snelle 3D-scanning). Door het doorbreken van het "buren-compensatie-effect" en het optimaliseren van de kleurrepresentatie, maakt DropAnSH-GS het mogelijk om:

• Hoogwaardige 3D-reconstructies te maken met slechts een handvol foto's.
• Robuustere modellen te trainen die minder gevoelig zijn voor artefacten.
• Flexibele trade-offs te maken tussen modelgrootte en kwaliteit zonder opnieuw te hoeven trainen, wat essentieel is voor implementatie op apparaten met beperkte rekenkracht.

Samenvattend introduceert DropAnSH-GS een fundamenteel betere manier om 3DGS te regulariseren, waardoor het een krachtigere en meer praktische oplossing wordt voor sparse-view novel view synthesis.