Loss-Guided Density Control and Efficient Backward Optimisation for Compact Gaussian Splatting

Stel je voor dat je een perfect, driedimensionaal model van een echte scène probeert te bouwen, zoals een bruisend stadsplein of een stil bos, met behoud van slechts een handvol foto's. Jarenlang hebben wetenschappers geprobeerd om deze modellen er realistisch uit te laten zien terwijl ze klein genoeg blijven om snel door een computer geladen te worden. Het doel is om een digitale tweeling te creëren waar je doorheen kunt lopen en die je vanuit elke hoek kunt bekijken, zonder dat het beeld wazig wordt of de computer vertraagt. Een recente doorbraak genaamd 3D Gaussian Splatting heeft het spel veranderd door een scène niet als een solide mesh weer te geven, maar als een wolk van miljoenen piepkleine, vage ellipsen. Denk aan deze ellipsen als zachte, gloeiende wolken van kleur die overlappen om de uiteindelijke afbeelding te vormen. Hoewel deze methode direct prachtige beelden produceert, is het proces om de computer te leren hoe hij deze wolken moet rangschikken vaak traag en verspillend. De computer heeft de neiging om te veel wolken te maken op plaatsen waar het beeld al duidelijk is, en niet genoeg op plaatsen waar details ontbreken, wat leidt tot een opgeblazen model dat lang duurt om te trainen.

Onderzoekers van de Chengdu University of Technology en Shenzhen Sensing Data Technology Company hebben een nieuwe manier voorgesteld om deze modellen te trainen die zowel sneller als efficiënter is. Hun aanpak richt zich op drie belangrijke verbeteringen: de computer ervan weerhouden om onnodige wolken te maken, de wolken te verwijderen die niet helpen, en de berekeningen achter de schermen te versnellen. In plaats van blindelings meer wolken toe te voegen wanneer een beeld ook maar een beetje wazig lijkt, kijkt hun nieuwe methode naar de werkelijke fouten in het beeld over een bepaalde periode. Als een specifiek gebied in de afbeelding gedurende meerdere rondes goed is gereconstrueerd, weet het systeem dat het daar moet stoppen met het toevoegen van wolken. Het staat alleen toe dat er nieuwe wolken worden gevormd op de plekken die nog steeds moeite hebben om er goed uit te zien. Dit voorkomt dat het model verstopt raakt met redundante stukjes die niets anders doen dan de boel vertragen.

Zodra het model nieuwe wolken heeft toegevoegd, hebben de onderzoekers ook een manier geïntroduceerd om de rommel op te ruimen. Ze hebben een test ontwikkeld om wolken te identificeren die ofwel te zwak zijn om gezien te worden, ofwel te veel wiebelen om nuttig te zijn. Deze onstabiele of onzichtbare wolken worden gesnoeid, waardoor een slankere, effectievere set vormen overblijft. Om het hele proces nog sneller te maken, heeft het team de onderliggende computercode herschreven die het zware werk verricht. Door de gegevens op een manier te organiseren die de grafische processor van de computer soepeler kan lezen, hebben ze de tijd die nodig is om te berekenen hoe de afbeelding zou moeten veranderen, verminderd. Dit is vergelijkbaar met hoe een bibliothecaris boeken op een plank zou ordenen zodat een bezoeker de volgende kan pakken zonder de hele kamer door te hoeven lopen; de boeken zijn hetzelfde, maar de weg om ze te krijgen is veel korter.

De resultaten van dit werk zijn aanzienlijk. Bij tests op complexe datasets met scènes zoals een fiets in een tuin of een tank in een tempel, verminderde de nieuwe methode de totale trainingstijd met een grote marge vergeleken met eerdere technieken. In één specifieke test op een fiets-scène daalde de trainingstijd van meer dan 224 seconden naar slechts 190 seconden, terwijl het uiteindelijke aantal wolken dat werd gebruikt om de scène op te bouwen met bijna de helft werd teruggebracht, van meer dan 947.000 naar ongeveer 570.000. Ondanks het gebruik van minder wolken en het sneller voltooien, bleef de kwaliteit van de uiteindelijke beelden hoog; de visuele scherpte en kleur nauwkeurigheid bleven zeer dicht bij de originele, tragere methoden. De onderzoekers ontdekten dat door slimmer te zijn over wanneer ze details toevoegen en wanneer ze ze verwijderen, ze compacte, hoogwaardige 3D-modellen konden creëren zonder de visuele getrouwheid op te offeren die deze scènes zo boeiend maakt. Dit suggereert dat de toekomst van het creëren van digitale werelden niet alleen ligt in het toevoegen van meer data, maar in het beheren ervan met grotere precisie.