3DGS$^2$-TR: Scalable Second-Order Trust-Region Method for 3D Gaussian Splatting

Technische Samenvatting: 3DGS2-TR

Probleemstelling
Hoewel 3D Gaussian Splatting (3DGS) zichzelf heeft gevestigd als de state-of-the-art voor real-time novel view synthesis, blijft het trainingsproces een aanzienlijke bottleneck. Standaard 3DGS vertrouwt op de eerste-orde ADAM-optimizer, die vaak kampt met trage convergentie in de sterk niet-convexe en slecht geconditioneerde parameterruimtes die kenmerkend zijn voor 3DGS. Het optimalisatielandschap is bijzonder uitdagend vanwege de sterke koppeling tussen geometrie (positie, rotatie, schaal) en verschijningsvorm (opaciteit, kleur), evenals de niet-lineariteit en stuksgewijze continuïteit van het rasterisatieproces (veroorzaakt door dieptegebaseerde sortering).

Bestaande tweede-orde benaderingen (bijv. 3DGS-LM, 3DGS2) beogen de convergentie te versnellen door gebruik te maken van krommingsinformatie, maar kampen met kritieke schaalbaarheidsproblemen. Ze vertrouwen doorgaans op expliciete of dichte krommingsrepresentaties, wat leidt tot een hoge geheugenoverhead ($O(n^2)$ of erger) en dure kosten per iteratie. Dit maakt ze ongeschikt voor grootschalige scènes of gedistribueerde trainingsinstellingen. Bovendien schenden de discontinuïteiten in de 3DGS-lossfunctie de gladheidseisen die vereist zijn door klassieke tweede-orde methoden, wat vaak resulteert in instabiliteit.

Methodologie: 3DGS2-TR
De auteurs stellen 3DGS2-TR voor, een schaalbare tweede-orde trust-region optimizer die is ontworpen om de training van 3DGS te versnellen terwijl de computationele en geheugenefficiëntie van eerste-orde methoden behouden blijft. De methode is gebouwd op drie kernprincipes: goedkope per-iteratie berekening, parameter-lineaire geheugenschaalbaarheid en trust-region beperkingen.

1. Diagonale Hessian-benadering (Matrix-vrij):
   In plaats van volledige Hessian-matrices te berekenen, benadert 3DGS2-TR de kromming door alleen de diagonaal van de Gauss-Newton-matrix ($J^T J$) te gebruiken. Deze wordt efficiënt geschat via de Hutchinson-methode, die random Rademacher-vectoren gebruikt om Hessian-vectorproducten te berekenen. Deze aanpak zorgt ervoor dat zowel de computationele als de geheugencomplexiteit $O(n)$ blijven, wat overeenkomt met de complexiteit van ADAM. Om de krommingsschattingen te stabiliseren, hanteert de methode een Exponential Moving Average (EMA) van de diagonale schattingen, die periodiek (bijv. elke 10 iteraties) wordt bijgewerkt in plaats van bij elke stap.

2. Parameter-specifieke Trust-Region via Gekwadrateerde Hellinger-afstand:
   Om de sterke niet-lineariteit en discontinuïteiten die inherent zijn aan 3DGS-rasterisatie aan te pakken, introduceren de auteurs een parameter-specifieke trust-region techniek. In tegenstelling tot globale of groep-niveau beperkingen, begrenst deze methode de update-stap voor elke individuele Gaussian-parameter.

   • Metriek: De beperking is gebaseerd op de gekwadrateerde Hellinger-afstand tussen de Gaussian-distributie vóór en na een update. Deze metriek is gekozen omdat het een gesloten vormoplossing biedt voor niet-genormaliseerde Gaussians en intuïtief het verschil in de gerenderde verschijningsvorm meet.
   • Normalisatie: Om rekening te houden met het feit dat de schijnbare massa van een Gaussian willekeurig kan veranderen met de kijkafstand, wordt de Hellinger-afstand genormaliseerd door de determinant van de schaalmatrix ($\det(S)^{-1}$).
   • Mechanisme: Voor elke parameter wordt een trust-region radius $\eta$ berekend zodat de genormaliseerde gekwadrateerde Hellinger-afstand onder een drempelwaarde $\epsilon$ blijft. De voorgestelde update-stap wordt vervolgens afgeklemd naar deze radius ($\Delta x \cdot \text{clip}(-\eta, +\eta)$), wat ervoor zorgt dat updates geen abrupte, ongeldige veranderingen veroorzaken aan de geometrie of opaciteit van de Gaussian.

3. Optimalisatie-pipeline:
   Het algoritme volgt een stochastische Gauss-Newton formulering. Het berekent een stochastische gradiënt en een diagonale Hessian-schatting (via de Hutchinson-methode), berekent een tweede-orde update-stap ($\Delta x = -\hat{D}^{-1} \hat{g}$), past de parameter-specifieke trust-region afklemming toe en werkt de parameters bij. De methode vereist slechts een bescheiden overhead (ongeveer 10% meer dan ADAM) vanwege de periodieke sampling voor de Hessian-schatting.

Belangrijkste Bijdragen

• Schaalbare Tweede-orde Optimalisatie: Het artikel presenteert de eerste tweede-orde optimizer voor 3DGS die $O(n)$ complexiteit bereikt in zowel berekening als geheugen, waardoor het schaalbaar is naar zeer grote scènes en potentieel gedistribueerde trainingsinstellingen.
• Diagonale Hessian-schatting: Door het lichtgewicht framework van Sophia (Liu et al., 2023) aan te passen aan 3DGS, maakt de methode gebruik van diagonale Hessian-schattingen om rekening te houden met de kromming van het verliesoppervlak zonder de verbijsterende kosten van volledige matrixoperaties.
• Hellinger-afstand Trust-Region: De auteurs stellen een nieuwe, parameter-specifieke trust-region beperking voor op basis van de gekwadrateerde Hellinger-afstand. Dit biedt een principiële manier om de geometrische veranderingen van Gaussian-primitives te begrenzen, wat de instabiliteit veroorzaakt door de niet-gladde aard van 3DGS-rasterisatie aanpakt.

Resultaten
Onder identieke parameter-initialisatie en zonder gebruik van densificatiestrategieën, vertoont 3DGS2-TR een superieur prestatieverloop vergeleken met de standaard ADAM-optimizer:

• Convergentiesnelheid: Het bereikt een betere reconstructiekwaliteit op standaard datasets met 50% minder trainingsiteraties dan ADAM.
• Geheugenefficiëntie: De methode veroorzaakt minder dan 1GB aan piek GPU-geheugenoverhead (ongeveer 17% meer dan ADAM). In contrast hiermee veroorzaken bestaande tweede-orde methoden zoals 3DGS-LM ongeveer 85% meer geheugenoverhead, wat het schaalbaarheidsvoordeel van 3DGS2-TR benadrukt.

Significantie
Het artikel beweert dat 3DGS2-TR de kloof overbrugt tussen de convergentievoordelen van tweede-orde methoden en de schaalbaarheidsvereisten van grootschalige 3D-contentcreatie. Door het vermijden van dichte krommingsrepresentaties en het introduceren van een stabiliteitsmechanisme dat is afgestemd op de specifieke discontinuïteiten van Gaussian splatting, maakt de methode snellere training mogelijk zonder de reconstructiekwaliteit of geheugenefficiëntie op te offeren. Deze vooruitgang pakt een primaire bottleneck in de 3DGS-pipeline aan, wat potentieel bredere adoptie faciliteert in toepassingen die snelle scène-reconstructie vereisen, zoals virtuele realiteit, augmented reality en robotica.