PairDropGS: Paired Dropout-Induced Consistency Regularization for Sparse-View Gaussian Splatting

Technische Samenvatting: PairDropGS

Probleemstelling
Sparse-view 3D Gaussian Splatting (3DGS) staat voor aanzienlijke uitdagingen door ernstige overfitting en onvoldoende geometrische beperkingen veroorzaakt door beperkte inputobservaties. Hoewel recente op dropout gebaseerde regularisatiemethoden proberen overfitting te verminderen door willekeurig Gaussische primitieven tijdens het trainen te onderdrukken, vertonen ze kritieke beperkingen:

1. Instabiliteit: Verschillende gedropte subsets van Gaussische punten produceren vaak inconsistente structurele reacties, wat leidt tot instabiele reconstructie en fluctuerende weergavekwaliteit over trainingsrondes heen.
2. Overbeperking bij Ambiguïteit: Bestaande geavanceerde dropout-strategieën onderscheiden vaak niet tussen betrouwbare structurele aanwijzingen en ambiguë hoogfrequente details, waardoor ze onbedoeld de nodige flexibiliteit beperken of falen in het onderdrukken van stochastische inconsistenties in lokale texturen.
3. Rigide Planning: De meeste methoden hanteren vaste dropout-strategieën gedurende de hele training, wat kan leiden tot overbeperking in de vroege optimalisatiefase of onderbeperking van stochastische inconsistentie in latere stadia, resulterend in suboptimale convergentie.

Methodologie: PairDropGS
De auteurs stellen PairDropGS voor, een framework voor consistentieregularisatie geïnduceerd door gepaarde dropout. In plaats van steeds complexere dropout-strategieën te ontwerpen, richt PairDropGS zich op de consistentieregularisatie van het optimalisatieproces zelf. Het framework bestaat uit drie kerncomponenten:

1. Gepaarde Dropout-geïnduceerde Optimalisatie:
   In plaats van per iteratie één willekeurig gedropte subset te renderen, construeert PairDropGS een paar onafhankelijk gedropte subsets van Gaussische punten ($\xi_a, \xi_b$) uit hetzelfde gedeelde Gaussische veld onder dezelfde trainingsweergave. Beide subsets worden gesuperviseerd door hetzelfde ground-truth beeld. Deze formulering moedigt het gedeelde Gaussische veld aan om stabiele structurele reacties te leren die consistent blijven ondanks verschillende dropout-maskers.

2. Consistentieregularisatie op Laag Frequentie:
   Om overbeperking van ambiguë hoogfrequente details te vermijden terwijl structurele stabiliteit wordt gewaarborgd, past de methode een laagdoorlaatfilter (Gaussische vervaging) toe op de gerenderde beelden van beide takken. Vervolgens wordt een consistentieverlies berekend tussen deze laagfrequente representaties. Cruciaal wordt een asymmetrische formulering met een stop-gradient-operator gebruikt om de optimalisatie te stabiliseren. Dit mechanisme dwingt consistentie af in de scènelay-out en grove geometrie, terwijl flexibiliteit behouden blijft voor hoogfrequente variaties.

3. Progressieve Planning van Consistentie:
   Door te erkennen dat de impact van door dropout geïnduceerde inconsistentie varieert tijdens de training, hanteert PairDropGS een progressieve planningsstrategie. Het consistentiegewicht ($\lambda_t$) wordt lineair opgewarmd tijdens de vroege stadia van de training om voldoende flexibiliteit te bieden voor het vestigen van redelijke scènestructuren. Naarmate de training vordert, wordt de beperking geleidelijk versterkt om opgehoopte inconsistentie, overfitting en structurele drift te onderdrukken.

Belangrijkste Bijdragen

• Herontwerp van het Framework: Het paper evalueert dropout-gebaseerde sparse-view 3DGS opnieuw vanuit het perspectief van consistentieregularisatie, en stelt een eenvoudig maar effectief framework voor dat stabiliteit en robuustheid verbetert zonder te vertrouwen op externe priors of complexe dropout-strategieën.
• Mechanisme op Laag Frequentie: Een nieuw regularisatiemechanisme dat betrouwbare structurele reacties expliciet aligneert in de laagfrequente deelruimte, waardoor een evenwicht wordt gevonden tussen scènestabiliteit en het behoud van hoogfrequente details.
• Adaptieve Planning: Een progressieve planningsstrategie voor consistentie die subset-consistentiebeperkingen adaptief versterkt om robuustheid te optimaliseren gedurende de volledige levenscyclus van de training.
• Plug-and-Play Aard: De methode is ontworpen om eenvoudig te integreren in bestaande dropout-gebaseerde 3DGS-pipelines zonder dat er architecturale wijzigingen nodig zijn.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op drie veelgebruikte benchmarks voor sparse-view: LLFF, MipNeRF-360 en Blender.

• Kwantitatieve Prestaties: PairDropGS presteert consequent beter dan bestaande dropout-gebaseerde methoden (zoals DropoutGS, DropGaussian, DropAnSH-GS) en andere state-of-the-art benaderingen voor sparse-view. Op de LLFF 3-view dataset behaalde het een PSNR van 20,89 dB, wat 0,21 dB boven de vorige beste 3DGS-gebaseerde methode ligt.
• Trainingsstabiliteit: Stabiliteitsanalyse over 10 willekeurige zaden toont aan dat PairDropGS prestatiefluctuaties aanzienlijk reduceert. Bijvoorbeeld, op de LLFF dataset werd de standaardafwijking van de PSNR verlaagd van 0,1724 (DropGaussian) naar 0,0726, wat wijst op een veel robuuster optimalisatieproces.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen tonen aan dat PairDropGS schonere geometrie, scherpere grenzen en minder artefacten (zoals vage grenzen of lokale inconsistenties) produceert in vergelijking met baselines.
• Compatibiliteit: De methode is succesvol geïntegreerd in andere 3DGS-varianten (FSGS, CoR-GS, DropGaussian), waarbij consequent de reconstructiekwaliteit werd verbeterd met minimale rekenkundige overhead.
• Ablatiestudies: Experimenten bevestigden dat zowel het consistentieverlies op laag frequentie als de progressieve planningsstrategie essentieel zijn voor prestatiewinst, en dat een ontwerp met twee takken de optimale afweging biedt tussen reconstructiekwaliteit en rekenkosten.

Betekenis
Het paper stelt dat PairDropGS een nieuw perspectief biedt voor het analyseren en verbeteren van dropout-gebaseerde Gaussische optimalisatie voor sparse-view. Door de focus te verschuiven van het ontwerpen van complexe dropout-beleid naar het stabiliseren van het stochastische gedrag van de optimalisatie zelf, bereikt de methode superieure trainingsstabiliteit en reconstructiekwaliteit. De auteurs positioneren PairDropGS als een sterke, uitbreidbare en generaliseerbare baseline voor toekomstig onderzoek in sparse-view Gaussian splatting, met nadruk op de eenvoud en plug-and-play-mogelijkheden voor het verbeteren van bestaande dropout-gebaseerde methoden.