Technische Samenvatting: HarmoGS: Robuuste 3D Gaussian Splatting in het Wild via Conflictbewuste Gradiëntharmonisatie

1. Probleemstelling

Het reconstrueren van betrouwbare 3D-representaties uit onbeperkte "in het wild"-beeldcollecties blijft een aanzienlijke uitdaging in de computervisie. Hoewel recente doorbraken zoals 3D Gaussian Splatting (3DGS) real-time, hoogwaardige rendering hebben bereikt, gaan zij doorgaans uit van consistente verlichting en stabiele inhoud van de scène. In realistische scenario's worden trainingsafbeeldingen vaak aangetast door transiënte afleidingsfactoren (bijvoorbeeld bewegende voetgangers, voertuigen) en verlichtingsgeïnduceerde verschijningsinconsistenties tussen verschillende weergaven.

Bestaande methoden vertrouwen voornamelijk op maskering op afbeeldingsniveau om onbetrouwbare supervisie te onderdrukken. De auteurs identificeren echter twee kritieke beperkingen in deze aanpak:

1. Residuale Occlusies: Maskers slagen er vaak niet in om complexe of semantisch dubbelzinnige transiënte objecten volledig uit te sluiten, waardoor residu-ruis achterblijft.
2. Verlichtingsconflicten: Maskers kunnen view-afhankelijke verlichtingsinconsistenties niet oplossen.

Deze onopgeloste kwesties leiden tot cross-view gradiëntconflicten. Bij het optimaliseren van een gedeelde Gaussische representatie met inconsistent weergaven, kunnen de gegenereerde gradiënten in tegengestelde richtingen wijzen (het vormen van stompe hoeken). Dit destabiliseert het optimalisatieproces, wat zichtbare reconstructie-artefacten en zwevende primitieven veroorzaakt.

2. Methodologie

De auteurs stellen HarmoGS voor, een conflictbewust 3DGS-framework dat deze kwesties aanpakt via een trainingsstrategie met twee weergaven en drie kerncomponenten:

A. Semantische Consistentie-Gestuurde Maskering

Om de betrouwbaarheid van supervisie te verbeteren voordat gradiënten worden gevormd, introduceert de methode een adaptieve maskeringstrategie die eerdere maskers verfijnt:

• Eerder Masker: Een binair masker ($M_{bin}$) wordt gegenereerd met behulp van een vooraf getraind SAM (Segment Anything Model) om potentiële transiënte gebieden te identificeren.
• Gestudeerde Consistentiescore: Een lichtgewicht predictor ($f_\psi$), geleid door een bevroren DINOv2-ruggengraat, leert tijdens het training een pixel-voor-pixel consistentiescore ($S_i$). Deze score is afgeleid van zowel fotometrische residuen als semantische discrepanties tussen gerenderde en ground-truth afbeeldingen.
• Adaptieve Verfijning: Het definitieve masker ($M_i$) combineert het binaire voorspel en de gestudeerde consistentiescore. Het onderdrukt adaptief onbetrouwbare gebieden (transiënte afleidingsfactoren) en corrigeert tegelijkertijd fouten in het initiële binaire masker, zodat alleen betrouwbare beeldinformatie bijdraagt aan de verliesberekening.

B. Conflictbewuste Gradiëntharmonisatie

Omdat maskering alleen niet alle optimalisatieconflicten kan elimineren, hanteert het framework een trainingsbenadering met twee weergaven. Bij elke iteratie worden twee weergaven bemonsterd en worden hun specifieke gradiënten ($g_1, g_2$) berekend.

• Conflictdetectie: Een conflict wordt geïdentificeerd wanneer het inproduct van de twee gradiënten negatief is ($g_1^\top g_2 < 0$), wat een stompe hoek aangeeft ($\theta > \pi/2$).
• Orthogonale Rotatie: Om het conflict op te lossen, roteert de methode beide gradiënten binnen de deelruimte die door hen wordt opgespannen ($V = \text{span}(g_1, g_2)$) totdat ze orthogonaal worden ($\tilde{g}_1^\top \tilde{g}_2 = 0$).
  • De totale hoekcorrectie ($\theta - \pi/2$) wordt verdeeld over de twee gradiënten met behulp van een toewijzingsparameter $\rho$.
  • De rotatie behoudt de oorspronkelijke grootten van de gradiënten terwijl negatieve directionele interferentie wordt geëlimineerd.
• Lineaire Combinatie: De geharmoniseerde gradiënten worden opgeteld en uitgedrukt als een lineaire combinatie van de oorspronkelijke gradiënten ($\tilde{g} = \tau_1 g_1 + \tau_2 g_2$) met behulp van analytisch afgeleide coëfficiënten.
• Geometrische Attenuatie: Voor geometrische attributen (positie, rotatie, schaal) wordt een extra attenuatiefactor toegepast als conflicten worden gedetecteerd om artefacten verder te onderdrukken.

C. Conflictbewuste Verdichting en Pruning

Het framework breidt standaard 3DGS structurele updates uit om bewust te zijn van cross-view conflicten:

• Verdichting: In plaats van te vertrouwen op statistieken van één weergave, aggregeert de methode gradiënten in de weergaveruimte van beide bemonsterde weergaven, gemoduleerd door de conflictbewuste coëfficiënten die zijn afgeleid in de harmonisatiestap. Dit stuurt de groei van Gaussians aan de hand van betrouwbaardere, conflicten-gecompenseerde signalen.
• Pruning: De methode houdt per-Gaussian cross-view conflicten bij in de tijd. Als een Gaussian consequent hoge conflictscores vertoont (wat wijst op aanhoudende instabiliteit of zwevende artefacten), wordt de dekking periodiek afgebouwd. Dit zorgt ervoor dat het standaard pruning-proces deze onstabiele primitieven op natuurlijke wijze verwijdert.

3. Belangrijkste Bijdragen

1. Conflictbewust Gradiëntharmonisatie Framework: Een nieuwe trainingsstrategie met twee weergaven die cross-view gradiëntconflicten expliciet oplost door ze te roteren naar een orthogonale configuratie. Dit vermindert incompatibele updates veroorzaakt door transiënte afleidingsfactoren en verlichtingsinconsistenties.
2. Semantische Consistentie-Gestuurde Maskering: Een adaptief maskeringmechanisme dat pixel-voor-pixel consistentiescores leert om eerdere binaire maskers te verfijnen, waardoor onbetrouwbare supervisie effectief wordt onderdrukt voordat gradiënten worden gevormd.
3. Conflictbewuste Structurele Updates: De introductie van verdichtings- en pruningstrategieën die conflictbewuste signalen gebruiken om de groei van Gaussians te stabiliseren en aanhoudend conflicterende primitieven te verwijderen.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat de methode superieure renderingkwaliteit en reconstructiefideliteit bereikt op standaard "in het wild"-benchmarks in vergelijking met bestaande NeRF- en 3DGS-baselines.

4. Experimentele Resultaten

De auteurs hebben HarmoGS geëvalueerd op drie veelgebruikte "in het wild"-benchmarks: PhotoTourism, NeRF On-the-go en RobustNeRF.

• Kwantitatieve Prestaties: De methode presteerde consequent beter dan state-of-the-art baselines (waaronder RobustNeRF, WildGaussian, SpotLessSplats en AsymGS) op alle metrieken (PSNR, SSIM, LPIPS). Bijvoorbeeld, op de NeRF On-the-go dataset behaalde HarmoGS een PSNR van 24,67 in scènes met hoge occlusie, wat een aanzienlijke marge boven de vorige beste (AsymGS) ligt.
• Kwalitatieve Resultaten: Visuele vergelijkingen toonden aan dat HarmoGS zwevende artefacten effectief onderdrukte en schonere renderings produceerde met meer getrouwe details van de scène, met name in scènes met complexe transiënte occlusies en verlichtingsvariaties.
• Ablatiestudies:
  • Het verwijderen van de instelling met twee weergaven of het gradiëntharmonisatie-component leidde tot een merkbare daling in PSNR en SSIM, wat de noodzaak van conflictoplossing bevestigt.
  • De combinatie van de gestudeerde consistentiescore ($S_i$) en het binaire voorspelmasker ($M_{bin}$) leverde betere resultaten op dan het gebruik van één van beide componenten alleen, wat hun complementaire aard aantoont.
  • Conflictbewuste verdichting en pruning resulteerden in een compacter Gaussische representatie (minder punten) terwijl de kwaliteit hoger bleef, wat wijst op het verwijderen van onstabiele primitieven.

5. Betekenis en Claims

Het paper claimt dat HarmoGS een robuuste oplossing biedt voor 3D-reconstructie in onbeperkte omgevingen door de oorzaak van optimalisatie-instabiliteit aan te pakken: cross-view gradiëntconflicten.

• Voorbij Maskering: Het werk benadrukt dat maskering op afbeeldingsniveau onvoldoende is voor 3DGS in het wild. Door te opereren op gradiëntniveau, lost de methode conflicten op die zelfs na maskering blijven bestaan, wat leidt tot een stabielere optimalisatie.
• Optimalisatie met Twee Weergaven: De auteurs stellen dat het gezamenlijk beschouwen van twee weergaven expliciete detectie en oplossing van conflicten mogelijk maakt, een vermogen dat ontbreekt in standaard optimalisatiepijplijnen met één weergave.
• Generaliseerbaarheid: De methode wordt gepresenteerd als een algemeen framework dat compatibel is met bestaande 3DGS-implementaties (opgebouwd rondom Mip-Splatting) en die de robuustheid tegen transiënte afleidingsfactoren en verlichtingsveranderingen aanzienlijk verbetert zonder complexe, scène-specifieke heuristieken te vereisen.

De auteurs concluderen dat hun aanpak hoogwaardige synthesen van nieuwe weergaven mogelijk maakt in uitdagende realistische scenario's, waardoor de toepasbaarheid van 3D Gaussian Splatting op onbeperkte beeldcollecties wordt bevorderd.