CLONE: A 3DGS-Based Closed-Loop Differentiable Optimization Framework for Single-Image Normal Estimation

Technische Samenvatting: CLONE – Een op 3DGS gebaseerd raamwerk voor gesloten lus differentiële optimalisatie

Probleemstelling
De schatting van oppervlaktenormalen vanuit een enkele afbeelding is een inherent slecht gestelbaar geometrisch probleem, aangezien het afleiden van 3D-structuur uit één enkele 2D-observatie meerdere plausibele oplossingen toelaat. Bestaande benaderingen lijden onder fundamentele beperkingen:

• Discriminatieve methoden leunen zwaar op dure, dichte grondwaarheid-labels voor normalen en missen intrinsieke geometrische modellering, wat leidt tot een slechte generalisatie bij distributieverschuivingen.
• Generatieve methoden (bijv. diffusiemodellen) maken gebruik van sterke distributie-prioris, maar missen vaak expliciete geometrische variabelen en stabiele, differentiële paden om fouten in de beeldruimte terug te propageren naar de 3D-geometrie.
• Expliciete geometrische methoden (bijv. varianten van 3D Gaussian Splatting) bieden differentiële rendering, maar falen vaak in het formuleren van normale schatting als een gesloten lus optimalisatieprobleem in single-view settings, omdat ze onvoldoende beperkingen hebben om geometrie uniek te bepalen zonder multi-view supervisie.

De kernuitdaging is de afwezigheid van een verenigd, differentiëel optimalisatiemechanisme dat gelijktijdig oplossingsambiguïteitsbeperkingen en geometrische consistentie afdwingt zonder grondwaarheid-normale labels te vereisen.

Methodologie
De auteurs stellen CLONE voor (Closed-Loop differentiable Optimization framework for single-image Normal Estimation), dat normale schatting herformuleert van een directe regressietaak naar een geometrisch optimalisatieprobleem gedreven door reprojectieconsistentie. Het raamwerk werkt zonder pixel-niveau normale supervisie en maakt uitsluitend gebruik van beeld-3D modelparen.

1. 3DGS-gebaseerde expliciete representatie & analytische normalen:
   De scène wordt geparametriseerd met behulp van 3D Gaussian Splatting (3DGS). In tegenstelling tot standaard 3DGS die wordt gebruikt voor kleurreconstructie, leidt CLONE oppervlaktenormalen expliciet analytisch af via de eigenwaarde-ontbinding van de 3D Gaussian covariantie-matrix ($\Sigma = U\Lambda U^\top$). De eigenvector die overeenkomt met de kleinste eigenwaarde definieert de lokale oppervlaktenormaal. Dit biedt een continue, differentiële route van 3D geometrische parameters naar oppervlakteoriëntie.

2. Differentiële illuminatie & reprojectie:
   Om de brug te slaan tussen 3D-geometrie en 2D-observaties zonder normale labels, introduceren de auteurs een differentiële illuminatiemodel. Ze formuleren een continue mapping tussen oppervlaktenormalen en beeldradiantie met behulp van een leerbaar lichtmodulatiekern (een oscillerende kern met een Gaussische envelop). Dit stelt het model in staat om te simuleren hoe lokale geometrische variaties de pixelintensiteit beïnvloeden. Een reprojectiefout ($L_{photo}$) wordt berekend tussen het gerenderde beeld (gegenereerd door het mengen van Gaussian bijdragen) en de invoerafbeelding, waardoor gradiënten direct van beeldruimte-fouten terug kunnen stromen naar de 3D geometrische parameters.

3. Conditionele Diffusie-geïnspireerde Verfijning:
   Om de overmatige smoothing aan te pakken die inherent is aan Gaussian primitieven, wordt een één-stap deterministische diffusie-geïnspireerde netwerk ingezet. In plaats van een multi-stap generatief proces dat gradiënten afkapt, fungeert deze module als een ruis-geconditioneerde residuele verfijningsoperator. Het neemt de initiële 3DGS normalen, injecteert ruis bij een vaste stap, en gebruikt een U-Net om een verfijnde normaal kaart te voorspellen. Dit behoudt de structurele inductieve bias van diffusiemodellen terwijl de end-to-end differentiabiliteit behouden blijft.

4. Cross-Domain Gating Fusion:
   Een gating-mechanisme coördineert de globale geometrische consistentie van de 3DGS-tak en de hoogfrequente detailherstel van de diffusie-tak.

• Feature Level: Geometrische features (van 3DGS) en textuur features (van de diffusie encoder) worden uitgelijnd en gefuseerd via een adaptief attention-gestuurd gating mechanisme.
• Output Level: Een ruimtelijk adaptieve gating gewicht ($g$) fuseert de initiële geometrische normaal ($n_{3dgs}$) en de verfijnde normaal ($n_{diff}$). De uiteindelijke gefuseerde normaal is $n_{fuse} = \text{stopgrad}(g) \odot n_{3dgs} + (1 - \text{stopgrad}(g)) \odot n_{diff}$. Dit zorgt ervoor dat de fotometrische loss beide takken superviseert zonder gradiëntconflicten te veroorzaken.

5. Verenigd Optimalisatie-objectief:
   Het systeem wordt end-to-end geoptimaliseerd met behulp van een samengestelde loss functie:

• Fotometrische Loss ($L_{photo}$): Zorgt voor beeldreconstructieconsistentie.
• Schaal Regularisatie ($L_{scale}$): Beperkt Gaussian eigenwaarden om degeneratieve vormen te voorkomen.
• Normaal Consistentie ($L_{normal}$): Moedigt de verfijnde normaal aan om dicht bij de geometrische normaal te blijven in regio's waar het gating gewicht de voorkeur geeft aan de geometrische prior.
• Directionele Regularisatie ($L_{dir}$): Lijnt leerbare hoofdrichtingen uit met de geometrische normalen.

Belangrijkste Bijdragen

• Paradigmaverschuiving: Het artikel herformuleert single-image normale schatting als een gesloten lus differentiële optimalisatieprobleem, waardoor de noodzaak voor dure grondwaarheid-normale labels wordt geëlimineerd door reprojectiefouten als het primaire supervisiesignaal te gebruiken.
• Analytische Normaal Modellering: Het stelt een methode voor om normalen analytisch af te leiden uit de 3D Gaussian covariantie, waarbij geoptimaliseerd wordt in een continue geometrische ruimte in plaats van enkel te vertrouwen op 2D feature regressie.
• Differentiële Verfijning: Een één-stap deterministische diffusie-geïnspireerde netwerk is ontworpen om hoogfrequente details te verbeteren zonder de gradiëntafkapproblemen die geassocieerd worden met multi-stap diffusie sampling.
• Verenigd Pipeline: De integratie van 3DGS parametrisatie, differentiële rendering en conditionele diffusie verfijning creëert een stabiele gradiëntstroom, wat de slecht gestelde aard van het probleem effectief verlicht.

Experimentele Resultaten
De methode werd geëvalueerd op drie benchmarks: Google Scanned Objects (GSO), Omniobject3D en Wonder3D, waarbij uitsluitend RGB-3D modelparen werden gebruikt voor training (geen normale labels).

• Kwantitatieve Prestaties: CLONE bereikt state-of-the-art prestaties en presteert beter dan zowel gesuperviseerde discriminatieve methoden als generatieve 3D reconstructie baselines. Het bereikt een Mean Angle Error (MAE) van 13.2°, waarmee het de op één na beste methode (Wonder3D++) met 0.3° verslaat. Het voert ook de lijst aan in Median Angle Error (MedAE) en nauwkeurigheid bij strikte drempelwaarden (bijv. 63.2% nauwkeurigheid bij <11.25°).
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat CLONE effectief fijne geometrische details herstelt (bijv. toetsen van een keyboard, nerven van een blad, verenpatronen) en consistente normalen behoudt op dunne structuren en complexe verbindingen, waar baselines last hebben van overmatige smoothing, artefacten of gebroken silhouetten.
• Robuustheid: De methode vertoont superieure robuustheid tegen invoerruis, lichtvariaties en viewpoint veranderingen vergeleken met baselines, toe te schrijven aan de expliciete 3D geometrische beperkingen.
• Ablatie Studies: Het verwijderen van een kerncomponent (3DGS initialisatie, cross-domain alignment, gating fusion, of diffusie verfijning) leidt tot significante prestatieverslechtering, wat de noodzaak van het closed-loop ontwerp bevestigt.

Betekenis en Claims
De auteurs beweren dat CLONE een nieuw paradigma biedt voor single-image normale schatting dat onafhankelijk is van dure normale annotaties. Door gebruik te maken van grootschalige beeld-3D modelparen en een gesloten lus differentiële optimalisatie raamwerk, transformeert de methode het probleem van een data-hongerige mapping taak naar een geometrie-gecentreerde optimalisatie taak. Het artikel stelt dat deze aanpak de slecht gestelde aard van het probleem succesvol aanpakt door beeld-niveau fouten direct om te zetten in optimalisatiesignalen voor 3D geometrie, waarbij prestaties worden behaald die vergelijkbaar zijn met of zelfs de volledig gesuperviseerde baselines overtreffen zonder enige normale labels te vereisen. Dit valideert het potentieel van expliciete 3D representatie gecombineerd met differentiële rendering voor annotatie-efficiënte 3D geometrie leerprocessen.