Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces

Technische Samenvatting: Naar Robuuste Monoculaire Diepte-inschatting bij Niet-Lambertiaanse Oppervlakken

Probleemstelling
Recente vooruitgang in Monoculaire Diepte-inschatting (MDE) heeft modellen voortgebracht met indrukwekkende zero-shot generalisatiecapaciteiten in algemene scènes. Echter, deze modellen falen frequent wanneer ze geconfronteerd worden met niet-lambertiaanse oppervlakken, specifiek transparante of spiegelende (ToM) regio's. De unieke reflecterende eigenschappen van deze oppervlakken veroorzaken dat standaardmodellen foutieve dieptestructuren voorspellen op basis van de gereflecteerde inhoud in plaats van het oppervlak zelf. Eerdere pogingen om dit aan te pakken, zoals Depth4ToM, vertrouwen op externe segmentatiemaskers om RGB-beelden in te vullen (in-painting) met willekeurige kleuren voordat ze door een vooraf getraind MDE-model worden verwerkt. Deze benaderingen lijden onder twee belangrijke beperkingen: ze zijn sterk afhankelijk van de nauwkeurigheid van aanvullende inputmaskers, en het gebruik van willekeurige kleuren tijdens het in-painting proces mist robuustheid, wat uitgebreide hyperparameterinstellingen vereist. Boveraan dit alles hebben lichtomstandigheden een significante impact op het herstel van diepte in niet-lambertiaanse oppervlakken; overmatige verlichting kan texturen overstemmen, terwijl onvoldoende verlichting ruis en vervorming introduceert, wat met name transparante objecten en spiegelreflecties beïnvloedt.

Methodologie
De auteurs stellen een trainingsframework voor dat is ontworpen om een basismodel (specifiek Depth Anything V2) stapsgewijs in staat te stellen om direct de unieke kenmerken van niet-lambertiaanse oppervlakken te leren, waardoor de noodzaak voor RGB in-painting wordt geëlimineerd. De methode bestaat uit drie kerncomponenten:

1. Random Tone-mapping Augmentation (RTA):
   Om de gevoeligheid van niet-lambertiaanse diepte-inschatting voor verlichting aan te pakken, passen de auteurs random tone-mapping toe tijdens de trainingsfase op de synthetische Hypersim dataset. Door de transformatie $I_{aug} = \alpha I_{ori}^{\gamma}$ toe te passen, waarbij $\gamma$ een standaard gamma-correctiefactor is en $\alpha$ een schaalfactor afgeleid van willekeurige percentiel intensiteitswaarden (tussen het 70ste en 99ste percentiel), wordt het model blootgesteld aan een divers bereik aan lichtomstandigheden. Dit heeft als doel de zero-shot generalisatiecapaciteit van het model onder variërende illuminatie te verbeteren.

2. Non-Lambertian Surface Regional Guidance (NSRG):
   In plaats van in-painting introduceren de auteurs een regionale sturingsmechanisme dat de voorspellingen van het MDE-model binnen het gradiëntdomein beperkt. Gebaseerd op de aanname dat de meeste ToM-objecten continue vlakken zijn, dwingt de methode consistentie af tussen de voorspelde dieptegradiënt en de grondwaarheid-gradiënt binnen de gemaskeerde niet-lambertiaanse regio's.
   De verliesfunctie, $\mathcal{L}_{ToM}$, maakt gebruik van een robuuste estimator om de gradiënten van de voorspelde diepte ($\nabla D$) en de grondwaarheid ($\nabla D^\star$) uit te lijnen. Het berekent schaal- ($s$) en verschuivingscoëfficiënten ($t$) om de gradiënten te normaliseren, waarbij uitschieters worden verwijderd door de bovenste 20% van de residuen weg te snijden. De uiteindelijke loss minimaliseert de $L_1$-afstand tussen de genormaliseerde gradiënten, wat ervoor zorgt dat het voorspelde dieptevlak glad en consistent blijft met de grondwaarheid in ToM-regio's.

3. Diverse Lighting Images Fusion (DLIF) (Optioneel):
   Voor scenario's waarin meerdere exposure-beelden van dezelfde scène beschikbaar zijn, stellen de auteurs een optionele fusiemodule voor. Deze module maakt gebruik van een vooraf getrainde Variational Autoencoder (VAE) van Stable Diffusion om meerdere beelden met verschillende belichting te coderen naar latente kenmerken. Door deze latente kenmerken te middelen en te decoderen, genereert het systeem één gefuseerd RGB-beeld dat theoretisch beschikt over de optimale lichtomstandigheden voor diepte-inschatting, waarbij gebruik wordt gemaakt van de semantische priors van de VAE.

Belangrijkste Bijdragen

• Random Tone-mapping Augmentation: Een data-augmentatiestrategie die de trainingsdataset verrijkt met variërende lichtomstandigheden, wat de robuustheid en de zero-shot generalisatie van het MDE-model naar diverse verlichtingsscenario's aanzienlijk verbetert.
• Non-Lambertian Surface Regional Guidance: Een nieuwe trainingsrestrictie die opereert in het gradiëntdomein. Het stuurt het netwerk direct aan om de correcte dieptevlakken voor niet-lambertiaanse oppervlakken te schatten met behulp van segmentatiemaskers, waardoor de instabiliteit van RGB in-painting methoden wordt vermeden.
• Optionele Image Fusion Module: Een mechanisme dat VAE's gebruikt om multi-exposure beelden te fuseren, wat een voordelige input biedt voor diepte-inschatting wanneer meerdere lichtcondities beschikbaar zijn.

Experimentele Resultaten
De methode werd geëvalueerd op de Booster dataset en de NYU Depth Dataset V2 (verfijnd door Mirror3D), evenals op de TRICKY2024 competitie testset.

• Kwantitatieve Prestaties: Vergeleken met de Depth Anything V2 baseline behaalde de voorgestelde methode nauwkeurigheidsverbeteringen van 33,39% op de Booster dataset en 5,21% op de Mirror3D dataset binnen ToM-regio's (gemeten via $\delta_{1.05}$).
• State-of-the-Art: Op de TRICKY2024 competitie testset behaalde de methode een $\delta_{1.05}$ score van 90,75 binnen ToM-regio's, wat een state-of-the-art prestatie aantoont.
• Ablatie-studies: Experimenten bevestigden dat zowel de random tone-mapping augmentatie als de non-lambertiaanse surface regional guidance onafhankelijk bijdragen aan de prestatiewinst, waarbij de combinatie de beste resultaten oplevert. De optionele image fusion module verbeterde de resultaten verder wanneer multi-exposure inputs werden gebruikt.

Betekenis en Beperkingen
De paper stelt dat de primaire betekenis ligt in de verschuiving van het paradigma van post-processing in-painting naar directe leerprocessen van niet-lambertiaanse kenmerken door middel van een goed ontworpen trainingsframework. Door de focus te leggen op gradiëntconsistentie en lichtbestendigheid, vereenvoudigt de methode de pipeline en verhoogt het de stabiliteit zonder afhankelijk te zijn van empirische aanpassingen voor willekeurige kleuren.

De auteurs erkennen beperkingen en merken op dat in gevallen van extreem overbelichte beelden waar texturen van niet-lambertiaanse oppervlakken (zoals glas) volledig verloren zijn gegaan, het netwerk nog steeds kan falen. Zij suggereren dat toekomstig werk beeldkwaliteitsoptimalisatie en semantische informatiefusie kan integreren om de kwalitatieve en kwantitatieve resultaten in dergelijke extreme omstandigheden verder te verbeteren.