Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces

Sintesi Tecnica: Verso una Stima della Profondità Monoculare Robusta su Superfici Non Lambertiane

Definizione del Problema
Gli sviluppi recenti nella Stima della Profondità Monoculare (MDE) hanno prodotto modelli con impressionanti capacità di generalizzazione zero-shot in scene generiche. Tuttavia, questi modelli falliscono frequentemente quando incontrano superfici non Lambertiane, specificamente regioni trasparenti o specchiate (ToM). Le uniche proprietà riflettenti di queste superfici causano ai modelli standard di predire strutture di profondità errate basate sul contenuto riflesso piuttosto che sulla superficie stessa. I tentativi precedenti per affrontare questo problema, come Depth4ToM, si affidano a maschere di segmentazione esterne per effettuare l'in-painting di immagini RGB con colori casuali prima di processarle attraverso un modello MDE pre-addestrato. Tali approcci soffrono di due limitazioni principali: sono altamente dipendenti dall'accuratezza delle maschere di input aggiuntive, e l'uso di colori casuali durante l'in-painting manca di robustezza, richiedendo un esteso tuning degli iperparametri. Inoltre, le condizioni di illuminazione influenzano significativamente il recupero della profondità nelle superfici non Lambertiane; un'illuminazione eccessiva può sopraffare le texture, mentre un'illuminazione insufficiente introduce rumore e distorsione, influenzando in particolare gli oggetti trasparenti e i riflessi speculari.

Metodologia
Gli autori propongono un framework di addestramento progettato per abilitare incrementalmente un modello di base (specificamente Depth Anything V2) a apprendere direttamente le caratteristiche uniche delle superfici non Lambertiane, eliminando la necessità di in-painting RGB. Il metodo consiste in tre componenti fondamentali:

1. Random Tone-mapping Augmentation (RTA):
   Per affrontare la sensibilità della stima della profondità non Lambertiana all'illuminazione, gli autori impiegano un tone-mapping casuale durante la fase di addestramento sul dataset sintetico Hypersim. Applicando la trasformazione $I_{aug} = \alpha I_{ori}^{\gamma}$, dove $\gamma$ è un fattore di correzione gamma standard e $\alpha$ è un fattore di scala derivato da valori di intensità percentili casuali (tra il 70° e il 99° percentile), il modello viene esposto a una gamma diversificata di condizioni di illuminazione. Ciò mira a potenziare la capacità di generalizzazione zero-shot del modello sotto diverse illuminazioni.

2. Non-Lambertian Surface Regional Guidance (NSRG):
   Inveve dell'in-painting, gli autori introducono un meccanismo di guida regionale che vincola le predizioni del modello MDE all'interno del dominio del gradiente. Basandosi sul presupposto che la maggior parte degli oggetti ToM siano piani continui, il metodo impone la coerenza tra il gradiente di profondità predetto e il gradiente della verità fondamentale (ground truth) all'interno delle regioni non Lambertiane mascherate.
   La funzione di perdita, $\mathcal{L}_{ToM}$, utilizza uno stimatore robusto per allineare i gradienti della profondità predetta ($\nabla D$) e della verità fondamentale ($\nabla D^\star$). Calcola i coefficienti di scala ($s$) e di shift ($t$) per normalizzare i gradienti, rimuovendo gli outlier tramite il trimming del top 20% dei residui. La perdita finale minimizza la distanza $L_1$ tra i gradienti normalizzati, garantendo che il piano di profondità predetto rimanga liscio e coerente con la verità fondamentale nelle regioni ToM.

3. Diverse Lighting Images Fusion (DLIF) (Opzionale):
   Per scenari in cui sono disponibili immagini a esposizione multipla della stessa scena, gli autori propongono un modulo di fusione opzionale. Questo modulo utilizza un Variational Autoencoder (VAE) pre-addestrato da Stable Diffusion per codificare più immagini con diverse condizioni di illuminazione in feature latenti. Mediante la media di queste feature latenti e la successiva decodifica, il sistema genera un'unica immagine RGB che possiede teoricamente le condizioni di illuminazione ottimali per la stima della profondità, sfruttando i priori semantici del VAE.

Contributi Chiave

• Random Tone-mapping Augmentation: Una strategia di data augmentation che arricchisce il dataset di addestramento con varie condizioni di illuminazione, migliorando significativamente la robustezza e la generalizzazione zero-shot del modello MDE in diversi scenari di illuminazione.
• Non-Lambertian Surface Regional Guidance: Un vincolo di addestramento innovativo che opera nel dominio del gradiente. Esso guida direttamente la rete a stimare i corretti piani di profondità per le superfici non Lambertiane utilizzando maschere di segmentazione, evitando l'instabilità dei metodi di in-painting RGB.
• Modulo di Fusione Immagini Opzionale: Un meccanismo che utilizza i VAE per fondere immagini a esposizione multipla, fornendo un input vantaggioso per la stima della profondità quando sono disponibili diverse condizioni di illuminazione.

Risultati Sperimentali
Il metodo è stato valutato sul dataset Booster e sul NYU Depth Dataset V2 (raffinato da Mirror3D), nonché sul set di test della competizione TRICKY2024.

• Performance Quantitative: Rispetto al baseline Depth Anything V2, il metodo proposto ha ottenuto miglioramenti di accuratezza del 33,39% sul dataset Booster e del 5,21% sul dataset Mirror3D all'interno delle regioni ToM (misurato tramite $\delta_{1.05}$).
• Stato dell'Arte: Sul set di test della competizione TRICKY2024, il metodo ha raggiunto un punteggio $\delta_{1.05}$ di 90,75 nelle regioni ToM, dimostrando prestazioni allo stato dell'arte.
• Studi di Ablazione: Gli esperimenti hanno confermato che sia la Random Tone-mapping Augmentation che la Non-Lambertian Surface Regional Guidance contribuiscono indipendentemente ai guadagni di performance, con la combinazione delle due che produce i risultati migliori. Il modulo opzionale di fusione delle immagini ha ulteriormente migliorato i risultati quando sono stati utilizzati input a esposizione multipla.

Significatività e Limitazioni
Il paper sostiene che la sua principale significatività risieda nello spostamento del paradigma dall'in-painting di post-processing all'apprendimento diretto delle caratteristiche non Lambertiane attraverso un framework di addestramento ben progettato. Concentrandosi sulla coerenza del gradiente e sulla robustezza dell'illuminazione, il metodo semplifica la pipeline e aumenta la stabilità senza dipendere da regolazioni empiriche per i colori casuali.

Gli autori riconoscono le limitazioni, notando che nei casi di immagini estremamente sovraesposte in cui le texture delle superfici non Lambertiane (come il vetro) sono completamente perse, la rete può comunque fallire. Suggeriscono che il lavoro futuro potrebbe integrare l'ottimizzazione della qualità dell'immagine e la fusione delle informazioni semantiche per migliorare ulteriormente i risultati qualitativi e quantitativi in tali condizioni estreme.