SeeClear: Reliable Transparent Object Depth Estimation via Generative Opacification

1. Il Problema

La stima della profondità monoculare (da una singola immagine) è fondamentale per applicazioni come la ricostruzione 3D, la navigazione robotica e la manipolazione. Tuttavia, i modelli attuali falliscono sistematicamente quando si tratta di oggetti trasparenti (es. vetro, plastica trasparente).

• Cause del fallimento: Gli effetti ottici come la rifrazione e la trasmissione della luce violano le assunzioni fotometriche standard su cui si basano le reti di profondità. Di conseguenza, gli stimatori più avanzati producono previsioni instabili, errate o "traslucide" per questi materiali.
• Limiti degli approcci esistenti: I metodi precedenti tentano di risolvere il problema fine-tunando modelli specifici su dati trasparenti. Questo richiede enormi dataset accoppiati (RGB-D) difficili da ottenere nel mondo reale e rende i modelli dipendenti dall'architettura di base, richiedendo un addestramento ogni volta che il modello di profondità sottostante viene aggiornato.

2. Metodologia: SeeClear

Il paper propone SeeClear, un framework "plug-and-play" che non richiede la modifica o il ri-addestramento del modello di profondità sottostante. L'idea centrale è trasformare l'apparenza trasparente in un'apparenza opaca e geometricamente coerente prima di inviare l'immagine allo stimatore di profondità.

Il processo avviene in due fasi principali:

A. Opacificazione Generativa (Generative Opacification)

1. Localizzazione: Un modello di segmentazione (basato su Trans4Trans e SAM 3) identifica le regioni trasparenti nell'immagine di input, generando una maschera $M_{seg}$.
2. Generazione Diffusiva: Un modello di diffusione latente condizionato (Latent Diffusion Model) trasforma l'aspetto rifrattivo dell'oggetto in una texture diffusa (opaca).
   • Condizionamento: Il modello utilizza l'immagine originale e la maschera come input. Per preservare l'identità semantica dell'oggetto, viene utilizzato un encoding basato su CLIP (specificamente il token "class token") come condizione semantica.
   • Obiettivo: Generare un'immagine opaca ($I_{pred}$) che mantenga la geometria e i bordi dell'oggetto originale, rimuovendo le distorsioni ottiche.
3. Addestramento: Il modello è stato addestrato su SeeClear-396k, un nuovo dataset sintetico su larga scala contenente 396.000 coppie di rendering (trasparente-opaco) con profondità, normali e maschere allineate.

B. Compositing e Rifinitura (Mask Refinement)

Poiché la decodifica del modello di diffusione può introdurre sfocature o "aloni" ai bordi, viene introdotto un modulo di Rifinitura della Maschera (Mask Refinement Module - MRM).

• Questo modulo predice una maschera di blending morbida ($\hat{M}_{refine}$) per fondere l'immagine opaca generata con lo sfondo originale dell'immagine di input.
• L'immagine finale composita ($I_{blend}$) viene quindi inviata a un modello di profondità monoculare "off-the-shelf" (come Depth Anything V3 o MoGe-2) senza alcun addestramento aggiuntivo.

3. Contributi Chiave

1. Framework SeeClear: Una nuova architettura che separa il problema della stima della profondità da quello dell'aspetto materiale, convertendo prima gli oggetti trasparenti in rappresentazioni opache geometricamente coerenti.
2. Adattatore Plug-and-Play: Un modulo front-end che permette di utilizzare modelli di profondità foundation esistenti (addestrati su oggetti opachi) per oggetti trasparenti senza ri-addestramento.
3. Dataset SeeClear-396k: La creazione di un dataset sintetico su larga scala con 396k coppie di immagini trasparente-opaco, essenziali per addestrare il modulo di opacificazione generativa.
4. Validazione Estensiva: Dimostrazione che l'approccio funziona sia su dati sintetici che reali, superando i metodi specifici per la trasparenza e i modelli generici.

4. Risultati Sperimentali

Il metodo è stato valutato su dataset reali (ClearGrasp) e sintetici (TransPhy3D), confrontandosi con lo stato dell'arte (SOTA) come Depth4ToM, DKT, Marigold e modelli generici come Depth Anything V3.

• Performance Quantitativa:
  • Su ClearGrasp, SeeClear supera tutti i baseline in quasi tutte le metriche (RMSE, AbsRel, SiLog) nella regione dell'oggetto trasparente e nell'intera immagine.
  • Ad esempio, utilizzando Depth Anything V3 come base, l'RMSE scende da 24.03 mm a 21.45 mm (-10.7%).
  • Con MoGe-2, il miglioramento è ancora più drastico: l'RMSE scende da 56.83 mm a 26.62 mm, e l'accuratezza $\delta_{<1.025}$ sale dal 5.63% al 42.75%.
  • SeeClear supera anche metodi specializzati fine-tunati (come DKT) su metriche chiave, pur operando in modalità zero-shot (senza addestramento sul dataset di test).
• Performance Qualitativa:
  • I modelli di profondità standard producono spesso profondità "traslucide" o sfocate per il vetro.
  • SeeClear recupera con precisione la geometria della superficie, inclusi bordi netti, aperture (es. il collo di una bottiglia) e transizioni di profondità fluide, eliminando gli artefatti di traslucenza.

5. Significato e Impatto

Il lavoro di SeeClear rappresenta un cambio di paradigma nella stima della profondità per oggetti trasparenti:

• Generalizzazione: Invece di addestrare modelli specifici per ogni nuovo tipo di materiale o architettura, SeeClear "normalizza" l'input trasformandolo in qualcosa che i modelli di profondità esistenti già sanno gestire bene (oggetti opachi).
• Efficienza: Elimina la necessità di costosi dataset reali RGB-D per la trasparenza e rende i modelli foundation immediatamente utilizzabili in scenari complessi.
• Applicabilità: Abilita compiti critici come la manipolazione robotica di oggetti di vetro, la navigazione in ambienti con vetrate e la realtà aumentata, dove la precisione della profondità è essenziale per evitare collisioni e garantire l'interazione fisica corretta.

In sintesi, SeeClear risolve il problema della trasparenza non modificando il "cervello" che stima la profondità, ma "pulendo" l'immagine in ingresso per renderla leggibile da quel cervello.