SeeClear: Reliable Transparent Object Depth Estimation via Generative Opacification

1. El Problema

La estimación de profundidad monoculares (inferir la profundidad de una escena a partir de una sola imagen 2D) es un desafío fundamental para la reconstrucción 3D, la navegación robótica y la manipulación. Sin embargo, los objetos transparentes (como vidrio, plástico transparente o líquidos) representan un caso de uso crítico donde los modelos actuales fallan.

• Causa del fallo: Los modelos de profundidad existentes se basan en suposiciones fotométricas estándar (correspondencia apariencia-geometría) que son violadas por los objetos transparentes debido a efectos ópticos como la refracción, la transmisión y la reflexión.
• Consecuencia: Los estimadores de última generación producen predicciones inestables, incorrectas o "translúcidas" para estos objetos, lo que lleva a errores en tareas posteriores como la evitación de colisiones o la manipulación física.
• Limitaciones de enfoques previos: Los métodos anteriores intentan solucionar esto ajustando finamente (fine-tuning) modelos de profundidad específicos para objetos transparentes. Esto requiere grandes cantidades de datos emparejados (RGB-Profundidad) que son difíciles de obtener en la realidad y hace que el modelo sea dependiente de la arquitectura, requiriendo reentrenamiento cada vez que mejora el modelo base.

2. Metodología: SeeClear

El authors proponen SeeClear, un marco de trabajo de dos etapas que actúa como un "adaptador frontal" (front-end) plug-and-play. En lugar de reentrenar el modelo de profundidad, transforma la apariencia del objeto transparente en una opaca geométricamente consistente antes de la estimación.

El flujo de trabajo consta de tres componentes principales:

A. Localización y Segmentación

• Se utiliza un modelo de segmentación (combinando Trans4Trans y SAM 3) para generar una máscara ($M_{seg}$) que delimita las regiones transparentes en la imagen de entrada. Esta máscara sirve como guía espacial estructural.

B. Opacificación Generativa (Generative Opacification)

• Núcleo: Se emplea un Modelo de Difusión Latente Condicional (basado en Latent Diffusion Models).
• Entrada: El modelo toma la imagen original con el objeto transparente ($I_{tr}$), la máscara del objeto y una condición semántica.
• Condicionamiento Semántico: Para preservar la identidad y la forma del objeto, se utiliza el token de clase de un codificador CLIP (en lugar de tokens de parche que pueden capturar ruido de fondo) para guiar la generación hacia una textura difusa (opaca) que mantenga los bordes y la iluminación originales.
• Objetivo: Transformar la apariencia refractiva en una textura opaca difusa que sea geométricamente consistente con el objeto real, eliminando las distorsiones ópticas.
• Entrenamiento: Se utiliza una pérdida de difusión estándar (DDPM) combinada con una pérdida perceptual (LPIPS) calculada en el espacio de píxeles para asegurar la fidelidad de las texturas y los bordes finos.

C. Refinamiento de Máscara y Composición

• Módulo de Refinamiento de Máscara (MRM): La imagen generada por la difusión puede tener bordes borrosos o desplazamientos de color. El MRM predice una máscara de mezcla suave ($\hat{M}_{refine}$) para fusionar la región opaca generada con el fondo original de la imagen.
• Composición: Se realiza una mezcla alfa (alpha blending) entre la imagen generada opaca y la imagen original utilizando la máscara refinada.
• Estimación de Profundidad: La imagen final compuesta ($I_{blend}$) se alimenta a un modelo de profundidad monoculares de última generación (como Depth Anything V3 o MoGe-2) sin realizar ningún ajuste fino (fine-tuning) en el modelo de profundidad.

3. Contribuciones Clave

1. Marco SeeClear: Un enfoque novedoso que convierte el problema de la estimación de profundidad transparente en un problema de "opacificación" generativa, permitiendo el uso de modelos de profundidad fundacionales existentes sin reentrenamiento.
2. Dataset SeeClear-396k: La creación de un conjunto de datos sintéticos a gran escala con 396,000 pares de renderizados (transparente-opaco) alineados en profundidad, normales y máscaras. Este dataset fue diseñado para cubrir desafíos como distorsiones no lambertianas, ambigüedad de definición de profundidad y estructuras complejas.
3. Adaptador Plug-and-Play: Un adaptador frontal que incluye un cabezal de predicción de máscaras y un módulo de difusión, diseñado para ser compatible con cualquier modelo de profundidad base.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos sintéticos (TransPhy3D) y reales (ClearGrasp, TDoF20).

• Rendimiento Cuantitativo:
  • SeeClear supera consistentemente a los modelos base (Depth Anything V3, MoGe-2) y a métodos especializados en objetos transparentes (Depth4ToM, D4RD, MODEST).
  • En el conjunto de datos ClearGrasp, al usar Depth Anything V3, el error RMSE se redujo de 24.03 mm a 21.45 mm (mejora del 10.7%).
  • Al usar MoGe-2, la mejora fue aún más drástica: el RMSE bajó de 56.83 mm a 26.62 mm, y la precisión en umbrales ($\delta_{<1.025}$) aumentó del 5.63% al 42.75%.
  • En TransPhy3D, SeeClear superó a los métodos de ajuste fino (como DKT) en la mayoría de las métricas sin haber sido entrenado específicamente en ese dataset.
• Rendimiento Cualitativo:
  • Los mapas de profundidad generados son estables y precisos, recuperando correctamente la geometría de superficies, aberturas (como el interior de una botella) y contornos.
  • Elimina los artefactos de "translucidez" y las discontinuidades típicas de otros modelos.
• Estudios de Ablación:
  • Confirmaron que el uso de la máscara de segmentación es superior a las cajas delimitadoras o mapas de calor para la localización.
  • El uso del token CLS de CLIP como condición semántica es crucial para mantener la forma del objeto.
  • La pérdida perceptual (LPIPS) es esencial para generar texturas opacas realistas que guíen correctamente la profundidad.
  • Sin el módulo de refinamiento de máscara, aparecen bordes borrosos y artefactos de profundidad.

5. Significado e Impacto

El trabajo de SeeClear es significativo porque desacopla la opacificación de la apariencia de la inferencia de profundidad.

• Generalización: Permite que los modelos de profundidad fundacionales (foundation models), que son excelentes en objetos opacos pero fallan en transparentes, funcionen en escenarios del mundo real sin necesidad de costosos reentrenamientos o grandes bases de datos etiquetadas.
• Aplicabilidad: Facilita tareas críticas en robótica y realidad aumentada donde la manipulación de objetos transparentes (vidrios, botellas, ventanas) es común pero actualmente difícil debido a la falta de datos de profundidad fiables.
• Futuro: Abre la puerta a extender este enfoque a video (consistencia temporal) y a otros materiales no lambertianos complejos (especulares, translúcidos).

En resumen, SeeClear demuestra que transformar la apariencia óptica problemática en una representación geométricamente consistente mediante IA generativa es una estrategia superior y más escalable que intentar ajustar los modelos de profundidad directamente a los datos transparentes.