Resumen Técnico: GHOST (Geometry-Guided Hallucination of Opaque Surface Textures)

1. Planteamiento del Problema

Los objetos transparentes presentan un desafío fundamental para los sistemas convencionales de estimación de profundidad y reconstrucción 3D. Estos sistemas suelen basarse en el supuesto de reflexión difusa Lambertiana, el cual se ve vulnerado por las superficies transparentes debido a la transmisión de luz, la reflexión especular y la refracción. En consecuencia, los modelos estándar sufren una degradación geométrica severa, prediciendo a menudo la profundidad del fondo en lugar de la superficie real del vidrio u objeto transparente.

Las soluciones existentes enfrentan limitaciones significativas:

• Completado de Profundidad y NeRF: Métodos como el completado de profundidad suelen requerir datos de verdad de terreno (ground-truth) costosos (obtenidos mediante hardware especializado o pulverización de polvos) y un entrenamiento específico de extremo a extremo, lo que conduce a una pobre generalización en materiales no vistos. Los enfoques basados en NeRF sufren de una baja eficiencia de inferencia, requiriendo múltiples entradas multivista y un prolongado entrenamiento por escena, creando un "silo de percepción" que obliga al abandono de modelos de vanguardia (SOTA) versátiles.
• Segmentación: Los modelos de segmentación actuales luchan con el acoplamiento de la apariencia del objeto y el fondo debido a la refracción y la reflexión, fallando a menudo bajo condiciones de bajo contraste o oclusión compleja.

El desafío central es permitir que los modelos de visión 3D genéricos y listos para usar procesen objetos transparentes sin necesidad de reentrenamiento, evitando al mismo la alta inversión de adquirir etiquetas de profundidad de verdad de terreno para materiales transparentes.

2. Metodología

Los autores proponen GHOST (Geometry-guided Hierarchical Opaque Style Transfer), un marco de preprocesamiento universal. En lugar de modificar los modelos descendentes, GHOST "repinta" las regiones transparentes en representaciones opacas estructuralmente consistentes utilizando modelos fundacionales visuales. El flujo de trabajo consta de cuatro módulos topológicamente interconectados:

2.1. TransDINO: Localización de Objetos Transparentes

TransDINO es un marco de segmentación híbrido diseñado para extraer máscaras semánticas de alta calidad para objetos transparentes.

• Arquitectura: Utiliza una estructura U-Net con un mecanismo de codificación de doble flujo. Un flujo extrae características espaciales multiescala utilizando un backbone ResNet-34 preentrenado, mientras que el otro procesa características de DINOv3 (un modelo fundacional visual) para capturar límites semánticos densos.
• Fusión: Un novedoso módulo TransFusionChannelAttn alinea características heterogéneas mediante atención cruzada espacial, tratando las características RGB como consultas (queries) y las características semánticas de DINOv3 como claves (keys) y valores (values). Un mecanismo de atención de canal de doble pooling suprime el ruido y un factor de escala aprendible estabiliza el entrenamiento de la fusión profunda.

2.2. TransDecomp: Descomposición de Alfa y Primer Plano

TransDecomp descompone la región del objeto transparente en un mate alfa ($\alpha_{trans}$) y un mapa de escala de grises del primer plano ($F_g$).

• Supuesto Físico: Bajo el supuesto de "refracción débil" (donde el desplazamiento de la luz es pequeño), la interacción se aproxima como un mezclado alfa (alpha blending). Para refracciones fuertes, la red genera valores de alfa más bajos para señalar la no transparencia.
• Arquitectura: Una U-Net con convoluciones con compuerta (gated convolutions) y un cuello de botella de Transformer. Las convoluciones con compuerta distinguen las características válidas del objeto del ruido de fondo, mientras que el cuello de botella ViT captura dependencias de largo alcance para resolver ambigüedades refractivas.
• Decodificación de Doble Cabezal: La red genera un Cabezal de Opacidad (que predice $\alpha$) y un Cabezal de Primer Plano (que predice el color intrínseco/reflexiones especulares). Estos están restringidos por la máscara del objeto y entrenados mediante una pérdida de reconstrucción contra la imagen original, guiada por un prior de fondo precomputado generado mediante InpaintAnything.

2.3. DAF-Net: Estimación de Normales de Superficie

DAF-Net recupera normales de superficie ($N$) de grano fino para codificar la curvatura geométrica.

• Arquitectura: Une los priors semánticos con las pistas geométricas locales fusionando características de DINOv3 congeladas con un Adaptador Espacial Multimodal (MMSA) que extrae detalles geométricos alineados con los píxeles a partir de RGB, máscaras, mates alfa y guía de primer plano.
• Fusión: Un bloque de Fusión Sensible a la Fidelidad utiliza un mecanismo de Squeeze-and-Excitation (SE) para suprimir adaptativamente el ruido de las regiones transparentes.
• Pérdida: El objetivo de entrenamiento combina una pérdida probabilística de Von Mises-Fisher (vMF) (para manejar la ambigüedad de orientación) y un prior de suavidad sensible a los bordes guiado por el mate alfa.

2.4. GeoSemTransNet: Síntesis de Textura Opaca

Este módulo sintetiza la imagen RGB opaca final rica en texturas.

• Mecanismo: Es una red de codificador-decodificador que fusiona las características de DINOv3 mediante módulos SPADE (Spatially-Adaptive Normalization). Los bloques SPADE modulan la activación del codificador de textura utilizando priors geométricos ($N$, máscara, primer plano) para asegurar que la textura sintetizada se adhiera estrictamente a la geometría 3D del objeto.
• Pérdida de Conciencia Física: La generación está restringida por:
  1. Forma a partir de la Sombra (Shape-from-Shading): Asegurando la consistencia de luminancia con las normales de superficie predichas.
  2. Consistencia de Gradiente: Alineando los bordes texturales con las discontinuidades geométricas.
  3. Términos de Reconstrucción: Asegurando la consistencia de bordes y primer plano.

3. Contribuciones Clave

1. TransDINO: Un modelo de segmentación basado en U-Net que inyecta características de DINOv3 para una extracción robusta de la máscara de objetos transparentes, superando a modelos especializados en múltiples conjuntos de datos.
2. TransDecomp: Una arquitectura ViT de doble cabezal que desentrelaza las propiedades físicas (transparencia y valores de primer plano) bajo supuestos de refracción débil.
3. DAF-Net: Un estimador de normales de superficie que aprovecha características semánticas profundas para la integridad estructural y características superficiales para el flujo de refracción/especularidad local.
4. GeoSemTransNet: Un codificador-decodificador que inyecta jerárquicamente priors geométricos vía SPADE para sintetizar texturas opacas guiadas por la geometría.
5. Preprocesamiento Universal: El marco permite que los modelos de estimación de profundidad y reconstrucción SOTA existentes procesen objetos transparentes sin reentrenamiento, "repintando" efectivamente la escena para restaurar las pistas fotométricas.

4. Resultados Experimentales

Los autores evaluaron GHOST en los conjuntos de datos ClearGrasp, ClearPose y Trans10K-v2.

• Segmentación: TransDINO logró puntuaciones mIoU de vanguardia (ej., 92.44% en ClearGrasp, 86.82% en Trans10K-v2), superando significativamente a modelos especializados como EBLNet y TROSNet.
• Estimación de Profundidad: Cuando las imágenes procesadas por GHOST se introdujeron en estimadores de profundidad genéricos (ej., DA3, MoGe2, DepthPro, VGGT), la precisión mejoró drásticamente. Por ejemplo, usando MoGe2, el RMSE bajó de 0.018 a 0.014, y la precisión $\delta_{1.25}$ mejoró de 0.999 a 1.000. El método superó a estimadores de profundidad de objetos transparentes especializados (ej., HDCNet, SwinDRNet).
• Reconstrucción 3D: En tareas de reconstrucción de alimentación directa (usando modelos como DUSt3R, $\pi^3$, VGGT), las entradas procesadas por GHOST condujeron a mejoras significativas en Precisión, Completitud y F-Score. Por ejemplo, el F-Score de DU³R mejoró de 77.36 a 88.66.
• Estudios de Ablación: Los experimentos confirmaron que el flujo completo es necesario. Eliminar componentes (ej., usar solo máscaras sin normales o pistas de primer plano) resultó en salidas similares al ruido o con un rendimiento peor que las imágenes originales, resaltando la interdependencia de los módulos.

5. Significado y Reivindicaciones

El artículo afirma que GHOST proporciona un mecanismo de preprocesamiento universal que resuelve el "silo de percepción" creado por los modelos especializados en objetos transparentes. Al transformar las regiones transparentes en representaciones opacas y estructuralmente consistentes, GHOST permite:

• Generalización: Los modelos SOTA versátiles y listos para usar pueden aplicarse a objetos transparentes sin necesidad de reentrenamiento específico de la tarea o adquisición costosa de profundidad de verdad de terreno.
• Eficiencia: Evita la sobrecarga computacional del entrenamiento de NeRF por escena y la dependencia de hardware de la completación de profundidad tradicional.
• Cambio de Paradigma: Ofrece un nuevo enfoque para resolver los cuellos de botella de los objetos transparentes en tareas generales de visión 3D mediante el aprovechamiento de modelos fundacionales visuales para alucinar las pistas geométricas y fotométricas faltantes.

Los autores enfatizan que este trabajo hace avanzar el campo del Aprendizaje Automático al demostrar cómo los modelos fundacionales pueden integrarse en un flujo de trabajo para superar las limitaciones físicas fundamentales (supuestos Lambertianos) en las tareas de visión por computadora.