Comprehensive Machine Learning Benchmarking for Fringe Projection Profilometry with Photorealistic Synthetic Data

Planteamiento del Problema

Los enfoques de aprendizaje automático (ML) para la Profilometría de Proyección de Franjas (FPP) enfrentan barreras significativas para su adopción y avance debido a la ausencia de conjuntos de datos extensos y diversos con una verdad de campo (ground truth) perfecta y la falta de protocolos de evaluación estandarizados y exhaustivos. Mientras que la FPP tradicional depende de algoritmos de desplazamiento de fase de múltiples pasos para lograr una precisión submilimétrica, el ML ofrece el potencial para la reconstrucción de disparo único (single-shot), permitiendo aplicaciones en tiempo real. Sin embargo, el progreso se ve obstaculizado por tres problemas fundamentales:

1. Escasez de Datos: A diferencia de la visión computacional general, la FPP carece de conjuntos de datos estandarizados. Adquirir una verdad de campo 3D perfecta es difícil debido a los errores inherentes del sistema de medición.
2. Metodologías Inconsistentes: Los estudios existentes emplean representaciones de datos arbitrarias (por ejemplo, variando entre milímetros brutos, normalizados [0,1] o metros) y funciones de pérdida (L1, L2, SSIM, etc.) sin una justificación o comparación sistemática. Esta inconsistencia oscurece si las mejoras de rendimiento provienen de la innovación arquitectónica o del ajuste de hiperparámetros.
3. Limitaciones no Resueltas: No está claro si los errores en la reconstrucción de disparo único se deben a configuraciones de modelos subóptimas o a déficits de información fundamentales en las imágenes de franjas individuales.

Metodología

Los autores introducen un marco de evaluación sistemático basado en VIRTUS-FPP, un sistema de FPP virtual basado en la física desarrollado en NVIDIA Isaac Sim. La metodología involucra tres fases de estudios de ablación para aislar el impacto de las decisiones de diseño en la reconstrucción 3D de disparo único.

1. Generación de Datos:

• Fuente: Un conjunto de datos sintético fotorrealista que comprende 15,600 imágenes de franjas y 300 reconstrucciones de profundidad a través de 50 objetos diversos (de YCB y NVIDIA Physical AI Warehouse).
• Simulación: Los objetos son escaneados en un rango de 1.5 a 2.1 metros. El sistema utiliza una secuencia de desplazamiento de fase de 18 pasos para la generación de la verdad de campo, procesada mediante triangulación estándar.
• Configuración Virtual: Un par cámara-proyector calibrado es modelado con trazado de rayos OptiX para un renderizado fotorrealista, capturando el transporte de luz complejo (rebote múltiple, reflectividad, oclusión ambiental) mientras se desactivan las sombras para asegurar patrones de franjas limpios.

2. Diseño Experimental (Ablación de Tres Fases):

• Fase 1: Normalización de Datos: Los autores comparan tres estrategias para la representación de la profundidad de la verdad de campo:
  • Profundidad Bruta (Raw Depth): Valores de milímetros no normalizados (0–2000 mm).
  • Normalización Global: Escala a metros (0–2 m).
  • Normalización Individual: El mapa de profundidad de cada objeto se escala independientemente a [0, 1], desacoplando la forma de la escala absoluta.
  • Ablación de Fondo: Un experimento que elimina los patrones de franjas del fondo para probar su función como ruido o señal.
• Fase 2: Funciones de Pérdida: Se evalúan seis funciones de pérdida (L1, RMSE, variantes enmascaradas y variantes híbridas) para determinar el equilibrio óptimo entre el enfoque en la geometría del objeto y la estabilidad de la escala global.
• Fase 3: Evaluación de Arquitectura: Se prueban cuatro arquitecturas (UNet, Hformer, ResUNet, Pix2Pix) utilizando la configuración óptima identificada en las Fases 1 y 2.

3. Métricas de Evaluación:
Para evitar la dilución de los errores del objeto por los píxeles del fondo (que ocupan el 60–90% de la imagen), los autores reportan tres métricas distintas:

• Error del Objeto: Calculado solo en los píxeles de profundidad no nula (MAE/RMSE).
• Error del Fondo: Calculado solo en los píxeles de profundidad cero.
• Error Global: Calculado en todos los píxeles.

Contribuciones Clave

1. Primer Benchmark de FPP de Código Abierto: El lanzamiento de un conjunto de datos sintético fotorrealista (15,600 imágenes) con verdad de campo perfecta, generado mediante NVIDIA Isaac Sim, disponible en Hugging Face.
2. Estudios de Ablación Sistemáticos: El artículo establece configuraciones de aprendizaje óptimas para la FPP de disparo único, yendo más allá de elecciones arbitrarias hacia prácticas basadas en evidencia.
3. Descubrimiento de Limitaciones Fundamentales: El trabajo proporciona evidencia empírica de que la restricción principal en la FPP de disparo único es un déficit de información, no un diseño de modelo subóptimo, ya que incluso los mejores modelos fallan en alcanzar una precisión submilimétrica sin información de fase explícita.

Resultados Clave

1. Estrategia de Normalización:

• La Normalización Individual es Superior: Desacoplar la forma del objeto de la escala absoluta produce una mejora de 9.1× en la reconstrucción del objeto en comparación con la profundidad bruta (16.20 mm MAE frente a 148.07 mm MAE) y una mejora de 5.1× sobre la normalización global.
• Las Franjas del Fondo son Señal, no Ruido: De manera contraintuitiva, eliminar los patrones de franjas del fondo del input degrada catastróficamente el rendimiento (de 2.8× a 7.3× peor en todas las normalizaciones). Esto demuestra que las franjas del fondo proporcionan una referencia espacial de fase esencial necesaria para resolver la ambigüedad de $2\pi$ inherente al disparo único.

2. Optimización de la Función de Pérdida:

• La Pérdida Híbrida L1 es Óptima: Una pérdida L1 híbrida con $\alpha=0.7$ (que equilibra la pérdida del objeto enmascarado y la pérdida global) logra el mejor rendimiento, mejorando el error del objeto en un 10% respecto al RMSE base (14.54 mm frente a 16.20 mm MAE).
• Las Pérdidas Enmascaradas Fallan: Las funciones de pérdida que excluyen los píxeles del fondo (RMSE/L1 enmascarados) resultan en una deriva de escala catastrófica (errores >120 mm), ya que la red carece de las restricciones globales necesarias para mantener la consistencia métrica.

3. Comparación de Arquitecturas:

• UNet Domina: Utilizando la configuración óptima (Normalización Individual + L1 Híbrida $\alpha=0.7$), UNet logra el mejor rendimiento (14.54 mm de MAE de objeto), superando a Hformer por un 52%, a ResUNet por un 60% y a Pix2Pix por un 91%.
• El Fallo de Pix2Pix: Pix2Pix exhibe un desalineamiento fundamental entre el entrenamiento adversarial y los objetivos metrológicos. Aunque produce superficies visualmente plausibles y suaves con rangos de profundidad estadísticamente correctos, sufre de desplazos sistemáticos (20–40 mm) que resultan en la peor precisión métrica. Esto resalta que la plausibilidad perceptual no equivale a la precisión de la medición.
• Déficit de Información: La brecha de rendimiento entre la mejor (UNet) y la peor (Pix2Pix) arquitectura es modesta (1.9×). Incluso el error del mejor modelo (14.54 mm) representa el 18% del rango de profundidad del objeto (80 mm), lejos de las capacidades submilimétricas de la FPP tradicional. Esto confirma que las imágenes de franja única carecen de la información suficiente para una recuperación de profundidad precisa sin datos de fase explícitos.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer protocolo de evaluación estandarizado y un conjunto de datos de referencia robusto para la FPP basada en aprendizaje. Su principal significancia radica en cambiar la comprensión de la comunidad sobre la reconstrucción de disparo único:

• La Limitación es Fundamental: La incapacidad de lograr alta precisión no se debe a un mal diseño del modelo, sino a una falta de información fundamental en las imágenes de franja única. Las redes aprenden descriptores de forma gruesa en lugar de geometría precisa.
• Rechazo de los Enfoques de Extremo a Extremo (End-to-End) Puros: Los resultados sugieren que el mapeo directo de franja a profundidad sin información de fase está fundamentalmente limitado.
• Dirección Futura: Los autores motivan un cambio hacia enfoques híbridos que combinen la FPP tradicional basada en fase (para precisión geométrica) con el refinamiento aprendido (para robustez ante el ruido y la ambigüedad), en lugar de buscar arquitecturas cada vez más complejas para el mapeo directo.

Este trabajo sirve como base para la investigación de la FPP impulsada por datos, ofreciendo herramientas de código abierto (conjunto de datos y código) para permitir la comparación sistemática y el desarrollo de canales de procesamiento híbridos entre la física y el ML.