Diagnosing and Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

Resumen Técnico: Diagnóstico y Reparación de Atajos de Prioridad de Forma en la Proyección de Franjas de Un Solo Disparo de Largo Alcance

Planteamiento del Problema
El aprendizaje basado en la proyección de franjas (FPP) de un solo disparo ha logrado el éxito en regímenes de corto alcance (p. ej., endoscópicos, de mesa) donde el contraste de las franjas y la geometría de triangulación son favorables. Sin embargo, el régimen de largo alcance (distancia de separación > 1 m) permanece en gran medida sin abordar debido a tres desafíos acoplados: (1) la caída de la intensidad de la luz según la ley del inverso del cuadrado degrada la relación señal-ruido y la fiabilidad de la verdad de campo física; (2) la formulación de un solo disparo es intrínsecamente mal planteada porque la información del orden de la franja no está disponible a partir de una sola imagen, lo que conduce a errores de profundidad que escalan cuadráticamente con la distancia; y (3) las arquitecturas existentes carecen de interpretabilidad mecanística, lo que deja el diagnóstico de errores sin una guía basada en principios. Además, el campo carece de un banco de pruebas compartido, con normalizaciones, funciones de pérdida y protocolos de evaluación inconsistentes entre estudios.

Metodología
Los autores presentan un estudio unificado de "diagnóstico-reparación-verificación" utilizando FPP-ML-Bench, el primer banco de pruebas sintético fotorealista de código abierto para FPP de un solo disparo. Construido sobre el marco VIRTUS-FPP dentro de NVIDIA Isaac Sim, el conjunto de datos comprende 15.600 imágenes de franjas de 50 objetos diversos a una distancia de separación de 1.5–2.1 m.

La metodología procede en cuatro etapas:

1. Ablación Sistemática: Los autores aíslan las elecciones de diseño (normalización, procesamiento de fondo, composición de múltiples fotogramas, funciones de pérdida y arquitectura) para establecer una línea base de alto rendimiento.
2. Diagnóstico de Interpretabilidad Mecanística (MI): Utilizando linear probing, Grad-CAM y pruebas de plano plano fuera de la distribución (OOD), los autores investigan si la red de la línea base aprende la decodificación de franjas basada en la física o atajos geométricos.
3. Reparación Arquitectónica: Basándose en el diagnóstico, los autores introducen PhiCalNet, una arquitectura de fase intermedia. A diferencia de las redes estándar de regresión de profundidad, PhiCalNet genera una representación de fase envuelta $(\sin \phi, \cos \phi)$. Una capa de calibración fija y diferenciable mapea determinísticamente esta fase a la profundidad utilizando la física de triangulación de FPP. Este diseño elimina la solución de prioridad de forma del espacio de hipótesis mediante una restricción arquitectónica en lugar de una penalización de pérdida.
4. Verificación: La reparación se verifica mediante:
   • MI: Reaplicando la batería de interpretabilidad a PhiCalNet para confirmar que aprende la fase en lugar de la forma.
   • Cuantificación de la Incertidumbre (UQ): Aplicando predicción conforme por píxel en un conjunto de instantáneas (snapshot ensemble) para determinar si la incertidumbre reportada por el modelo se alinea con sus modos de falla.
   • Contrafácticos: Comparando PhiCalNet contra una línea base de Red Neuronal Informada por la Física (PINN) donde la física se impone mediante una penalización de pérdida suave en lugar de la arquitectura.

Hallazgos Clave y Resultados

• Optimización de la Línea Base: Las ablaciones sistemáticas revelaron que la normalización de profundidad individual (desacoplando la escala de la forma) mejoró el Error Absoluto Medio (MAE) del objeto en 9.1× respecto a la profundidad bruta. Contrario a la intuición, las franjas de fondo son señal esencial, no ruido; eliminarlas degradó el rendimiento en un factor de 2.8–7.3×. La pérdida híbrida L1 ($\alpha=0.7$) y la arquitectura UNet superaron a TransUNet, ResUNet y Pix2Pix. La mejor línea base (UNet) alcanzó un MAE de objeto de 14.54 mm, pero el análisis de residuos sugirió un límite representacional en lugar de un problema de capacidad.
• El Diagnóstico del Atajo: El análisis mecanístico de la línea base UNet reveló que esta resuelve la tarea mediante prioridades de forma de los bordes del objeto en lugar de la decodificación de la fase de la franja.
  • Linear Probing: Las características geométricas (bordes) fueron 2.82× más fáciles de decodificar de las activaciones internas que los valores de profundidad.
  • Grad-CAM: La atención correlacionó más fuertemente con los bordes del objeto (1.28×) que con los patrones de franjas.
  • Prueba OOD: En un plano plano sin características, la red colapsó a predicciones de profundidad cercanas a cero, fallando en utilizar los patrones de franjas válidos presentes, confirmando la dependencia de plantillas de forma.
• Rendimiento de PhiCalNet: Al forzar a la red a generar la fase envuelta, PhiCalNet redujo el MAE del objeto en un 3.3× (de 14.54 mm a 4.46 mm) comparado con la línea base UNet.
  • Un contrafáctico PINN (imponiendo la física mediante una pérdida suave en una red de regresión de profundidad) no produjo ninguna ganancia medible, aislando el encuadre arquitectónico como el factor operativo.
  • El error residual de PhiCalNet se localizó en el 0.103% de los píxeles en la discontinuidad de envoltura $\pm\pi$, un límite estructural de la regresión continua de un objetivo discontinuo.
  • Una extensión de 3 fotogramas de PhiCalNet redujo aún más el MAE a 1.16 mm, validando el déficit de información teórica de la adquisición de un solo disparo.
• Cuantificación de la Incertidumbre: La predicción conforme por píxel demostró que los errores de PhiCalNet son estructuralmente legibles. Rechazar el 5% superior de los píxeles por desacuerdo de instantáneas redujo el RMSE de PhiCalNet en un 64% (20.6 mm $\to$ 7.4 mm), mientras que el mismo procedimiento redujo el RMSE de la línea base UNet en solo un 3.5%. Esto confirma que las fallas de PhiCalNet están concentradas en loci geométricos específicos donde el modelo identifica correctamente la alta incertidumbre, a diferencia de los errores difusos de la línea base.

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones principales:

1. Benchmarking: La introducción de FFF-ML-Bench proporciona una superficie de evaluación estandarizada y reproducible para FPP de un solo disparo de largo alcance, abordando la falta de infraestructura compartida en el campo.
2. Perspectiva Mecanística: Esta es la primera aplicación de la interpretabilidad mecanística a la FPP, revelando que los enfoques estándar de aprendizaje profundo en este dominio suelen depender de atajos geométricos (prioridades de forma) en lugar de la decodificación de fase física, un modo de falla exacerbado por la naturaleza mal planteada de la reconstrucción de un solo disparo a largo alcance.
3. Solución Arquitectónica: Los autores demuestran que las restricciones arquitectónicas (generar fase en lugar de profundidad) son más efectivas que las penalizaciones de pérdida (PINNs) para imponer la consistencia física. PhiCalNet logra eliminar el atajo de la prioridad de forma del espacio de hipótesis.

Los autores enmarcan la convergencia de la Interpretabilidad Mecanística, el Análisis de Error Residual y la Cuantificación de la Incertidumbre en un único locus físico (la discontinuidad de envoltura $\pm\pi$) como un modelo metodológico para el aprendizaje informado por la física. Argumentan que cuando el modo de falla de un modelo tiene un locus geométrico o físico específico, estas tres herramientas de diagnóstico pueden converger para proporcionar una explicación coherente del comportamiento del modelo, una condición que suele estar ausente en los modos de falla difusos encontrados en otros dominios como el lenguaje o la imagen médica.

El artículo concluye que el error residual en la FPP de un solo disparo es fundamentalmente de carácter información-teórico (debido a la falta de información del orden de la franja) en lugar de una limitación de modelado, y que aunque PhiCalNet mejora significamente la precisión, el error restante está estructuralmente limitado por la física del problema.