Resumen Técnico: La Trampa de Fuga a Nivel de Fotograma y la Incertidumbre Separable por Fuente en la Descomposición de Imágenes Intrínsecas

1. Enunciado del Problema

La descomposición de imágenes intrínsecas busca factorizar una imagen observada $I$ en reflectancia (albedo) $R$ y sombreado $S$ (bajo el supuesto de Lambert $I = R \circ S$). A pesar de los avances en el aprendizaje profundo, los métodos actuales enfrentan dos limitaciones críticas:

1. Inconsistencia en el Protocolo de Evaluación: Trabajos anteriores sobre el conjunto de datos MPI Sintel utilizan frecuentemente divisiones de entrenamiento/prueba a nivel de fotograma. Esto permite que fotogramas espacialmente similares de la misma escena aparezcan tanto en los conjuntos de entrenamiento como de prueba, creando una fuga de datos que infla artificialmente las métricas de rendimiento.
2. Falta de Cuantificación de la Incertidumbre (UQ): Los métodos existentes producen estimaciones puntuales sin cuantificar la confianza. Esto es problemático porque la descomposición es inherentemente mal planteada; la ambigüedad varía espacialmente (por ejemplo, reflejos especulares, sombras proyectadas y superficies texturizadas). En aplicaciones críticas para la seguridad, como la conducción autónoma, saber dónde una descomposición es poco fiable es tan vital como la propia descomposición.

2. Metodología

2.1 Protocolo de Evaluación Corregido

Los autores abogan por divisiones a nivel de escena como el estándar de la comunidad. En este protocolo, se retienen escenas completas para la prueba, asegurando que no haya superposición temporal ni espacial entre los conjuntos de entrenamiento y prueba. Esto elimina la "fuga a nivel de fotograma" donde los modelos interpolan entre fotogramas adyacentes de la misma escena.

2.2 Modelo de Descomposición Informado por Física

El artículo propone un modelo de formación de imagen de tres componentes para manejar efectos no lambertianos:
$$I = R \circ S + N$$
Donde $N$ es un residuo no negativo que captura reflejos especulares, dispersión subsuperficial y otros efectos no lambertianos. Esto permite que las cabezas de reflectancia y sombreado se enfoquen en sus respectivos componentes lambertianos, mientras que $N$ maneja las desviaciones.

2.3 Arquitectura de la Red

La columna vertebral es un codificador-decodificador U-Net. Se ramifica en cuatro cabezas:

1. Cabeza de Reflectancia ($\hat{R}$): Predice el albedo.
2. Cabeza de Sombreado ($\hat{S}$): Predice la iluminación.
3. Cabeza No Lambertiana ($\hat{N}$): Predice el residuo $N$ utilizando activación ReLU.
4. Cabeza de Incertidumbre Separable por Fuente: Genera tres canales de log-varianza ($\log \sigma^2_{tex}, \log \sigma^2_{light}, \log \sigma^2_{nl}$) correspondientes a fuentes de textura, iluminación y no lambertianas.
   • Elección de Diseño: La cabeza de incertidumbre recibe una conexión de salto desde la imagen de entrada cruda $I$ junto con las características del cuello de botella. Esto preserva pistas de alta frecuencia a nivel de píxel (por ejemplo, saturación, gradientes) perdidas durante la codificación, las cuales son críticas para detectar ambigüedad.

2.4 Estrategia de Entrenamiento

Para prevenir la "explosión de varianza" (donde la red minimiza la pérdida prediciendo incertidumbre infinita en todas partes), se emplea una estrategia de entrenamiento en dos fases:

• Fase 1 (Calentamiento): Entrenar solo las cabezas de reconstrucción ($R, S, N$) durante 55 épocas. La cabeza de incertidumbre se mantiene congelada.
• Fase 2 (NLL): Introducir gradualmente la pérdida de Negativo Log-Likelihood (NLL) heterocedástica durante 25 épocas, entrenando conjuntamente todos los parámetros.

3. Contribuciones Clave

1. Cuantificación de la Fuga a Nivel de Fotograma: El artículo proporciona la primera demostración cuantitativa de que las divisiones a nivel de fotograma en MPI Sintel inflan el R PSNR de prueba en 1.6–2.0 dB (estadísticamente significativo, $p < 0.01$) en comparación con las divisiones a nivel de escena a través de tres arquitecturas (DirectCNN, UNet y el método propuesto). Bajo entrenamiento extendido, esta brecha supera los 10 dB.
2. Incertidumbre Separable por Fuente: Una novedosa cabeza de incertidumbre de tres vías que descompone la incertidumbre en fuentes de textura, iluminación y no lambertianas. Los autores verifican empíricamente que estos canales no colapsan a un escalar compartido; específicamente, el canal no lambertino ($\sigma_{nl}$) muestra una correlación cruzada de $r=0.67$ con el error residual no lambertino, más de 4$\times$ más fuerte que la correlación del canal de textura con el mismo error.
3. Utilidad Descendente de la Incertidumbre: El artículo demuestra que las clasificaciones de incertidumbre son prácticamente informativas. Filtrar el 75% de los píxeles con mayor incertidumbre reduce el MSE de reconstrucción en un 77% en los píxeles retenidos, mientras que el filtrado aleatorio no produce mejora alguna.
4. Resultados Negativos y Ablación: Los autores reportan que una variante más elaborada que combina descomposición de frecuencia, aprendizaje evidencial, pérdida contrastiva y adaptación en tiempo de prueba (TTA) tiene un rendimiento inferior al de la línea base más simple. La ablación de "uno fuera" confirma que ningún componente individual de esta variante compleja mejora la línea base, lo que sugiere que la acumulación de características sin una evaluación disciplinada puede ser perjudicial.

4. Resultados Experimentales

4.1 Rendimiento Cuantitativo (División a Nivel de Escena)

Bajo el estricto protocolo a nivel de escena:

• Método Propuesto: Logra 15.98 ± 0.41 dB de R PSNR y 16.09 ± 0.18 dB de S PSNR.
• Comparación: Este rendimiento es estadísticamente indistinguible de una línea base UNet+Física (15.97/16.00 dB) pero significativamente inferior a un Deep Ensemble de 5 miembros (16.78/16.51 dB).
• Eficiencia de Costos: El método propuesto logra un rendimiento cercano al del ensemble con una quinta parte del costo de parámetros y entrenamiento.
• Significancia: Ninguno de los cambios arquitectónicos incrementales (cabeza de física, conexiones de salto) produjo ganancias de PSNR estadísticamente significativas ($p > 0.05$) en pruebas t pareadas a través de semillas, reforzando la tesis del artículo de que los ajustes arquitectónicos marginales producen ganancias marginales bajo una evaluación honesta.

4.2 Análisis de Incertidumbre

• Calibración: La correlación global entre incertidumbre y error es modesta ($r = 0.131$), comparable o ligeramente mejor que los Deep Ensembles ($r = 0.107$) y consistente con los puntos de referencia en flujo óptico y estimación de profundidad.
• Especialización: El canal no lambertino ($\sigma_{nl}$) se correlaciona fuertemente con errores no lambertianos ($r=0.67$), mientras que el canal de textura ($\sigma_{tex}$) no lo hace. Esta especialización específica de la fuente es única en comparación con los estimadores de incertidumbre escalar.
• Generalización: El comportamiento separable por fuente persiste en fotografías reales fuera de la distribución (sin ajuste fino), mostrando $\sigma_{nl}$ una correlación positiva con los residuos no lambertianos predichos.

4.3 Hallazgos Negativos

• Variantes Complejas: Una variante que combina cinco mecanismos avanzados (enrutamiento de frecuencia, supervisión de tareas cruzadas, aprendizaje evidencial, pérdida contrastiva, TTA) resultó en una caída de 3.4 dB en el S PSNR y una correlación negativa entre incertidumbre y error.
• Ablación: El análisis de "uno fuera" mostró que ningún componente individual de la variante compleja mejoró la línea base, indicando que el fallo no se debió a un componente "malo" sino a la incompatibilidad de los mecanismos combinados.

5. Significancia y Afirmaciones

El artículo argumenta que la comunidad de descomposición de imágenes intrínsecas ha sido engañada por protocolos de evaluación excesivamente permisivos. La significancia principal radica en:

1. Corrección del Protocolo: Establecer las divisiones a nivel de escena como el estándar necesario para prevenir la fuga de datos, proporcionando números de referencia para seis modelos bajo este protocolo.
2. Interpretabilidad sobre Métricas Brutas: Demostrar que, aunque el método propuesto no supera drásticamente a las líneas base más simples en PSNR, su incertidumbre separable por fuente proporciona información única y accionable (por ejemplo, distinguir reflejos especulares de la textura) que los ensembles escalares no pueden ofrecer.
3. Evaluación Disciplinada: El artículo advierte contra la "acumulación de características" (añadir módulos complejos) sin una ablación rigurosa. Sugiere que, para problemas inversos mal planteados, la restricción arquitectónica disciplinada a menudo produce resultados más robustos que las combinaciones complejas y no verificadas de mecanismos.

Los autores concluyen que la cuantificación de la incertidumbre es un complemento natural y poco explorado a la descomposición intrínseca, ofreciendo herramientas para tareas descendentes como el re-iluminado y la edición de materiales, donde conocer los límites de la descomposición es crítico.