Cross-View Variance Correlation in Path-Traced Stereo:A Hidden Shortcut in Synthetic Training Data

Resumen Técnico: Correlación de la Varianza entre Vistas en Estéreo por Trazado de Caminos

Planteamiento del Problema
Las redes modernas de correspondencia estéreo (stereo-matching) se entrenan frecuentemente con datos sintéticos generados por trazadores de caminos basados en la física. Una suposición estándar en este flujo de trabajo es que el ruido residual de Monte Carlo (MC) en las vistas de la cámara izquierda y derecha se comporta como una perturbación aditiva, independiente e idénticamente distribuida (i.i.d.). Bajo esta suposición, las corrientes de ruido de las dos vistas son estadísticamente independientes debido a que están impulsadas por semillas de generadores de números aleatorios distintos. Sin embargo, este artículo desafía la suposición de que los campos de varianza derivados de estas corrientes de ruido también sean independientes. Los autores investigan si la varianza por píxel subyacente, que es una función determinista del integrando de renderizado, exhibe correlaciones ocultas entre vistas una vez alineadas geométricamente mediante la disparidad de verdad de campo (ground-truth).

Metodología
El estudio utiliza 20 escenas de interiores renderizadas con Mitsuba 3 a una resolución de 1280×720. Para cada escena, se generan $N=30$ imágenes independientes por cámara utilizando semillas aleatorias distintas con un valor predeterminado de 512 muestras por píxel (SPP).

1. Estimación de la Varianza: Los autores computan el campo de varianza de MC por píxel ($\sigma^2$) para ambas vistas, izquierda ($L$) y derecha ($R$), agregando las estimaciones de radiancia a través de las $N$ semillas.
2. Alineación entre Vistas: El campo de varianza de la vista derecha se deforma hacia el sistema de coordenadas de la vista izquierda utilizando el mapa de disparidad de verdad de campo ($d$), denotado como $\hat{\sigma}^2_{R\to L}$. Esta alineación imita la transformación de coordenadas implícita en los comparadores de estéreo basados en volúmenes de costo.
3. Análisis de Correlación: Se calcula el coeficiente de correlación de Pearson ($\rho$) entre el campo de varianza de la izquierda ($\sigma^2_L$) y el campo de varianza deformado de la derecha ($\hat{\sigma}^2_{R\to L}$) sobre los píxeles válidos.
4. Intervención Causal (Barajado de Residuos): Para probar si esta correlación actúa como una pista de correspondencia, los autores realizan una intervención de "barajado de residuos" (residual-shuffle). Descomponen las imágenes de la vista derecha en una imagen de media limpia ($\bar{I}_R$) y un componente de ruido residual ($\epsilon_R$). El residuo se baraja espacialmente en bloques de 16×16 antes de su reensamblaje. Esto preserva las estadísticas de la imagen limpia y la magnitud de la varianza, pero destruye la alineación espacial de los campos de varianza entre las vistas.
5. Evaluación de Métricas: El impacto de esta intervención se mide en volúmenes de costo utilizando dos funciones de costo: un SAD (Suma de Diferencias Absolutas) de residuos que aísla la señal de MC, y un costo de varianza utilizando directamente los campos de varianza. Las métricas incluyen el margen de costo de verdad de campo (GT cost margin) y la precisión de Ganador Toma Todo (WTA).

Resultados Clave

• Alta Correlación entre Vistas: Contrario a la suposición de independencia, los campos de varianza deformados están altamente correlacionados. A través de 20 escenas, la media de la correlación de Pearson es $\rho = 0.754 \pm 0.016$ con SPP=512.
• Invarianza de SPP: La correlación permanece esencialmente invariante ($\rho \approx 0.778$) a través de un rango de 16× en los presupuestos de muestreo (128 a 2048 SPP). Esto indica que la correlación es una propiedad determinista del integrando de renderizado de la escena, no un artefacto de la estimación de muestra finita.
• Dependencia de Materiales: La correlación depende fuertemente del material.
  • No-Vidrio (Lambertiano): $\rho \approx 0.78$.
  • Vidrio: $\rho \approx 0.30$.
  • Paradójicamente, los píxeles de vidrio exhiben la mayor magnitud absoluta de ruido (7× mayor que los no-vidrio) pero la menor correlación entre vistas.
• Impacto de la Intervención: Destruir la alineación entre vistas mediante el barajado de residuos degrada significativamente las métricas de rendimiento de correspondencia que dependen de la estructura de la varianza.
  • En píxeles no-vidrio, el margen de costo GT para el SAD de residuos se degrada en un 33%.
  • En píxeles de vidrio, la precisión WTA basada en varianza se degrada por un factor de 4.3×.
  • Estos resultados confirman que la estructura de varianza alineada funciona como una pista de correspondencia utilizable a nivel de volumen de costo.

Significancia y Reivindicaciones
El artículo identifica un "atajo oculto" en los datos sintéticos que no existe en los datos estéreo del mundo real. Los sensores binoculares reales poseen corrientes de ruido térmico y de disparo independientes, lo que resulta en una correlación de varianza entre vistas cercana a cero ($\rho \approx 0$). En contraste, los datos sintéticos trazados por caminos contienen una estructura de varianza entre vistas casi determinista impulsada por componentes de la escena independientes de la vista (por ejemplo, oclusión ambiental, iluminación indirecta).

Los autores argumentan que esta señal constituye un candidato a "atajo sim-to-real". Las redes estéreo entrenadas con tales datos pueden aprender inadvertidamente a explotar estos campos de varianza correlacionados como pistas de disparidad en lugar de depender únicamente de la correspondencia de intensidad. Debido a que esta señal es única de los datos renderizados por MC y persiste incluso con presupuestos de muestreo altos, representa un contribuyente previamente no reconocido a la brecha sim-to-real. El artículo concluye que, si bien la estructura es explotable, determinar hasta qué punto las redes entrenadas dependen de ella frente a las pistas de intensidad, y cómo mitigarlo sin sacrificar la utilidad de los datos, sigue siendo una pregunta abierta para trabajos futuros.