Resumen Técnico: StereoGenBench

Declaración del Problema

La generación de imágenes y videos estereoscópicos, la estimación de geometría estereoscópica y la síntesis de vistas controlada por condiciones requieren fundamentalmente datos emparejados donde las variables que gobiernan la geometría binocular —específicamente la línea base de la cámara, los parámetros intrínsecos, la profundidad de la escena y el movimiento de la cámara— sean conocidos y controlables. Los recursos existentes son insuficientes para este requisito de dos maneras principales:

1. Puntos de referencia del mundo real (por ejemplo, KITTI, Cityscapes, DrivingStereo) fijan la línea base y los parámetros intrínsecos del montaje de cámaras en el momento de la captura. Aunque son valiosos, confunden el comportamiento a escala estereoscópica de un método con la distribución específica de la escena y la configuración de hardware fija utilizadas durante la captura. La profundidad métrica a menudo es dispersa o está ausente.
2. Recursos sintéticos (por ejemplo, Scene Flow, SimStereo, StereoCarla) proporcionan supervisión renderizada densa, pero típicamente mantienen configuraciones de montaje fijas e intrínsecos constantes. No ofrecen una verdad fundamental calibrada multi-línea base emparejada por escena donde la línea base sea una variable controlada en lugar de un parámetro de molestia fijo.

Los autores argumentan que la línea base no es una variable de molestia; para un par estereoscópico rectificado, la disparidad escala como $d = B f_x z^{-1}$. Entrenar y evaluar métodos solo a una línea base fija oscurece si el rendimiento cambia con la línea base realizada o si una vista generada coincide con una cámara objetivo especificada. Existe una falta de recursos que proporcionen una verdad fundamental de vista derecha calibrada multi-línea base emparejada por escena, con intrínsecos registrados conjuntamente, profundidad métrica densa y poses por cuadro en una única fuente controlada.

Metodología: StereoGenBench

StereoGenBench es un punto de referencia sintético generado utilizando Unreal Engine, diseñado para hacer medibles la sensibilidad al régimen de línea base y la consistencia con la cámara objetivo bajo contenido de escena coincidente.

Pipeline de Generación de Datos

• Montaje de Seis Cámaras: Cada escena se renderiza utilizando una matriz lateral rígida y rectificada de seis cámaras sincronizadas. Esta configuración produce hasta $\binom{6}{2} = 15$ pares de vistas calibrados por escena.
• Variables Controladas: A diferencia de los conjuntos de datos sintéticos anteriores, StereoGenBench varía cuatro ejes dentro de una única fuente mientras preserva la verdad fundamental emparejada:
  • Línea base: Los espaciados adyacentes se muestrean desde regímenes específicos.
  • Intrínsecos: La longitud focal y las dimensiones del sensor se muestrean independientemente y se registran.
  • Profundidad: Se renderiza profundidad métrica densa para cada cámara.
  • Poses: Se registran las poses de las seis cámaras por cuadro.
• Familias de Muestreo de Línea Base:
  • IPD_Gaussian: Muestrea espaciados adyacentes desde una Gaussiana truncada centrada en 6.38 cm (distancia interpupilar), reflejando regímenes de línea base estrecha.
  • Uniforme: Muestrea espaciados adyacentes desde una distribución uniforme $U[1.0, 150.0]$ cm, definiendo una rama de evaluación de línea base ancha.
  • Pairwise_Uniform: Una familia solo de entrenamiento diseñada para mejorar la cobertura de línea base de todos los pares cuando el montaje de seis cámaras se expande a todos los 15 pares.
• Construcción de Escenas: Las escenas se construyen mediante un proceso de propuesta y filtrado que involucra 25 mapas (interior, exterior, urbano, natural, ciencia ficción, estilizado), 15 archivos FBX de personajes y 30 archivos FBX de acciones. Las trayectorias se generan muestreando puntos de vista válidos y conectándolos en rutas de 81 cuadros, con procedimientos de reinicio y unión para transiciones inválidas.
• Salida: Cada escena incluye seis videos RGB, seis videos de profundidad métrica y archivos de metadatos (baseline.json, trajectory.json) que contienen intrínsecos, líneas base y poses. La resolución es de 1280 $\times$ 1280 a 15 fps.

Protocolo del Punto de Referencia

El punto de referencia evalúa la generación de la vista derecha bajo tres condiciones de inferencia distintas (niveles) para separar diferentes preguntas de investigación:

• Nivel G0 (Geometría Condicionada por Oráculo): Los métodos reciben la vista izquierda ($I_L$) más la geometría de la vista objetivo (por ejemplo, disparidad de verdad fundamental, profundidad o una vista derecha deformada). Esto mide la calidad de síntesis bajo geometría conocida.
• Nivel G1 (Cámara Objetivo Calibrada): Los métodos reciben $I_L$ y metadatos de la cámara objetivo (línea base $B$ e intrínsecos $K$) pero ninguna profundidad de verdad fundamental.
• Nivel G2 (Monocular Desalineado): Los métodos reciben solo $I_L$ y dependen de su propia geometría implícita.

Métricas de Evaluación

Los resultados se reportan utilizando tres grupos de métricas:

1. Calidad de Reconstrucción: PSNR, SSIM y LPIPS comparando las vistas generadas ($\hat{I}_R$) y las vistas objetivo renderizadas ($I_R$).
2. Diagnósticos de Geometría Estereoscópica:
   • $E_{Match}$: Mide el cambio en el conjunto de estructuras de la imagen izquierda que pueden coincidir estereoscópicamente al reemplazar la vista derecha renderizada con la generada.
   • P-PSNR: Un diagnóstico de consistencia libre de objetivo que mide la similitud de textura local.
   • SD (Desviación de Escala): Mide la fidelidad de la escala de disparidad ajustando $D_{gt} \approx a \hat{D} + b$ y reportando $|a - 1|$.
3. Métricas Distribucionales: FID (imagen) y FVD (video) comparando las distribuciones generadas y las distribuciones objetivo renderizadas.

Contribuciones Clave

El artículo contribuye con:

1. Conjunto de Datos StereoGenBench: Un recurso sintético emparejado por escena que presenta un montaje calibrado de seis cámaras, profundidad métrica densa, intrínsecos, líneas base por par y poses por cuadro.
2. Diseño de División: Una separación de la evaluación a escala de IPD estrecha, la evaluación de línea base ancha y una familia de todos los pares solo de entrenamiento para mejorar la cobertura de línea base.
3. Protocolo de Punto de Referencia: Un marco de evaluación por niveles que distingue entre configuraciones de inferencia condicionadas por geometría de oráculo, cámara objetivo calibrada y monocular desalineada.
4. Lanzamiento Abierto: Disponibilidad pública del conjunto de datos, código de evaluación, resultados de referencia, metadatos Croissant y el pipeline de generación completo, permitiendo extensiones con activos personalizados.

Resultados de Referencia

Los autores reportan resultados en 739 escenas de evaluación (divididas en subconjuntos de mapa visto y mapa no visto) utilizando métodos públicos representativos.

• Diferencias entre Niveles: Como era de esperar, los métodos condicionados por geometría de oráculo (G0) logran una alineación de píxeles más fuerte (PSNR/SSIM más altos) porque sus entradas están ancladas a la verdad fundamental. Los métodos monoculares desalineados (G2) muestran una mayor deriva de escala de disparidad (SD más alto) porque sus salidas no están ancladas a la cámara objetivo del punto de referencia.
• Sensibilidad a la Línea Base: El punto de referencia aísla con éxito los efectos de la línea base. Por ejemplo, en la rama Uniforme, el SD del método G2 Mono2Stereo aumenta monótonamente de 2.63 en [1, 10) cm a 50.85 en [100, 150] cm. En contraste, el método G0 GenStereo permanece estable (0.03–0.09) a través de los mismos intervalos.
• Dificultad: La rama Uniforme (línea base ancha) es generalmente más difícil que la rama IPD_Gaussian, reflejando disparidades realizadas más grandes y más desoclusión.
• Generalización: Los resultados de mapas no vistos muestran que, aunque la coincidibilidad ($E_{Match}$) permanece relativamente estable, las métricas distribucionales (FID/FVD) muestran brechas más grandes entre mapas vistos y no vistos, indicando sensibilidad a los priores visuales.

Significado y Afirmaciones

El artículo posiciona a StereoGenBench como un recurso complementario a los puntos de referencia existentes del mundo real y sintéticos, en lugar de un reemplazo. Su significado principal radica en aislar la variable de línea base para la evaluación de la generación estereoscópica. Al renderizar contenido de escena coincidente bajo diferentes regímenes de línea base calibrados, el punto de referencia permite a los investigadores:

• Determinar si el rendimiento cambia con la línea base realizada.
• Verificar si una vista derecha generada coincide con una cámara objetivo especificada.
• Diagnosticar si los métodos utilizan interfaces de cámara objetivo calibradas o producen estereoscopía a una escala implícita preferida.

Los autores declaran explícitamente que los resultados en este conjunto de datos sintéticos no deben tratarse como evidencia directa del rendimiento en el mundo real sin estudios de correlación separados. El punto de referencia está destinado a evaluar tareas conscientes de la geometría (generación estereoscópica, coincidencia, estimación de profundidad) bajo condiciones controladas, no para vigilancia, identificación biométrica o análisis demográfico. El lanzamiento permite estudios futuros sobre el condicionamiento de línea base, la generación estereoscópica multi-par y la correlación sim-a-real.