Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo

Resumen Técnico: Rectificación Epipolar de Esférico a ERP para Disparidad de Eje Único en Estéreo de 360°

Planteamiento del Problema
Las cámaras omnidireccionales (esféricas/fisheye) ofrecen una percepción de todo el entorno esencial para la robótica y la navegación autónoma, pero sus propiedades geométricas violan los supuestos fundamentales de la estimación de disparidad estéreo clásica. En el estéreo rectilíneo, la disparidad es una cantidad unidimensional alineada con un único eje epipolar. En contraste, los pares estéreo esféricos brutos presentan trayectorias epipolares curvas (arcos de círculo máximo) en la esfera de visión. En consecuencia, las correspondencias en el plano de la imagen se manifiestan como desplazamientos bidimensionales (componentes tanto horizontales como verticales), incluso bajo una calibración ideal. La aplicación ingenua de heurísticas de disparidad planar o de magnitudes de flujo óptico estándar a estos inputs conduce a errores sistemáticos y un rendimiento frágil, particularmente en regiones de baja textura. Si bien los enfoques recientes de aprendizaje profundo para profundidad omnidireccional suelen utilizar la Proyección Equirectangular (ERP) como un dominio geomético estable, persiste una brecha en la comprensión de si los pipelines de flujo óptico estándar, sin modificaciones, pueden extraer eficazmente la disparidad de eje único de entradas esféricas tras dicha rectificación.

Metodología
El enfoque propuesto adopta un pipeline modular que externaliza la complejidad geométrica a través del preprocesamiento en lugar de integrarla dentro de una red monolítica. La metodología consta de tres etapas primarias:

1. Rectificación de Esférico a ERP: Las imágenes estéreo fisheye originales se proyectan al dominio de la Proyección Equirectangular (ERP). Este mapeo transforma las coordenadas esféricas (longitud y latitud) en una rejilla 2D. Crucialmente, esta proyección endereza las curvas de los círculos máximos epipolares en líneas de escaneo rectas alineadas con los ejes de la imagen. Dependiendo de la configuración del rig estéreo:

   • Rigs Izquierda–Derecha: Las líneas epipolares se vuelven horizontales, produciendo disparidades puramente horizontales ($\Delta u$).
   • Rigs Arriba–Abajo: Las líneas epipolares se vuelven verticales, produciendo disparidades puramente verticales ($\Delta v$).
     Este paso restaura la estructura de disparidad unidimensional requerida por los algoritmos basados en correspondencia.

2. Estimación de Flujo Óptico Denso: Una vez que las imágenes están en el dominio ERP, se aplica un flujo óptico denso estándar, específicamente RAFT [13], al par estéreo rectificado. RAFT estima un campo de flujo de dos canales que representa el desplazamiento 2D entre las imágenes izquierda y derecha.

3. Selección de Canal Alineado con el Epipolo (EACS): Basándose en el trabajo previo de los autores [16], el pipeline aplica EACS al campo de flujo. Dado que la rectificación ERP asegura que la disparidad real existe solo a lo largo del eje alineado con la línea base, el método descarta el componente de flujo ortogonal.

   • Para rigs izquierda–derecha, solo se retiene el canal de flujo horizontal.
   • Para rigs arriba–abajo, solo se retiene el canal de flujo vertical.
     Esta proyección convierte el flujo óptico directamente en un mapa de disparidad de eje único sin necesidad de reentrenar la red o diseñar una arquitectura esférica especializada.

Contribuciones Clave
El artículo realiza cuatro contribuciones específicas:

1. Rectificación Consciente de la Geometría: Demuestra que proyectar pares fisheye a ERP genera líneas de escaneo alineadas con el epipolo, convirtiendo efectivamente los desplazamientos esféricos inherentemente 2D en disparidades de eje único.
2. Extracción Directa de Disparidad: Establece que, en el dominio ERP, la disparidad puede obtenerse simplemente seleccionando el componente de flujo alineado con la línea base y descartando el componente ortogonal, lo que permite un post-procesamiento ligero sin reentrenamiento de la red.
3. Pipeline de Teoría a la Práctica: El trabajo formaliza el mapeo fisheye-a-ERP y las restricciones de orientación, proporcionando una receta práctica para la extracción de disparidad de eje único a partir de entradas esféricas, validada en datos esféricos sintéticos.
4. Modularidad y Desplegabilidad: El enfoque funciona como una etapa de preprocesamiento "drop-in" para estimadores de correspondencia existentes (incluyendo RAFT), facilitando la integración en stacks de robótica donde la latencia y la interpretabilidad son críticas.

Resultos Experimentales
El pipeline fue evaluado en un conjunto de datos estéreo omnidireccional sintético generado en la TU Chemnitz, que consiste en vistas RGB fisheye con disparidad de verdad de campo (ground-truth) densa. Todos los métodos fueron probados sobre los mismos inputs rectificados por ERP a una resolución de 1600×1600 sin ajuste fino (fine-tuning).

• Precisión: El pipeline propuesto ERP + RAFT + EACS logró un Error Absoluto Medio (MAE) de 0.3007 y un Error Cuadrático Medio (RMSE) de 0.9470. La tasa de valores atípicos (outlier rate) D1-all fue de 0.40%, con tasas insignificantes para errores mayores a 3 píxeles (0.30%) y 5 píxeles (0.05%).
• Comparación: El método superó a redes de estéreo derivadas de RAFT establecidas (CREStereo, RAFT-Stereo, LEAStereo) en términos de precisión sobre estos datos esféricos rectificados por ERP. Por ejemplo, CREStereo mostró un MAE más alto (0.3581) y una tasa de valores atípicos D1-all más alta (0.98%).
• Eficiencia: El pipeline alcanzó un rendimiento de 10 fotogramas por segundo (FPS) en una GPU NVIDIA TU102, superando significativamente a los métodos comparados (que oscilaron entre 2.0 y 5.0 FPS).
• Análisis Cualitativo: Los resultados visuales indicaron que el método produce mapas de disparidad suaves y estructuralmente consistentes que preservan estructuras finas. Los errores se concentraron principalmente en las discontinuidades de profundidad y regiones indefinidas (p. ej., el cielo), lo cual es consistente con las bajas tasas de valores atípicos.

Significancia y Reivindicaciones
El artículo sostiene que la rectificación geométrica explícita mediante ERP permite que los algoritmos de correspondencia maduros y estándar operen correctamente en entradas estéreo esféricas sin la necesidad de redes esféricas personalizadas. La significancia es doble:

1. Puente Práctico: Proporciona una vía fundamentada para que los profesionales reutilicen estimadores de flujo óptico de alto rendimiento existentes para imágenes de 360°, evitando la complejidad de entrenar redes estéreo esféricas especializadas.
2. Eficiencia y Estabilidad: Al restaurar la naturaleza unidimensional de la disparidad, el enfoque mejora la estabilidad numérica y la eficiencia computacional. Colapsa la búsqueda de correspondencia a un solo eje, elimina la necesidad de volúmenes de costo 4-D que consumen mucha memoria y permite el despliegue en tiempo real en hardware comercial.

Los autores concluyen que, si bien el papel geométrico de la ERP está bien documentado, este trabajo valida que la representación rectificada es suficiente para la extracción de disparidad de eje único utilizando pipelines basados en flujo sin modificaciones, ofreciendo una solución sencilla y eficiente para la estimación de profundidad omnidireccional.