Resumen Técnico: H-OmniStereo

Enunciado del Problema

La correspondencia estereoscópica en imágenes ecuatoriales apiladas verticalmente (top-bottom) ofrece un marco rentable para la percepción 360° completa, aprovechando las líneas epipolares alineadas verticalmente para utilizar arquitecturas avanzadas de estereoscopía en perspectiva. Sin embargo, el rendimiento de las adaptaciones existentes está severamente limitado por dos factores principales:

1. Escasez de Datos: Existe una falta de conjuntos de datos estereoscópicos omnidireccionales a gran escala, diversos y calibrados con precisión. Los conjuntos de datos existentes (por ejemplo, Deep360, 360SD-Net) son limitados en variedad de escenas, configuraciones de cámara y escala, lo que conduce a una pobre generalización zero-shot.
2. Degradación de Priors: Los modelos fundamentales de profundidad monoculares estándar, entrenados con imágenes en perspectiva, sufren distorsiones esféricas cuando se aplican a entradas ecuatoriales. Además, los recientes modelos de profundidad ecuatoriales predicen la distancia radial al centro de la esfera, lo que resulta en valores de profundidad inconsistentes para el mismo punto 3D a través de las vistas superior e inferior. Esta inconsistencia hace que sus características sean inadecuadas como priors para establecer correspondencias estereoscópicas fiables.

Metodología

Los autores proponen H-OmniStereo, un marco de correspondencia estereoscópica omnidireccional zero-shot diseñado para abordar estas limitaciones mediante un conjunto de datos sintético a gran escala y un prior geométrico novedoso.

1. Conjunto de Datos Sintético a Gran Escala

Para superar la escasez de datos, los autores construyeron un conjunto de datos sintético de alta calidad utilizando NVIDIA Isaac Sim, que comprende más de 2,8 millones de pares estereoscópicos ecuatoriales top-bottom.

• Diversidad: El conjunto de datos abarca más de 1.000 escenas y 800.000 activos 3D diversos. Incluye tanto diseños fijos (de GRUtopia y HM3D) como diseños aleatorizados (configuraciones caóticas y realistas con iluminación, materiales y colocación de objetos variados).
• Configuración: Las bases de las cámaras se aleatorizan (0,05 m–0,5 m) y las poses incluyen roll y pitch aleatorizados (±45°).
• Escala: Este conjunto de datos es aproximadamente 70 veces más grande que el mayor conjunto de datos estereoscópicos omnidireccionales anterior y ofrece una diversidad significativamente mayor.

2. Priors de Normales Alineadas con el Rumbo

En lugar de depender de priors de profundidad, el marco utiliza un estimador de normales monoculares que opera en un sistema de coordenadas alineado con el rumbo.

• Sistema de Coordenadas: A diferencia de la estimación de normales estándar que utiliza un sistema de coordenadas de cámara fijo, este enfoque define las normales en un sistema que varía con la longitud y rota con la longitud del píxel.
• Beneficios: Este diseño asegura que patrones locales idénticos correspondan al mismo vector normal independientemente de la rotación del rumbo. Mejora la eficiencia del entrenamiento, proporciona priors robustos a la distorsión y acomoda naturalmente las discrepancias de Campo de Visión (FoV) entre entrenamiento y prueba, así como el recorte aleatorio durante el entrenamiento.
• Entrenamiento: El estimador de normales se entrena con 8,4 millones de imágenes, combinando los datos estereoscópicos sintéticos con imágenes monoculares adicionales de conjuntos de datos existentes (Structured3D, TartanAir V2, SpatialGen).

3. Arquitectura de la Red

El pipeline de H-OmniStereo sigue un enfoque de optimización iterativa:

• Extracción de Características: Una base ViT extrae características multiescala, que se fusionan con embebidos de rayos conscientes de la esfera mediante atención cruzada. El estimador de normales alineado con el rumbo proporciona priors geométricos, que se integran con las características de la imagen mediante un Adaptador de Ajuste Lateral (Side-Tuning Adapter).
• Correspondencia Iterativa: Se construye un volumen de costos híbrido 4D y se filtra utilizando Filtrado de Costos Híbridos Atentos. La disparidad se refina iterativamente utilizando bloques ConvGRU.
• Estimación de Incertidumbre: Un módulo ConvGRU auxiliar se ejecuta en paralelo al refinamiento de la disparidad, cuantificando explícitamente la fiabilidad de las predicciones para filtrar puntos clave poco fiables.

Contribuciones Clave

1. Construcción de Conjunto de Datos: La creación de un conjunto de datos sintético masivo y diverso (2,8 millones de pares) que supera significativamente a los puntos de referencia existentes en escala y variedad, sirviendo como base para la generalización zero-shot.
2. Estimador de Normales Alineado con el Rumbo: La propuesta de un método novedoso de estimación de normales en un sistema de coordenadas alineado con el rumbo. Este enfoque elimina la carga de distinguir normales que varían espacialmente para patrones idénticos, mejorando la robustez frente a discrepancias de FoV y distorsiones esféricas.
3. Generalización Zero-Shot: La demostración de que un único modelo entrenado con estos datos sintéticos y que utiliza estos priors específicos puede lograr alta precisión en conjuntos de datos fuera de dominio y configuraciones de cámaras de consumo del mundo real sin ajuste fino.

Resultados Experimentales

Extensos experimentos validan la superioridad del marco sobre los métodos existentes (por ejemplo, 360SD-Net, MODE, 360-IGEV-Stereo, DFI-OmniStereo):

• Correspondencia Estereoscópica: En conjuntos de datos fuera de dominio (3D60, 3D60 Warp, MVS GI), H-OmniStereo logra un Error Absoluto Medio (MAE) significativamente menor y porcentajes de valores atípicos más altos (BP-1, D1) en comparación con las líneas base. Por ejemplo, en el conjunto de datos 3D60, redujo el MAE de ~0,679 (360SD-Net) a 0,103.
• Generalización: El modelo se generaliza con éxito a configuraciones de cámaras de consumo 360° del mundo real, reconstruyendo detalles más finos y disposiciones espaciales más precisas que las líneas base.
• Estudios de Ablación:
  • Reemplazar el prior de normales alineado con el rumbo por modelos de profundidad en perspectiva (DepthAnythingV2) o modelos de profundidad ecuatoriales (DA2) resultó en un rendimiento degradado, confirmando la necesidad de priors geométricos consistentes.
  • Escalar los datos de entrenamiento de 522K a 2,8 millones de pares mejoró consistentemente la precisión.
  • La representación alineada con el rumbo mostró una robustez superior frente a discrepancias de FoV entre entrenamiento y prueba en comparación con las normales de coordenadas de cámara estándar.
• Aplicación: Integrado en un pipeline de odometría visual, el método logró un Error de Traducción Relativa (RTE) y un Error de Rotación Relativa (RRE) más bajos en comparación con una línea base de estereoscopía de agujero de alfiler de última generación (FoundationStereo), atribuido a la utilización de información completa de 360° y al filtrado de incertidumbre.

Significado

El artículo posiciona a H-OmniStereo como un paso significativo hacia adelante para superar las limitaciones de datos y priors que históricamente han obstaculizado la correspondencia estereoscópica omnidireccional. Al desacoplar la dependencia de priors de profundidad distorsionados y, en su lugar, utilizar priors de normales robustos y consistentes dentro de un marco alineado con el rumbo, los autores demuestran que se puede lograr una percepción 360° de alta calidad de manera zero-shot. El trabajo establece que, con suficiente diversidad de datos sintéticos y priors geométricamente consistentes, los modelos pueden generalizarse eficazmente a escenarios del mundo real no vistos, cerrando la brecha entre el entrenamiento sintético y la percepción omnidireccional de grado de consumo.