ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching

Resumen Técnico: ESMStereo

Planteamiento del Problema
La correspondencia estéreo (stereo matching) es un componente crítico para los sistemas autónomos, sin embargo, desarrollar modelos de aprendizaje profundo que entreguen simultáneamente alta precisión y rendimiento en tiempo real sigue siendo un desafío significativo. En la correspondencia estéreo basada en volúmenes de costo, la estimación precisa de la disparidad depende típicamente de volúmenes de gran escala. Sin embargo, estos volúmenes grandes almacenan una cantidad sustancial de información redundante y requieren unidades de agregación 3D computacionalmente intensivas, lo que imposibilita el rendimiento en tiempo real en dispositivos con recursos limitados. Por el contrario, la construcción de volúmenes de costo de pequeña escala con unidades de agregación ligeras facilita la inferencia en tiempo real, pero a menudo resulta en una degradación significativa de la precisión debido a la información de correspondencia insuficiente y la pérdida de detalles geométricos. Las estrategias existentes para mitigar este compromiso, como el sobremuestreo consciente de bordes (edge-aware upsampling) o el refinamiento guiado por características, a menudo luchan por recuperar eficazmente los detalles de alta frecuencia o introducen un exceso de carga computacional.

Metodología
Los autores proponen ESMStereo (Enhanced ShuffleMixer Stereo), una arquitectura de correspondencia estéreo en tiempo real diseñada para equilibrar la velocidad y la precisión mediante el desplazamiento de la complejidad computacional de la etapa de agregación 3D a una etapa de regresión post-disparidad 2D. La arquitectura consta de tres componentes primarios:

1. Volumen de Costo Compacto y Agregación Ligera: La red construye volúmenes de costo a resoluciones reducidas (1/4, 1/8 o 1/16 de la imagen original) utilizando extractores de características eficientes (EfficientNet-B2 para las variantes más grandes, MobileNetV2 para la variante pequeña). Estos volúmenes son procesados por una red hourglass 3D ligera para generar un mapa de disparidad inicial de baja resolución.
2. Módulo Enhanced ShuffleMixer (ESM): Esta es la contribución central del artículo. El módulo ESM aborda la pérdida de información inherente a los volúmenes de costo de pequeña escala a través de un proceso de sobremuestreo multietapa:
   • Fusión de Características: Extrae características del mapa de disparidad inicial de baja resolución y las fusiona con las características contextuales de la imagen izquierda.
   • Enhanced ShuffleMixer: Las características fusionadas se procesan a través de FMBlocks (Feature Mixer Blocks). Estos bloques utilizan una capa de mezcla de barajado (Shuffle Mixing Layer) que aplica LayerNorm, un MLP de división de canales con conexiones residuales y convoluciones de profundidad (depthwise convolutions). Este mecanismo mezcla las características mediante barajado y división de capas para enfocarse eficientemente en las correlaciones locales.
   • Pixel Shuffle y Refinamiento: Las características mezcladas se sobremuestrean utilizando la operación de pixel shuffle, que es computacionalmente eficiente. Para compensar la falta de suavizado inherente al pixel shuffle, se emplea una red de refinamiento hourglass guiada por características y compacta. Esta red recupera la geometría fina de la escena y suaviza la estimación de la disparidad integrando contextos globales y locales.
3. Sobremuestreo Progresivo: El mapa de disparidad se sobremuestrea en múltiples etapas (por ejemplo, de 1/16 a 1/4 a 1/1) utilizando el módulo ESM, lo que permite a la red refinar progresivamente el mapa de disparidad manteniendo velocidades de tiempo real.

Contribuciones Clave

• Enhanced ShuffleMixer (ESM): La introducción de un sobremuestreador rápido guiado por características que integra la fusión de características, el enfoque en la correlación local mediante capas ShuffleMixer y una red de refinamiento hourglass ligera para recuperar los detalles de la escena perdidos durante la agregación inicial de baja resolución.
• Estrategia de Eficiencia Computacional: Un diseño de arquitectura novedoso que minimiza la carga computacional de los volúmenes de costo 3D y los módulos de agregación, transfiriendo la carga de trabajo a la etapa de regresión post-disparidad, donde módulos 2D eficientes recuperan los detalles de la escena estéreo.
• Benchmarks de Rendimiento: La demostración de un rendimiento competitivo en tiempo real a través de múltiples escalas (ESMStereo-S, M y L), logrando una alta precisión en benchmarks estándar mientras mantiene tiempos de inferencia bajos.

Resultados Experimentales
Los autores evaluaron ESMStereo en los conjuntos de datos SceneFlow, KITTI 2012, KITTI 2015, ETH3D y Middlebury 2014.

• SceneFlow: La variante ESMStereo-L-gwc logró un Error de Punto Final (EPE) de 0.53 píxeles con un tiempo de inferencia de 26 ms en una RTX 4070 Super. La variante ligera ESMStereo-S-gwc logró un EPE de 1.10 píxeles a 116 FPS.
• Benchmarks KITTI: En KITTI 2012, ESMStereo-L-gwc logró un error D1 de 5.4%, y en KITTI 2015, alcanzó un 5.5%. Estos resultados posicionan al modelo competitivamente frente a métodos de tiempo real de vanguardia, superándolos a menudo en precisión mientras mantienen velocidades de inferencia similares o más rápidas.
• Despliegue en el Borde (Edge): En la NVIDIA Jetson AGX Orin, el modelo ESMStereo-S-gwc logró 91 FPS con un error D1 de 10.8%, demostrando su idoneidad para dispositivos de borde.
• Generalización: Los modelos entrenados exclusivamente en el conjunto de datos sintético SceneFlow mostraron una fuerte generalización a conjuntos de datos del mundo real (KITTI, ETH3D, Middlebury), indicando una robusta adaptabilidad a escenarios no vistos.
• Estudios de Ablación: Los experimentos confirmaron que el volumen de costo de correlación por grupos (group-wise correlation) supera a la correlación normal, y que la combinación del FMBlock y el refinamiento hourglass guiado por características reduce significamente el EPE en comparación con las configuraciones base.

Significancia y Reivindicaciones
El artículo afirma que ESMStereo aborda con éxito el compromiso entre velocidad y precisión en la correspondencia estéreo al mitigar la pérdida de información asociada con los volúmenes de costo de pequeña escala. Al utilizar el Enhanced ShuffleMixer, la red restaura eficazmente los detalles críticos y la geometría de la escena sin depender de operaciones 3D computacionalmente costosas durante la fase de sobremuestreo. Los autores sostienen que este diseño permite la integración de contextos tanto globales como locales, resultando en mapas de disparidad altamente precisos en tiempo real. El trabajo se posiciona como un paso significativo hacia adelante para los sistemas autónomos en tiempo real, ofreciendo una solución compacta, eficiente y precisa que se generaliza bien a través de diversos conjuntos de datos y plataformas de hardware, incluyendo dispositivos de borde con recursos limitados. El código fuente se pone a disposición para facilitar la investigación y el despliegue posteriores.