MLG-Stereo: ViT Based Stereo Matching with Multi-Stage Local-Global Enhancement

Resumen Técnico: MLG-Stereo

1. Planteamiento del Problema

El emparejamiento estéreo (stereo matching) busca estimar mapas de disparidad densos a partir de pares de imágenes. Aunque los métodos basados en Redes Neuronales Convolucionales (CNN) han logrado un alto rendimiento en la predicción de detalles locales y admiten entradas de resolución arbitraria, carecen de una capacidad robusta de generalización "zero-shot" (sin entrenamiento previo en el dominio objetivo) y tienen campos receptivos limitados para capturar contextos globales.

Por otro lado, los métodos basados en Transformers de Visión (ViT) y Modelos Fundacionales de Visión (VFMs) ofrecen una comprensión global robusta y excelentes capacidades zero-shot. Sin embargo, sufren de dos limitaciones críticas:

1. Sensibilidad a la resolución: Su rendimiento se degrada significativamente en imágenes de ultra-alta resolución o cuando la escala de inferencia difiere de la de entrenamiento.
2. Pérdida de detalles locales: Tienen dificultades para recuperar detalles finos y geométricos locales en comparación con las CNN.
3. Subutilización de información global: Las arquitecturas actuales suelen restringir el modelado global solo a la etapa de codificación (encoder), no aprovechando la información global durante la optimización iterativa de la disparidad, lo que lleva a óptimos locales y convergencia lenta.

2. Metodología Propuesta: MLG-Stereo

Los autores proponen MLG-Stereo, un pipeline unificado que extiende la mejora local-global a todas las etapas del proceso de emparejamiento estéreo basado en ViT. La arquitectura consta de tres componentes principales:

• A. Red de Características de Multi-Granularidad (MGFN - Multi-Granularity Feature Network):

  • Objetivo: Superar la restricción de resolución fija de los VFMs y equilibrar la información semántica global con los detalles geométricos locales.
  • Funcionamiento: Utiliza una arquitectura jerárquica de pesos compartidos basada en DINOv2. Procesa simultáneamente:
    1. Imágenes completas: Para capturar contexto global.
    2. Parches de imágenes (a resolución completa y media): Para extraer detalles finos.
  • Resultado: Fusiona estas características en una pirámide de características que permite la extracción precisa de características para entradas de cualquier escala, cerrando la brecha entre entrenamiento e inferencia.

• B. Volumen de Costos Local-Global (LGCV - Local-Global Cost Volume):

  • Objetivo: Capturar tanto información de coincidencia local como global sin incurrir en un costo computacional prohibitivo.
  • Funcionamiento:
    • Construye un Volumen de Costos Local (LCV) mediante correlación de grupos (GWC) y regularización local.
    • Construye un Volumen de Costos Global (GCV) utilizando tokens latentes para comprimir la dimensión de disparidad y aplicar mecanismos de atención bidireccional. Esto permite agregar información de correlación a larga distancia de manera eficiente.
  • Innovación: Utiliza tokens latentes para condensar la información de correlación amplia, permitiendo una agregación global eficiente dentro de límites de memoria hardware.

• C. Unidad Recurrente Guiada Local-Global (LGRU - Local-Global Guided Recurrent Unit):

  • Objetivo: Optimizar iterativamente la disparidad local bajo la guía de información global.
  • Funcionamiento: En cada iteración, el módulo utiliza el LCV para obtener una estimación local inicial y luego aplica atención cruzada entre esta información local y el GCV (información global).
  • Resultado: Esto inyecta "priors" de coincidencia global en las actualizaciones locales, corrigiendo la dirección de optimización en regiones ambiguas (mal planteadas), logrando una convergencia más rápida y robusta.

3. Contribuciones Clave

1. Pipeline Unificado: Es el primer marco que extiende sistemáticamente la mejora local-global a todas las etapas (codificación, volumen de costos y decodificación iterativa) en métodos basados en ViT.
2. Soporte Nativo de Resolución Arbitraria: Gracias al MGFN, el modelo puede manejar imágenes de cualquier tamaño sin pérdida significativa de detalles, superando la limitación de los VFMs tradicionales.
3. Eficiencia en Coincidencia Global: El diseño de LGCV y LGRU permite utilizar información global durante la optimización iterativa sin explotar la memoria, mejorando la robustez en regiones difíciles (texturas repetitivas, oclusiones).
4. Rendimiento Zero-Shot: Mantiene la fuerte capacidad de generalización de los modelos fundacionales de visión.

4. Resultados Experimentales

El modelo fue evaluado en tres conjuntos de datos de referencia estándar: Middlebury, KITTI-2012 y KITTI-2015.

• Middlebury: MLG-Stereo alcanzó un rendimiento líder, superando a métodos recientes como AIO-Stereo y FoundationStereo. En la métrica Bad 2.0, mejoró un 25.42% sobre AIO-Stereo y un 4.35% sobre FoundationStereo. Demostró una adaptación robusta a imágenes de ultra-alta resolución.
• KITTI-2015: Logró el error D1-all más bajo entre los métodos comparados, superando a AIO-Stereo en un 11.69% y a Monster en un 3.55%.
• KITTI-2012: Obtuvo resultados altamente competitivos, con mejoras significativas en regiones de difícil predicción (huecos, texturas débiles).
• Generalización Zero-Shot: Al entrenar solo con datos sintéticos (SceneFlow), el modelo demostró un rendimiento superior en el conjunto de datos Middlebury no visto, superando a la mayoría de los métodos basados en CNN y ViT.
• Eficiencia: Aunque utiliza un backbone pesado (DINOv2), la compresión de tokens latentes en el LGCV reduce el costo computacional en escenarios de gran disparidad en comparación con otros métodos basados en VFMs (como FoundationStereo), siendo más rápido y consumiendo menos memoria.

5. Significado e Impacto

El trabajo MLG-Stereo representa un avance significativo al resolver la dicotomía histórica entre los métodos basados en CNN (buenos en detalles locales, pobres en contexto global) y los basados en ViT (buenos en contexto global, pobres en detalles locales y resolución).

• Avance Teórico: Demuestra que la integración de guías globales en la etapa de optimización iterativa es crucial para resolver ambigüedades en regiones mal planteadas.
• Aplicación Práctica: Su capacidad para manejar resoluciones arbitrarias y su fuerte generalización zero-shot lo hacen ideal para aplicaciones del mundo real como la conducción autónoma, la robótica y la realidad aumentada, donde las condiciones de iluminación y resolución varían dinámicamente.
• Futuro: Los autores identifican que, aunque el rendimiento es superior, el costo computacional sigue siendo alto para dispositivos de borde, proponiendo futuras líneas de trabajo en destilación de conocimiento y modelos más ligeros, así como la integración de priors específicos de profundidad.

En conclusión, MLG-Stereo establece un nuevo estado del arte al combinar la precisión de los detalles locales con la robustez del contexto global, superando las limitaciones de las arquitecturas anteriores en escenarios desafiantes.