SMFormer: Empowering Self-supervised Stereo Matching via Foundation Models and Data Augmentation

1. El Problema

El emparejamiento estereoscópico (stereo matching) es fundamental para aplicaciones como la conducción autónoma, la robótica y la realidad aumentada. Los métodos basados en aprendizaje profundo actuales suelen requerir etiquetas de disparidad de "verdad terreno" (ground truth) costosas y difíciles de obtener.

Para evitar esto, los métodos auto-supervisados han ganado popularidad, basándose principalmente en la asunción de consistencia fotométrica (que un punto en el espacio 3D tiene el mismo aspecto en diferentes vistas). Sin embargo, esta asunción falla frecuentemente en escenarios del mundo real debido a:

• Reflexiones y superficies no lambertianas.
• Regiones sin textura (texturaless).
• Oclusiones.
• Variaciones de iluminación.

Estas perturbaciones generan señales de supervisión inválidas, lo que resulta en un rendimiento significativamente inferior en comparación con los métodos supervisados, especialmente en regiones desafiantes.

2. Metodología: SMFormer

Los autores proponen SMFormer, un marco de trabajo auto-supervisado que integra dos priorizaciones clave para mitigar las limitaciones de la consistencia fotométrica: Modelos Fundacionales de Visión (VFM) y Consistencia de Aumento de Datos.

A. Extracción de Características Híbrida (VFM + FPN)

• Integración de VFM: Utilizan un Modelo Fundacional de Visión pre-entrenado (específicamente SAM - Segment Anything Model) para proporcionar características globales robustas y discriminativas, especialmente útiles en áreas difíciles como reflexiones y falta de textura.
• Red de Pirámide de Características (FPN): Se mantiene la FPN tradicional para capturar detalles específicos del dominio objetivo.
• Mecanismo de Atención Multi-Capa (MLA): Dado que los VFMs entrenados para tareas de imagen única carecen de interacción geométrica entre vistas, los autores diseñan un módulo MLA. Este módulo introduce atención cruzada entre diferentes capas y vistas (izquierda/derecha), permitiendo que las características del VFM y la FPN se complementen. Esto mejora la representación de características en regiones ambiguas.

B. Estrategia de Aprendizaje Auto-Supervisado con Aumento de Datos

El marco utiliza dos ramas durante el entrenamiento: una rama estándar y una rama de aumento de datos (con transformaciones de brillo, desenfoque, máscaras de oclusión, etc.). Se proponen dos nuevas funciones de pérdida:

1. Pérdida de Contraste Estéreo a Nivel de Características ($L_{flc}$):

   • Basada en aprendizaje contrastivo.
   • Enforce la consistencia entre las características aprendidas en la rama estándar y las de la rama aumentada bajo variaciones de iluminación.
   • Utiliza un codificador de claves con promedio móvil (momentum encoder) y una cola de diccionario para manejar muestras negativas, asegurando que las características sean invariantes a perturbaciones de iluminación.

2. Pérdida de Diferencia de Disparidad a Nivel de Imagen ($L_{ild}$):

   • Diseñada para manejar regiones mal planteadas (ill-posed) como oclusiones.
   • Trata las fallas de consistencia fotométrica como "muestras positivas duras".
   • Aplica máscaras aleatorias (occlusiones simuladas) a la imagen aumentada y fuerza la consistencia entre la predicción de disparidad de la rama estándar y la rama aumentada. Esto mejora la conciencia del contexto y la robustez ante oclusiones.

C. Función de Pérdida Total

La función de pérdida final combina:
$$L = \lambda_1 L_{photo} + \lambda_2 L_s + \lambda_3 L_{flc} + \lambda_4 L_{ild}$$
Donde $L_{photo}$ es la pérdida de consistencia fotométrica estándar, $L_s$ es la pérdida de suavidad, y los nuevos términos ($L_{flc}, L_{ild}$) proporcionan la robustez adicional.

3. Contribuciones Clave

1. Marco General SMFormer: Un nuevo enfoque auto-supervisado que utiliza priors de VFMs y consistencia de aumento de datos para guiar el aprendizaje en regiones desafiantes donde falla la consistencia fotométrica pura.
2. Arquitectura Híbrida VFM-FPN: Integración de un VFM pre-entrenado con un mecanismo de atención multi-capa (MLA) dentro de una FPN, mejorando la capacidad de representación de características en comparación con los extractores tradicionales.
3. Nuevas Pérdidas Auto-Supervisadas: Desarrollo de una pérdida de contraste a nivel de características y una pérdida de diferencia de disparidad a nivel de imagen para fortalecer la robustez ante cambios de iluminación y oclusiones.
4. Rendimiento de Vanguardia: Demostración de que el método alcanza un rendimiento comparable e incluso superior a métodos supervisados en ciertos benchmarks, sin utilizar etiquetas de verdad terreno.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples benchmarks estándar (KITTI 2012/2015, Middlebury, ETH3D) y en el desafiante dataset Booster (específico para superficies no lambertianas).

• Generalización Zero-Shot: SMFormer supera a la mayoría de los métodos de generalización de dominio sin necesidad de estrategias específicas para el dominio objetivo.
• Comparación con Supervisados:
  • En KITTI, supera a otros métodos auto-supervisados y compite de igual a igual con métodos supervisados (excepto aquellos que usan cantidades masivas de datos, como ChiT).
  • En Middlebury y ETH3D, supera a varios métodos supervisados (como AANet y ACVNet), demostrando una capacidad superior para manejar regiones extremadamente desafiantes sin supervisión.
  • En el benchmark Booster, SMFormer supera a métodos supervisados de vanguardia como CFNet, logrando un error Bad 2.0 de 14.88% frente al 29.65% de CFNet.
• Estudios de Ablación: Confirman que la combinación de FPN + VFM es el componente que aporta la mayor ganancia, seguido por las pérdidas propuestas ($L_{flc}$ y $L_{ild}$). También se demostró que el pre-entrenamiento supervisado en datos sintéticos (SceneFlow) mejora significativamente la generalización en el mundo real.

5. Significado e Impacto

El trabajo de SMFormer es significativo porque cierra la brecha de rendimiento entre los métodos auto-supervisados y supervisados en tareas de emparejamiento estereoscópico. Al demostrar que es posible superar a métodos supervisados en benchmarks difíciles (como Booster) sin utilizar etiquetas costosas, el paper valida la viabilidad de utilizar Modelos Fundacionales (VFMs) y estrategias de consistencia de aumento de datos para resolver problemas de visión por computadora en condiciones del mundo real donde las asunciones clásicas (como la consistencia fotométrica) se rompen. Esto abre nuevas vías para la aplicación de estereoscopía en entornos dinámicos y complejos sin la necesidad de anotación manual masiva.