SciFlow: Semantic Cross Interference for Self-Supervised Optical Flow Domain Generalization

Resumen Técnico: SciFlow

Planteamiento del Problema
La estimación del flujo óptico es fundamental para la comprensión de video, sustentando tareas como el seguimiento de objetos, la interpolación de fotogramas y la compresión de video. Si bien el aprendizaje profundo ha avanzado en este campo, la adquisición de una verdad de campo (ground truth) densa y por píxel para escenas del mundo real sigue siendo prohibitivamente difícil y costosa. En consecuencia, los modelos se entrenan típicamente en conjuntos de datos sintéticos (por ejemplo, FlyingChairs, FlyingThings3D, Sintel) y se despliegan en entornos del mundo real. Esto crea un desafío significativo de generalización de dominio "sintético-a-real", donde los modelos luchan por adaptarse a la diversidad de iluminación, dinámica de movimiento y calidad de imagen que se encuentran en escenarios de mundo abierto. Los métodos semi-supervisados y auto-supervisados existentes a menudo dependen de aumentos de datos complejos, renderizado neuronal o consistencia de transformación, pero con frecuencia fallan al generalizar a dominios no vistos o requieren procesos computacionalmente costosos.

Metodología
El artículo propone SciFlow (Interferencia Semántica Cruzada), un enfoque basado en el entrenamiento y agnóstico a la red, diseñado para generalizar la estimación de movimiento a través de dominios sintéticos y de mundo abierto mediante el aprendizaje auto-supervisado. La innovación central radica en la "interferencia semántica cruzada de dominios", una técnica que mezcla características de imágenes del mundo abierto en escenas sintéticas durante el entrenamiento.

El procedimiento de entrenamiento consta de dos fases:

1. Aprendizaje Curricular Supervisado: El modelo se entrena inicialmente en conjuntos de datos sintéticos ($D_{GT}$) con verdad de campo, progresando desde ejemplos de movimiento y escena más simples hacia otros más complejos.
2. Ajuste Fino Auto-supervisado: El modelo se adapta a datos del mundo real sin etiquetas ($D_{NGT}$) utilizando un marco de trabajo de profesor-estudiante:
   • Profesor ($f_T$$): Inicializado con los pesos del estudiante y actualizado mediante un Promedio Móvil Exponencial (EMA). Procesa pares de imágenes originales "limpias" del dominio sintético.
   • Estudiante ($f_S$): Entrenado en pares aumentados donde una tercera imagen ($I_d$) del dominio del mundo abierto interfiere semánticamente con el segundo fotograma del par sintético. Esto se logra mediante una función de mezcla $D_\lambda(I_2, I_d) = \lambda \cdot I_2 + (1-\lambda) \cdot I_d$, donde $\lambda$ se muestrea de una distribución beta.
   • Función de Pérdida: El estudiante se optimiza para coincidir con las predicciones del profesor en el par original. La pérdida de auto-supervisión se define como la diferencia L1 entre la predicción del estudiante en el par interferido y la predicción del profesor en el par limpio, enmascarada por una puntuación de confianza ($M_{conf}$) derivada de la consistencia de ida y vuelta (forward-backward consistency).

Este enfoque permite que la red aprenda estadísticas del mundo real y se adapte a los cambios de dominio sin requerir verdades de campo en el dominio objetivo ni procesos de reconstrucción complejos.

Contribuciones Clave

• Marco de Trabajo SciFlow: Introducción de un método simple y efectivo que aprovecha la interferencia semántica cruzada de dominios para mejorar la generalización de dominio del flujo óptico.
• Adaptación Sin Etiquetas: El método logra un fuerte rendimiento de cruce de dominio sin requerir verdades de campo del mundo real, abordando tanto el cambio de dominio como la escasez de etiquetas en escenarios de mundo abierto.
• Agnosticismo de Arquitectura: El enfoque está diseñado para ser compatible con diversas arquitecturas de red, demostrado aquí tanto en modelos de capacidad completa (RAFT) como ligeros (MobileFlow).

Resultados Experimentales
Los autores evaluaron SciFlow en bancos de pruebas estándar, específicamente el conjunto de datos KITTI, utilizando las arquitecturas RAFT y MobileFlow.

• Rendimiento Cuantitativo: En el benchmark KITTI, SciFlow superó significativamente a las líneas base supervisadas y a otros métodos auto-supervisados (por ejemplo, DistractFlow). Para el modelo ligero MobileFlow, SciFlow redujo el error Fl-all de 22.6 (línea base supervisada) a 8.95 al ser entrenado con la combinación de EMA, enmascaramiento de confianza e interferencia semántica en el gran conjunto de datos no etiquetados Web Stereo Video Dataset (WSVD).
• Rendimiento Cualitativo: Las evaluaciones visuales en diversos conjuntos de datos de mundo abierto (DAVIS, SlowFlow) demostraron que SciFlow permite una estimación de flujo robusta y precisa en condiciones desafiantes como baja iluminación, desenfoque de movimiento y alto ruido, donde los modelos de línea base suelen fallar.
• Estabilidad: Se demostró que la integración de EMA y el enmascaramiento de confianza es crítico para la estabilidad del entrenamiento, evitando la divergencia durante la fase auto-supervisada.

Significado y Reivindicaciones
El artículo afirma que SciFlow ofrece una solución práctica al problema de la generalización de dominio de sintético-a-real en la estimación de movimiento. Al introducir la interferencia semántica cruzada de dominios, permite que los modelos se adapten eficazmente a escenarios del mundo real sin necesidad de verdades de campo del dominio objetivo. Los autores enfatizan la simplicidad del método y su naturaleza agnóstica a la arquitectura, posicionándolo como un camino ampliamente aplicable hacia una estimación de movimiento más robusta y precisa para la comprensión de video en entornos complejos y dinámicos. El trabajo sugiere que aprovechar los datos del mundo abierto a través de la interferencia semántica es una alternativa viable a los complejos procesos de renderizado o reconstrucción para mejorar la robustez del modelo.