Resumen Técnico: Estimación Robusta de la Matriz Fundamental a partir de Movimiento Desenfocado en una Sola Imagen

Enunciado del Problema

El artículo aborda una tarea novedosa y desafiante en visión por computadora: estimar la matriz fundamental (que codifica el movimiento relativo de la cámara en 3D) a partir de una única imagen con desenfoque de movimiento.

En la visión por computadora estándar, la matriz fundamental se deriva de correspondencias entre dos vistas distintas. Sin embargo, en un solo fotograma con desenfoque de movimiento, las "dos vistas" son efectivamente el inicio y el final de la ventana de exposición de la cámara. El principal desafío es la ambigüedad de la dirección temporal: una mancha de desenfoque de movimiento representa un camino entre dos puntos, pero la imagen por sí sola no puede distinguir qué punto es el inicio y cuál es el final. En consecuencia, una correspondencia $(p, p')$ es ambigua con $(p', p)$. Esta ambigüedad hace que los métodos de estimación clásicos, como el algoritmo de 8 puntos o el método Gold Standard, sean inaplicables, ya que dependen de un ordenamiento temporal conocido. Además, el trabajo existente sobre desenfoque de movimiento se centra principalmente en la eliminación de desenfoque de imágenes o en la estimación de flujo óptico, tratando a menudo el desenfoque como una molestia en lugar de una fuente de restricciones geométricas.

Metodología

El marco propuesto opera en dos etapas: Estimación de la Trayectoria de la Mancha y Estimación de la Matriz Fundamental.

1. Estimación de la Trayectoria de la Mancha

La primera etapa implica una red neuronal (basada en una arquitectura U-Net) que predice vectores de mancha por píxel y su incertidumbre asociada.

• Generación de Datos: Se generan imágenes sintéticas con desenfoque de movimiento promediando fotogramas intermedios interpolados entre dos fotogramas nítidos utilizando flujo óptico de verdad fundamental (de los conjuntos de datos Monkaa y Driving). Se crea un conjunto de datos semirreal a partir del conjunto de datos GoPro, y un conjunto de datos del mundo real se deriva de RBI con pseudo-verdad fundamental.
• Representación de la Mancha: Para resolver la ambigüedad direccional donde un vector $(u, v)$ es indistinguible de $(-u, -v)$, los autores emplean una representación de doble ángulo. El ángulo del vector $\phi$ se mapea a $2\phi$, convirtiendo los dos casos equivalentes en un vector único $(u', v')$.
• Incertidumbre y Verificación Cruzada: La red genera un mapa de varianza $\sigma$ junto con el vector de la mancha. Para distinguir patrones de mancha fiables de los no fiables (causados por oclusiones u objetos que salen del encuadre), se genera un mapa de verificación cruzada ($m_{cr}$) utilizando la consistencia del flujo hacia adelante y hacia atrás entre los fotogramas inicial y final.
• Función de Pérdida: Se diseña una función de pérdida personalizada para supervisar los vectores de doble ángulo en píxeles fiables (utilizando la verosimilitud negativa gaussiana) mientras penaliza la varianza (incertidumbre) en píxeles no fiables identificados por el mapa de verificación cruzada. Esto fomenta que la red asigne alta incertidumbre a regiones ambiguas u ocluidas.

2. Estimación Robusta de la Matriz Fundamental

La segunda etapa estima la matriz fundamental $F$ a partir de los extremos de mancha predichos.

• Manejo de la Ambigüedad: Dado que la dirección temporal es desconocida, un par de extremos de mancha $(\bar{p} - \bar{s}, \bar{p} + \bar{s})$ debe satisfacer la restricción epipolar $x^T F y = 0$ ya sea para el orden original o para el orden transpuesto. Los autores formulan esto como un problema de optimización con restricciones donde el objetivo es minimizar el error para bien $F$ o $F^T$:
  $$F^* = \arg \min_F \| \min(|M_{vec}(F)|, |M_{vec}(F^T)|) \|^2$$
  sujeto a $\det(F)=0$ y $\|F\|=1$.
• Muestreo Robusto: Para manejar valores atípicos y movimientos locales, el método utiliza RANSAC Preemptivo. Crucialmente, el proceso de muestreo se guía por las estimaciones de incertidumbre de la primera etapa; solo se consideran vectores de mancha con baja incertidumbre (alta fiabilidad).
• Métrica de Error Simétrica: El error de Sampson estándar no puede usarse directamente debido a la ambigüedad direccional. Los autores introducen un error de Sampson simetrizado ($SErrMin$), que toma el error mínimo entre la hipótesis $F$ y su transpuesta $F^T$. Esta métrica permite una definición robusta del conjunto de consenso sin conocer la dirección temporal real.

Contribuciones Clave

1. Formulación de Tarea Novedosa: El artículo introduce la tarea de estimar la matriz fundamental a partir de una única imagen con desenfoque de movimiento, abordando el desafío único de la ambigüedad de la dirección temporal por mancha.
2. Marco de Estimación Robusto: Se propone una tubería de dos etapas que combina el aprendizaje profundo para la extracción de manchas con un solucionador geométrico que cuenta explícitamente con la ambigüedad de la dirección del tiempo (permitiendo $F$ o $F^T$).
3. Aprendizaje Consciente de la Incertidumbre: Los autores proponen una función de pérdida que aprende a predecir incertidumbre, permitiendo que el sistema reduzca el peso de las predicciones de mancha poco fiables (por ejemplo, de oclusiones) durante la fase de estimación robusta.
4. Representación y Anotación: Se demuestra que el uso de la representación de doble ángulo es ventajoso para aprender trayectorias de manchas, y se presenta un procedimiento que utiliza mapas de verificación cruzada para generar anotaciones precisas para el entrenamiento.

Resultados Experimentales

El método se evaluó en conjuntos de datos sintéticos (Monkaa, Driving), semirreales (GoPro) y del mundo real (RBI).

• Estimación de Manchas: La representación de doble ángulo propuesta combinada con el mapa de verificación cruzada produjo el menor Error de Punto Final (EPE-S) en todos los conjuntos de datos. Se demostró que las estimaciones de incertidumbre se correlacionan bien con los errores reales, filtrando eficazmente las predicciones poco fiables.
• Estimación de la Matriz Fundamental: Utilizando el error de Sampson simetrizado y RANSAC guiado por incertidumbre, el método estimó con éxito matrices fundamentales que se alinearon con correspondencias de verdad fundamental. El mejor rendimiento se observó al seleccionar el 35% al 45% superior de los vectores de mancha basados en la incertidumbre.
• Aplicación de Descendencia: La matriz fundamental estimada y las trayectorias de manchas se aplicaron con éxito a la segmentación de movimiento local, separando eficazmente objetos que se mueven independientemente del movimiento global de la escena (por ejemplo, un coche moviéndose de manera diferente al fondo) en imágenes desenfocadas.
• Limitaciones: El método tiene dificultades en escenas con múltiples movimientos locales independientes (escenas dinámicas) o con traslación de cámara cercana a cero, donde la señal de movimiento global es débil o degenerada.

Significado y Afirmaciones

Los autores afirman que su trabajo demuestra la viabilidad de extraer restricciones de movimiento de cámara en 3D a partir de un solo fotograma, una tarea previamente considerada mal planteada debido a la ambigüedad temporal. Al aprovechar las restricciones geométricas inherentes al desenfoque de movimiento, el método proporciona una forma de realizar tareas de odometría visual y estructura a partir del movimiento con menor latencia (entrada de un solo fotograma), lo cual es crítico para aplicaciones como la conducción autónoma y el vuelo de drones. El artículo enfatiza que, aunque el resultado es ambiguo hasta una transposición (reflejando la dirección desconocida del tiempo), esto es suficiente para definir la geometría epipolar y habilitar tareas de descendencia como la segmentación de movimiento. El trabajo cierra la brecha entre tratar el desenfoque de movimiento como una molestia a eliminar y utilizarlo como una fuente rica de información geométrica.