Video Reconstruction using Diffusion-based Image-to-Video Generation with Trajectory Guidance

Resumen Técnico: Reconstrucción de Video mediante Generación Imagen-a-Video basada en Difusión con Guía de Trayectoria

Enunciado del Problema
Este artículo aborda el desafío de reconstruir cuadros faltantes o perdidos en imágenes aéreas de drones desde una perspectiva cenital de Vehículos Superficiales Autónomos (ASV) realizando maniobras marítimas. El contexto específico involucra entornos de agua abierta con baja textura donde los objetos (pequeñas embarcaciones) son pequeños en relación con el campo de visión. En tales escenarios, las señales visuales por sí solas suelen ser insuficientes para determinar el movimiento preciso de los objetos, lo que conduce a fallos en los métodos de interpolación tradicionales que dependen de un movimiento predecible y suave o de priores puramente impulsados por datos. Además, los enfoques estándar de aprendizaje profundo a menudo producen resultados borrosos o fallan al sintetizar texturas plausibles cuando se condicionan sobre observaciones dispersas. La dificultad central radica en cerrar la brecha entre datos de telemetría dispersos y no visuales (registros GPS) y la generación de secuencias de video coherentes en el tiempo y de alta fidelidad, sin requerir un ajuste fino del modelo específico del dominio.

Metodología
Los autores proponen una tubería que convierte la telemetría GPS cruda y un único cuadro de referencia de video en una secuencia de video guiada por trayectoria utilizando un modelo de difusión imagen-a-video preentrenado, específicamente SG-I2V (construido sobre Stable Video Diffusion). La tubería opera a través de cuatro etapas distintas:

1. Construcción de Entrada e Inicialización de Cuadros delimitadores:
   Dado un cuadro de referencia, el usuario inicializa manualmente los cuadros delimitadores para las embarcaciones. Aunque la detección automatizada (por ejemplo, YOLO) es posible, los autores optan por la inicialización manual para asegurar una asignación consistente de la identidad de las trayectorias GPS a embarcaciones específicas, evitando errores de reidentificación en escenarios de proximidad cercana. Además, se colocan cuatro cuadros delimitadores de esquinas para codificar el movimiento global de la cámara (mantenido constante en este experimento específico ya que el dron estaba estacionario).

2. Proyección de GPS a Píxeles:
   Una función de mapeo personalizada convierte las coordenadas geográficas en señales de movimiento en el espacio de la imagen. Este proceso implica:

   • Transformación Geográfica a Métrica: Convertir los puntos fijos GPS (longitud, latitud) en desplazamientos métricos locales Este-Norte utilizando una aproximación equirectangular.
   • Rotación: Alinear el marco métrico con los ejes de la imagen utilizando un guiñada de cámara estimada (derivada del Rumbo sobre el Suelo de la embarcación y la inspección visual).
   • Estimación de Escala: Calcular una escala de píxeles por metro ($s$) comparando la distancia métrica entre embarcaciones (derivada del GPS) contra su distancia en píxeles en el cuadro de referencia.
   • Proyección por Cuadro: Interpolar los registros GPS a las marcas de tiempo del video y proyectarlos en el espacio de píxeles para generar arrays de trayectoria ($T_i$) para cada embarcación.

3. Generación Condicionada por Trayectoria:
   La carga útil construida, compuesta por la imagen de referencia y los arrays de trayectoria por objeto, se introduce en el modelo SG-I2V. El modelo genera los siguientes 14 cuadros condicionados tanto por el contenido visual como por la guía de trayectoria incrustada. Cabe destacar que los autores aplican ningún ajuste fino específico del dominio al modelo preentrenado, confiando en cambio en un estudio de ablación sistemático de hiperparámetros (iteraciones de optimización latente, dispersión del mapa de calor, mezcla de frecuencia FFT) para optimizar la calidad visual y la coherencia temporal.

4. Líneas Base de Evaluación:
   El método propuesto se compara con:

   • Extrapolación de Flujo Óptico: Deformar el cuadro de referencia hacia adelante utilizando el flujo óptico de Farneback.
   • RIFE (Estimación de Flujo Intermedio en Tiempo Real): Un método de interpolación de aprendizaje profundo que se condiciona en ambos extremos temporales (lo cual es una ventaja no disponible en escenarios reales de cuadros faltantes).

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Esquema de Proyección de GPS a Imagen: Un método para convertir datos de seguimiento dispersos en señales de movimiento espaciales que son directamente consumibles por modelos generativos comerciales.
2. Tubería de Cero Ajuste Fino: Un flujo de trabajo completo de reconstrucción que logra una síntesis físicamente plausible sin reentrenar el modelo de difusión subyacente en datos marítimos.
3. Evaluación Sistemática: Una evaluación cuantitativa en imágenes marítimas reales que demuestra las ventajas de la síntesis guiada por trayectoria generativa sobre los métodos tradicionales de interpolación y extrapolación, particularmente bajo condiciones desafiantes de objetos pequeños.

Resultados
La evaluación compara los métodos utilizando métricas perceptuales (LPIPS), temporales (suavidad), de calidad sin referencia (BRISQUE) y de precisión de trayectoria contra la verdad fundamental:

• Calidad Perceptual: SG-I2V produjo los cuadros de apariencia más natural entre los métodos de síntesis, con una puntuación BRISQUE de 25.52, la más cercana a la puntuación de la verdad fundamental de 23.64. En contraste, RIFE obtuvo 42.46, lo que indica resultados sobre-suavizados.
• Consistencia Temporal: SG-I2V logró una suavidad temporal de 1.14 px/cuadro, coincidiendo estrechamente con la verdad fundamental de 1.42. El flujo óptico (0.39) y RIFE (0.59) subestimaron la magnitud del movimiento.
• Adherencia a la Trayectoria: SG-I2V demostró la mayor adherencia a las trayectorias GPS con un error de 9.31 píxeles. Esto es significativamente menor que el error de alineación del propio video de verdad fundamental de 28.70 píxeles (atribuido a la alineación temporal manual aproximada entre las imágenes y los registros), lo que indica que el modelo incorporó con éxito las señales de movimiento derivadas del GPS.
• LPIPS: Aunque el Flujo Óptico logró el LPIPS más bajo (0.110), los autores señalan que esto refleja la preservación de las estadísticas originales de la imagen mediante deformación en lugar de una generación genuina de calidad perceptual.

Significado y Afirmaciones
El artículo afirma que la síntesis de difusión guiada por trayectoria es un enfoque viable para la reconstrucción de video marítimo, específicamente en condiciones de baja textura y objetos pequeños donde las señales visuales son ambiguas. El significado radica en la capacidad de dirigir la síntesis de video hacia resultados físicamente plausibles utilizando datos de sensores auxiliares (GPS) sin la necesidad de un costoso reentrenamiento del modelo específico del dominio.

Los autores reconocen modestamente las limitaciones, señalando que la evaluación se restringe a un único clip de dos segundos, lo que limita la generalizabilidad de los hallazgos cuantitativos. No afirman una superioridad universal sobre todas las tareas de reconstrucción de video, sino que destacan la eficacia específica de su enfoque en escenarios donde el movimiento del objeto es conocido mediante telemetría pero es visualmente difícil de rastrear. Se propone trabajo futuro para extender la tubería a secuencias más largas, automatizar la sincronización y la inicialización de cuadros delimitadores, e incorporar datos de Velocidad sobre el Suelo (SOG) para codificar la magnitud del desplazamiento con mayor precisión.