InstaDrive: Instance-Aware Driving World Models for Realistic and Consistent Video Generation

Resumen Técnico: InstaDrive

Planteamiento del Problema
Los sistemas de conducción autónoma dependen en gran medida de videos de conducción multivista de alta calidad y gran escala para el entrenamiento de tareas descendentes como la percepción, el seguimiento de objetos y la planificación. Si bien los "modelos de mundo" ofrecen una alternativa rentable a la recolección de datos del mundo real mediante la generación de escenarios de conducción realistas, los enfoques actuales luchan contra dos limitaciones críticas:

1. Inconsistencia Temporal a Nivel de Instancia: Los modelos actuales a menudo fallan en mantener atributos estables (por ejemplo, color, textura, identidad) de objetos específicos a través de los fotogramas, lo que provoca parpadeos o cambios de identidad.
2. Fidelidad Geométrica Espacial: Los videos generados frecuertemente exhiben un desalineamiento con las señales de control (por ejemplo, cajas delimitadoras que se desvían de sus posiciones previstas) y no logran modelar correctamente las jerarquías de oclusión (por ejemplo, objetos distantes que ocultan incorrectamente a objetos más cercanos).

Estas deficiencias dificultan la aplicabilidad de los datos sintéticos en tareas rigurosas de conducción autónoma, que requieren un contexto espacial preciso y un seguimiento de objetos temporalmente estable.

Metodología
Los autores proponen InstaDrive, un modelo de mundo de conducción construido sobre el marco de trabajo OpenSora V1.1 (utilizando un Auto-Codificador Variacional, un codificador de texto T5 y un Transformador de Difusión Espacio-Temporal). InstaDrive introduce dos módulos novedosos, conscientes de la instancia, para abordar los desafíos mencionados anteriormente:

1. Guía de Flujo de Instancia (Instance Flow Guider - IFG):

   • Objetivo: Imponer la consistencia temporal mediante el seguimiento y la propagación de características de instancia a través de los fotogramas.
   • Mecanismo: El módulo utiliza IDs de seguimiento para capturar trayectorias de movimiento (flujo de instancia) de los objetos circundantes. Calcula un vector de desplazamiento 3D (offset) entre el fotograma actual y el fotograma visible más reciente de una instancia.
   • Implementación: Este offset se renderiza en un "mapa de movimiento" dentro del espacio latente, donde los desplazamientos x, y, z se mapean a canales RGB. Este mapa de movimiento se inyecta en la arquitectura base del Transformador de Difusión (DiT) mediante ControlNet.
   • Efecto: Las capas de atención temporal utilizan esta condición de movimiento para recuperar características semánticas (categoría, color, textura) de fotogramas anteriores y propagarlas hacia adelante, asegurando que la identidad de un objeto permanezca estable incluso cuando reaparece tras una oclusión.

2. Alineador Geométrico Espacial (Spatial Geometric Aligner - SGA):

   • Objetivo: Garantizar una localización espacial precisa y un razonamiento de oclusión correcto.
   • Mecanismo: El módulo transforma las cajas delimitadoras 3D del sistema de coordenadas del mundo a la vista de primera persona (FPV) de la cámara utilizando parámetros intrínsecos y extrínsecos.
   • Implementación:
     • Proyección: Las esquinas de las cajas 3D se proyectan a coordenadas de píxeles 2D para crear restricciones espaciales explícitas en el dominio RGB.
     • Orden de Profundidad: Para modelar la oclusión, el sistema calcula la profundidad de cada punto de la esquina relativo al centro óptico de la cámara. Estos valores de profundidad se codifican mediante un embebido de Fourier y un MLP para crear una representación de orden de profundidad.
     • Fusión: Las condiciones de la caja proyectada y las representaciones de orden de profundidad se fusionan utilizando mecanismos de atención cruzada antes de ser inyectadas en el flujo de generación.
   • Efecto: Esto asegura que los objetos generados se adhieran estrictamente a las señales de control de las cajas delimitadoras y que los objetos más cercanos ocluyan correctamente a los más lejanos, manteniendo la consistencia geométrica.

Contribuciones Clave

• Guía de Flujo de Instancia: Un módulo ligero que extrae y propaga características de instancia a través de los fotogramas, mejorando significativamente la consistencia temporal sin depender de extractores de características externos.
• Alineador Geométrico Espacial: Un mecanismo que integra proyecciones de cajas delimitadoras 3D y un orden de profundidad explícito para alinear las instancias con el espacio de píxeles y resolver las jerarquías de oclusión.
• Simulación Procedural de Cola Larga (Long-Tail): Un flujo de trabajo que aprovecha el piloto automático de CARLA para simular estocásticamente escenarios de conducción raros y críticos para la seguridad (por ejemplo, frenado repentino, inserciones de vehículos) a través de diversos mapas, proporcionando condiciones de control rigurosas para la síntesis de video.
• Marco Unificado: Un enfoque de extremo a extremo que combina estos módulos con ControlNet para manejar eficientemente múltiples señales de control (mapas de carretera, cajas 3D, poses de cámara).

Resultados
Evaluado en el conjunto de datos nuScenes, InstaDrive demuestra un rendimiento de estado del arte (SOTA):

• Calidad de Video: Logra un FID de 3.96 y un FVD de 38.06, superando a métodos existentes como MagicDrive-V2, DriveDreamer2 y Panacea.
• Consistencia Temporal: En tareas de Seguimiento de Objetos Múltiples (MOT) utilizando el modelo StreamPETR, los datos generados por InstaDrive reducen los cambios de ID (IDS) a 532 (comparado con 593 para DriveDreamer2 y 687 para las líneas base del mundo real), indicando una estabilidad de instancia superior.
• Fidelidad Espacial: En tareas de percepción, los modelos entrenados con datos generados por InstaDrive alcanzan una puntuación de detección de nuScenes (NDS) de 40.51 en el conjunto de validación (86.38% de rendimiento relativo respecto a los datos reales). Cuando se utiliza para aumentación de datos (mezcla de datos sintéticos y reales), el NDS del modelo de percepción mejora en 3.6 puntos sobre el entrenamiento de solo datos reales.
• Análisis Cualitativo: Las comparaciones visuales confirman que InstaDrive elimina los cambios de color, se adhiere a las restricciones de las cajas delimitadoras y renderiza correctamente las relaciones de oclusión, a diferencia de trabajos previos que exhiben desviaciones en estas áreas.

Significado
El artículo afirma que InstaDrive establece un modelo de mundo refinado y robusto que cierra eficazmente la brecha entre la generación sintética y los requisitos de la conducción autónoma en el mundo real. Al abordar explícitamente la consistencia temporal a nivel de instancia y la fidelidad geométrica espacial, el modelo no solo genera videos de alta calidad, sino que también produce datos sintéticos que son directamente aplicables y beneficiosos para el entrenamiento de tareas descendentes de percepción, seguimiento y planificación. Además, la integración con CARLA para la generación procedimental de escenarios de cola larga destaca el potencial del sistema para la evaluación de seguridad crítica en sistemas autónomos.