MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer

1. El Problema

La síntesis de escenas urbanas mediante modelos de generación de video ha mostrado un gran potencial para el desarrollo de vehículos autónomos, especialmente para la creación de escenarios de "cola larga" (situaciones raras o peligrosas difíciles de capturar en la realidad). Sin embargo, existen limitaciones significativas en los enfoques actuales:

• Enfoque unimodal: La mayoría de los métodos existentes se centran exclusivamente en la generación de videos RGB.
• Falta de datos multimodales: La conducción autónoma requiere comprensión holística de la escena, lo que depende críticamente de datos multimodales como mapas de profundidad y mapas semánticos.
• Ineficiencia de múltiples modelos: Una solución común es utilizar modelos separados para cada modalidad (uno para RGB, otro para profundidad, etc.). Esto aumenta la dificultad de despliegue, no aprovecha las pistas complementarias entre modalidades y carece de coherencia unificada.
• Consistencia espaciotemporal: Los métodos de generación de video generales no garantizan la consistencia espaciotemporal necesaria para la generación de vistas múltiples en entornos de conducción.

2. Metodología: MoVieDrive

El autor propone MoVieDrive, un marco unificado que genera videos de escenas de conducción de múltiples vistas y múltiples modalidades en un solo modelo.

A. Arquitectura del Modelo

MoVieDrive se basa en un Transformador de Difusión Unificado que descompone el aprendizaje en dos componentes:

1. Componentes Compartidos por Modalidad (Modal-Shared):
   • Utilizan capas de atención temporal (basadas en CogVideoX) para aprender la consistencia temporal entre frames.
   • Incorporan bloques espaciotemporales de múltiples vistas que incluyen:
     • Atención espacial 3D: Para capturar la estructura espacial de todas las cámaras.
     • Embeddings espaciales 3D: Basados en una cuadrícula Hash multiresolución para codificar la ocupación 3D y mejorar la consistencia espacial.
     • Atención espaciotemporal completa: Para capturar la información completa de la escena de conducción.
2. Componentes Específicos de Modalidad (Modal-Specific):
   • Capas de interacción cruzada entre modalidades (Cross-modal interaction layers). Aquí, la consulta (query) proviene de los latentes de una modalidad específica, mientras que las claves (keys) y valores (values) provienen de los latentes concatenados de las otras modalidades.
   • Esto permite aprender el contenido específico de cada modalidad (ej. textura RGB vs. geometría de profundidad) manteniendo la alineación cruzada.
   • Finalmente, cabezales de proyección específicos generan los latentes limpios para cada modalidad.

B. Codificación de Condiciones Diversas

El modelo utiliza un conjunto rico de entradas condicionales para controlar la generación:

• Condiciones de Texto: Incluyen prompts de texto (descripciones de la escena) y prompts de cámara (parámetros intrínsecos y extrínsecos). Se codifican mediante encoders de texto y MLP.
• Condiciones de Diseño (Layout): Para un control fino, se utilizan mapas de cajas (bounding boxes), mapas de carreteras y mapas de ocupación 3D. El paper propone un codificador unificado de layout que fusiona estas condiciones mediante bloques ResNet causales compartidos y específicos, en lugar de usar múltiples encoders separados.
• Condiciones de Referencia de Contexto: El primer frame de la secuencia (opcional) se utiliza para predecir escenas futuras, codificado mediante un VAE 3D pre-entrenado compartido.

C. Entrenamiento e Inferencia

• Se utiliza un programador de ruido DDPM y un objetivo de pérdida que suma los errores de las diferentes modalidades.
• Durante la inferencia, se emplea el muestreador DDIM y la guía sin clasificador (classifier-free guidance) para equilibrar la diversidad y la consistencia con las condiciones.

3. Contribuciones Clave

1. Nuevo Marco Unificado: Propone el primer enfoque que genera videos de escenas de conducción de múltiples vistas y múltiples modalidades (RGB, profundidad, semántica) dentro de un solo modelo de difusión, llenando un vacío dejado por métodos anteriores.
2. Transformador de Difusión Multimodal: Diseña una arquitectura novedosa que combina capas compartidas (para consistencia global) y capas específicas con interacción cruzada (para distinguir modalidades), eliminando la necesidad de múltiples modelos.
3. Codificación Unificada de Layout: Introduce un codificador que fusiona condiciones de diseño heterogéneas (cajas, carreteras, ocupación) para un control granular de la escena.
4. Validación Exhaustiva: Demuestra la superioridad del método sobre el estado del arte en conjuntos de datos reales (nuScenes y Waymo).

4. Resultados Experimentales

Los experimentos se realizaron principalmente en nuScenes y Waymo:

• Fidelidad del Video (FVD): MoVieDrive logró un FVD de 46.8 en nuScenes, superando significativamente a métodos como MagicDrive (236.2), DriveDreamer (340.8) y DriveDreamer-2 (55.7). Incluso superó a la combinación de CogVideoX + SyntheOcc en un ~22%.
• Controlabilidad (mAP y mIoU):
  • Logró el mejor mAP de 22.7 para detección de objetos 3D.
  • Logró el mejor mIoU de 35.8 para segmentación en vista de pájaro (BEV).
  • Esto indica que los videos generados son altamente consistentes con las condiciones de entrada (texto, layout).
• Calidad Multimodal:
  • En la generación de mapas de profundidad, alcanzó un AbsRel de 0.110.
  • En mapas semánticos, alcanzó un mIoU de 37.5.
  • Los estudios de ablación mostraron que generar múltiples modalidades en un marco unificado produce mejores resultados que encadenar modelos separados.
• Generación de Videos Largos: El modelo puede generar videos largos (hasta 18 segundos o más) sin necesidad de frames de referencia iniciales, manteniendo la coherencia de la escena.
• Edición de Estilo: Permite cambiar condiciones climáticas (nieve, lluvia, noche) y temporales mediante la edición de prompts de texto.

5. Significado e Impacto

El trabajo de MoVieDrive es significativo porque:

• Unifica la percepción y la generación: Al generar simultáneamente RGB, profundidad y semántica, facilita la comprensión holística de la escena necesaria para sistemas de conducción autónoma más robustos.
• Eficiencia de Despliegue: Elimina la necesidad de mantener y sincronizar múltiples modelos de generación, reduciendo la complejidad computacional y de ingeniería.
• Calidad y Control: Establece un nuevo estado del arte en la calidad visual y la fidelidad de las condiciones de control, lo que es crucial para la evaluación de seguridad y el entrenamiento de modelos de conducción en escenarios sintéticos.
• Escalabilidad: La arquitectura propuesta es flexible y puede extenderse a otras modalidades o condiciones de entrada, sentando las bases para futuros sistemas de simulación de conducción más avanzados.