Resumen Técnico: InfiniVerse

Declaración del Problema

La generación de entornos urbanos realistas, controlables y temporalmente coherentes sigue siendo un desafío crítico y no resuelto en la conducción autónoma. Aunque los métodos existentes pueden sintetizar clips de corto alcance, tienen dificultades con la generación de largo horizonte.

• Métodos autorregresivos implícitos (por ejemplo, modelos de difusión de video) producen visuales de alta fidelidad pero carecen de una estructura 3D explícita, lo que provoca una deriva geométrica acumulada y "alucinaciones" a lo largo del tiempo.
• Enfoques guiados por prioris explícitos (por ejemplo, aquellos que dependen de mapas BEV/HD) imponen consistencia espacial, pero están limitados por el rango de las prioris de entrada y tienen dificultades para renderizar videos de larga duración o mantener la alineación entre la geometría generada y la apariencia visual.

Existe la necesidad de un pipeline unificado que pueda generar escenas dinámicas de largo alcance, alineadas 2D–3D y controlables a partir de un solo fotograma sin depender de mapas rígidos y predefinidos.

Metodología: InfiniVerse

InfiniVerse es un marco unificado que une el modelado de ocupación 3D y la generación de video 2D a través de un paradigma jerárquico de boceto y refinamiento (sketch-and-refine). El sistema opera en dos etapas primarias, conectadas por un mecanismo de retroalimentación de bucle cerrado bidireccional.

1. Generación de Vóxeles Guiada por Imagen (Reconstrucción Inicial)

• Backbone: El sistema utiliza XCube, un modelo generativo 3D a gran escala basado en rejillas de vóxeles dispersas jerárquicas y difusión latente.
• Condicionamiento: Los fotogramas multivista de entrada son procesados mediante un pipeline de unproyección LSS (Lift-Splat-Shoot). Las características extraídas de DINO-V2 se codifican en una rejilla de vóxeles 3D densa.
• Salida: Esta etapa reconstruye una escena de ocupación inicial ($O_0$) detallada con semántica y geometría finas, codificada en una representación latente de triplano para mayor eficiencia.

2. Generación de Vóxeles Guiada por Bocetos (Extensión Gruesa)

• Mecanismo: Para extender la escena a lo largo de trayectorias arbitrarias definidas por el usuario, el sistema emplea una cabeza de difusión guiada por bocetos.
• Proceso: Dado un grid inicial y una secuencia de trayectoria, el modelo predice el siguiente volumen de ocupación. Esto se descompone en:
  • Bocetado a nivel grueso (Coarse-level Sketching): Genera una disposición global de la escena a una resolución reducida (por ejemplo, volumen de $128^3$) para capturar la estructura general de manera eficiente.
  • Ventana Deslizante (Sliding Window): Utiliza un bucle de eliminación de ruido con contexto de parches previos para asegurar transiciones suaves y coherencia local a lo largo de la trayectoria.

3. Generación de Bucle Cerrado Bidireccional (Refinamiento)

La innovación central es un bucle recíproco entre la ocupación 3D y el video 2D:

• Vóxel-a-Video (De Grueso a Fino):
  • El grid de ocupación grueso se convierte en Imágenes de Planos Múltiples (MPIs) para codificar tanto la información semántica como la geométrica (incluyendo el contenido ocluido).
  • Un modelo de difusión de video (basado en CogVideoX1.5-5B, ajustado con LoRA) traduce estas MPIs en secuencias de video multivista de alta fidelidad.
  • Control: El sistema inyecta características de MPI en el decodificador UNet mediante convoluciones 1×1 y utiliza atención cross-view/cross-frame para mantener la consistencia entre cámaras y tiempo.
• Video-a-Vóxel (Refinamiento):
  • Los videos RGB de alta fidelidad generados son re-proyectados de nuevo al espacio 3D.
  • Esto actúa como una señal de retroalimentación condicionada por imagen para refinar la representación de ocupación, corrigiendo la deriva y mejorando los detalles geométricos.
  • Esto crea un proceso de refinamiento de bucle cerrado donde la escena 3D y el video 2D se constriñen y mejoran mutuamente.

4. Entrenamiento y Control

• Funciones de Pérdida: El modelo se entrena con un objetivo de eliminación de ruido unificado. Se introduce una pérdida de reconstrucción ponderada por región para priorizar las superficies de la carretera y los actores dinámicos (vehículos, peatones).
• Control de Texto: La apariencia de alto nivel (clima, estilo) se controla mediante codificadores de texto (por ejemplo, "nevado", "tormenta de arena") inyectados en el proceso de difusión.
• Rollout Ultra-largo: Un muestreador de ventana deslizante con re-anclaje periódico de características evita la deriva en secuencias arbitrariamente largas (hasta más de 300 fotogramas).

Contribuciones Clave

1. Pipeline Unificado: Propone InfiniVerse, un sistema que genera escenas 3D de largo alcance, geométricamente precisas y semánticamente coherentes a partir de un único fotograma multivista, eliminando la necesidad de mapas HD explícitos o prioris BEV.
2. Paradigma Jerárquico de Boceto y Refinamiento: Introduce un proceso de dos etapas que descompone la generación de largo alcance en un bocetado estructural grueso y un refinamiento fino condicionado por imagen, mejorando la consistencia y la controlabilidad.
3. Alineación Recíproca 2D-3D: Establece un bucle de retroalimentación bidireccional donde la ocupación 3D guía la generación de video, y el video generado refina la representación 3D, reduciendo significativamente la deriva geométrica y las alucinaciones.
4. Rendimiento de Vanguardia: Demuestra un rendimiento superior tanto en calidad de generación como en duración en benchmarks estándar.

Resultados Experimentales

El método fue evaluado en el Waymo Open Dataset y nuScenes.

• Métricas Cuantitativas:
  • FID (Fréchet Inception Distance): Logró un 6.40 en nuScenes, superando significativamente a los métodos existentes (por ejemplo, Uniscene con 6.45, MagicDrive-V2 con 20.91).
  • FVD (Fréchet Video Distance): Logró 67.97, demostrando una consistencia temporal superior.
  • Estabilidad de Largo Horizonte: A medida que aumenta la longitud del rollout (hasta 300 fotogramas), InfiniVerse muestra una tendencia de degradación mucho más lenta en FID y FVD en comparación con baselines como Vista.
• Resultados Cualitativos:
  • El sistema genera con éxito videos de larga duración con apariencia realista, condiciones climáticas y actores dinámicos.
  • Mantiene una alineación estricta a través de múltiples modalidades: RGB, semántica, profundidad, ocupación y LiDAR.
  • Los bocetos definidos por el usuario (por ejemplo, giro a la izquierda, carril recto) guían eficazmente la trayectoria y la disposición de la escena.

Significación y Reivindicaciones

El artículo afirma que InfiniVerse aborda las limitaciones fundamentales de la generación de escenas de conducción actuales al unificar el razonamiento estructural 3D explícito con el realismo visual de la difusión de video.

• Superar la Deriva: Al acoplar el modelado de mundo guiado por ocupación con la generación de video, el marco resuelve el problema de "alucinación" común en los métodos autorregresivos puramente implícitos.
• Escalabilidad: El enfoque permite la síntesis de escenarios de conducción arbitrariamente largos sin las restricciones de los rangos de mapas predefinidos.
• Aplicación: El sistema proporciona un paradigma escalable para generar entornos urbanos controlables, ofreciendo una dirección prometedora para la generación de datos, simulación y evaluación a gran escala en sistemas de conducción autónoma.

Los autores enfatizan que su método logra estos resultados partiendo de un único fotograma, sin requerir mapas de verdad de campo o prioris explícitas, marcando un cambio hacia la síntesis de escenas más flexible y robusta para la conducción autónoma.