SEM-ROVER: Semantic Voxel-Guided Diffusion for Large-Scale Driving Scene Generation

Resumen Técnico: SEM-ROVER

1. El Problema

La generación escalable de escenas de conducción al aire libre en 3D es fundamental para la simulación, la síntesis de datos y la edición de escenas. Sin embargo, las soluciones existentes presentan limitaciones significativas:

• Inconsistencia Geométrica: Los métodos basados en la destilación de modelos generativos de imágenes o videos a un espacio 3D a menudo carecen de coherencia geométrica entre diferentes puntos de vista y están restringidos a las vistas de entrenamiento.
• Escalabilidad: Los enfoques que utilizan convoluciones 3D densas o representaciones implícitas (como campos neuronales) tienen un costo computacional y de memoria que crece rápidamente con el tamaño de la escena, haciendo inviable la generación de áreas extensas y de alta resolución.
• Falta de Editabilidad: Muchos modelos no permiten una edición estructurada ni una renderización libre desde cualquier trayectoria de cámara sin optimización por escena.

2. Metodología Propuesta

SEM-ROVER aborda estos desafíos mediante un marco generativo que opera directamente en el espacio 3D, evitando la distilación desde 2D. La arquitectura se compone de cuatro pilares principales:

A. Representación: Σ-Voxfield (Grid de Vóxeles Semánticos)
En lugar de usar volúmenes densos o mallas continuas, el modelo utiliza una representación discreta llamada Σ-Voxfield.

• Definición: Es una aproximación de superficie local y discreta. Cada vóxel ocupado almacena un número fijo ($n$) de muestras de superficie coloreadas (puntos 3D con RGB).
• Ventaja: Esto entrelaza la geometría local y la apariencia en "tokens" discretos alineados con las coordenadas del mundo, permitiendo un procesamiento eficiente y una cardinalidad fija.
• Renderizado 2D: Para mejorar la calidad de la visualización 2D sin aumentar el número de puntos, cada muestra se convierte en un gaussiano 2D alineado con la normal de la superficie local (mediante PCA).

B. Modelo Generativo: Difusión Condicionada Semánticamente

• Se entrena un modelo de difusión basado en Transformers que opera sobre vecindarios locales de tokens Σ-Voxfield.
• Condicionamiento: El modelo recibe como entrada las etiquetas semánticas (carretera, edificio, vegetación, etc.) y la posición 3D (codificación posicional sinusoidal) de cada vóxel.
• Proceso: El modelo aprende a predecir el estado limpio de los tokens de superficie a partir de ruido, capturando tanto la estructura geométrica como la textura fotométrica.

C. Escalabilidad: Outpainting Espacial Progresivo
Para generar escenas masivas (ej. ~100,000 m²) manteniendo un presupuesto computacional constante:

• Se utiliza una estrategia de outpainting espacial progresivo. El modelo genera regiones locales superpuestas.
• Se emplea el scheduler Repaint de difusión: se mantiene fija la parte conocida de la escena y se difunde solo la nueva región objetivo, asegurando la continuidad de la geometría y la apariencia en los bordes de superposición.
• Esto permite que el costo de inferencia sea lineal con el tamaño de la escena, en lugar de exponencial.

D. Renderizado Deferrido (Deferred Rendering)
La salida del modelo es una red de Σ-Voxfield que, aunque coherente en 3D, puede carecer de detalles de alta frecuencia o cubrir áreas como el cielo.

• Se utiliza un módulo de renderizado diferido basado en difusión (modificaciones de Stable Diffusion y Video Stable Diffusion).
• Este módulo toma la imagen renderizada desde el buffer 3D (Σ-Voxfield) y la refina para producir imágenes fotorrealistas, rellenando el cielo y los fondos lejanos.
• Se implementan variantes Autoregresivas (ASD) y de Video (VSD) para garantizar la consistencia temporal en secuencias de video.

3. Contribuciones Clave

1. Nueva Representación 3D: Introducción del Σ-Voxfield, una aproximación de superficie discreta de cardinalidad fija ideal para el modelado generativo 3D.
2. Modelo de Difusión 3D Directo: Un modelo Transformer que genera simultáneamente características fotométricas y geométricas en el espacio 3D, condicionado semánticamente.
3. Escalabilidad Sin Optimización por Escena: Un método de síntesis mediante outpainting progresivo que permite generar escenas urbanas masivas con un costo computacional constante por paso.
4. Pipeline de Renderizado Híbrido: Acoplamiento de la generación 3D con un renderizador diferido basado en difusión para obtener imágenes fotorrealistas sin necesidad de optimización por escena (per-scene optimization).

4. Resultados y Evaluación

El método fue evaluado en dos conjuntos de datos a gran escala: Waymo Open Dataset (WOD) y PandaSet.

• Calidad de Imagen (FID/KID): SEM-ROVER supera a los métodos del estado del arte (como InfiniCube y GEN3C) en métricas FID y KID, especialmente en vistas novedosas (novel views). Esto demuestra una mayor coherencia geométrica 3D, ya que los métodos basados en video suelen fallar al cambiar drásticamente el ángulo de cámara.
• Eficiencia Computacional:
  • Memoria VRAM: SEM-ROVER utiliza solo 8 GB de VRAM, frente a los 75 GB de InfiniCube y 43 GB de GEN3C.
  • Tiempo de Inferencia: Genera una escena completa en ~20 minutos, comparable a los competidores pero con una calidad superior en consistencia multivista.
• Consistencia Multivista: Las escenas generadas mantienen la coherencia de la topología de la carretera y el entorno bajo movimiento de cámara y configuraciones de múltiples cámaras, algo donde otros métodos degradan significativamente.
• Aplicaciones: El modelo permite edición semántica (eliminar o insertar vehículos) y inpainting de escenas (rellenar regiones específicas) manteniendo la coherencia espacial.

5. Significado e Impacto

SEM-ROVER representa un avance significativo en la generación de mundos sintéticos para vehículos autónomos. Al generar directamente en 3D con una representación estructurada, resuelve el compromiso tradicional entre escalabilidad, coherencia geométrica y calidad fotorrealista.

Su capacidad para generar escenas urbanas extensas sin optimización por escena y con un bajo costo de memoria lo convierte en una herramienta viable para la síntesis masiva de datos de entrenamiento, la simulación de escenarios raros y la edición de entornos de conducción, superando las limitaciones de los enfoques basados puramente en 2D o en optimizaciones densas 3D.