Resumen Técnico: Escalado de la Generación de Escenas de Conducción Centrada en Ocupación

1. Declaración del Problema

La generación de escenas de conducción es esencial para el desarrollo de la conducción autónoma (CA), particularmente para la evaluación de percepción y planificación, ya que reduce la dependencia de la costosa recopilación de datos del mundo real. Sin embargo, los modelos generativos existentes enfrentan tres limitaciones principales:

1. Escasez de Datos: Los métodos de alta rendimiento centrados en la ocupación dependen de datos semánticos de ocupación anotados, que siguen siendo escasos y limitados en escala (por ejemplo, trabajos anteriores dependían del conjunto de datos Nuscenes).
2. Fragmentación de Modalidades: Los enfoques actuales suelen generar datos en un solo formato (por ejemplo, video RGB) o dependen de condiciones geométricas gruesas (mapas BEV, cajas delimitadoras 3D) que no capturan las distribuciones intrincadas de las escenas del mundo real, lo que conduce a una fidelidad subóptima.
3. Restricciones de Escalabilidad: Los marcos unificados anteriores (por ejemplo, UniScene) están limitados por una diversidad de escenarios y una escala de conjuntos de datos reducidas, lo que obstaculiza su utilidad para tareas aguas abajo a gran escala.

2. Metodología: UniScenev2

El artículo propone UniScenev2, un marco unificado y centrado en la ocupación diseñado para la generación de escenas dinámicas 4D a gran escala. El sistema sintetiza ocupación semántica de alta calidad, videos multivista y nubes de puntos LiDAR mediante una arquitectura jerárquica y desentrelazada espacio-temporal.

A. Conjunto de Datos: Nuplan-Occ

Para superar la escasez de datos, los autores curaron Nuplan-Occ, el conjunto de datos de ocupación semántica más grande hasta la fecha.

• Escala: Contiene aproximadamente 19 veces más escenas anotadas y 18 veces más cuadros que Nuscenes-Ocupación, sumando un total de ~3.6 millones de cuadros con anotaciones de voxel de alta resolución (400×400×32).
• Estrategia de Anotación: El conjunto de datos emplea una tubería de Agregación Separada de Fondo y Primer Plano (FBSA):
  1. Separación: Las nubes de puntos se separan en fondo (estático) y primer plano (objetos dinámicos) basándose en cajas delimitadoras.
  2. Agregación y Registro: Los puntos de fondo sufren filtrado estadístico y registro iterativo (Kiss-ICP) para reducir el ruido y alinear la geometría. Los puntos de primer plano se agregan en coordenadas locales.
  3. Reconstrucción: Se utiliza la Reconstrucción de Superficie con Núcleo Neuronal (NKSR) para generar mallas densas tanto para el fondo como para los objetos.
  4. Etiquetado: Un enfoque de etiquetado híbrido combina anotaciones de cajas delimitadoras para objetos de primer plano y anotaciones de mapas BEV para regiones de fondo para asignar etiquetas semánticas precisas.

B. Generación de Ocupación 4D

El marco descompone la síntesis de escenas 4D en dos tareas complementarias utilizando una Arquitectura Desentrelazada Espacio-Temporal:

1. Expansión Espacial: Un Transformador de Difusión de Ocupación Espacial (DiT) genera cuadrículas de ocupación semántica global expandidas a partir de ruido o diseños BEV opcionales.
2. Predicción Temporal: Un DiT de ocupación temporal predice secuencias futuras de ocupación basándose en el movimiento ego estático y el movimiento de objetos dinámicos.

• Filtrado de Datos: Para entrenar estos componentes distintos, el conjunto de datos se filtra: los datos Espaciales incluyen escenas con movimiento del vehículo ego, mientras que los datos Temporales incluyen escenas donde el ego está estacionario pero el tráfico circundante se mueve.
• Arquitectura: El sistema utiliza un VAE de Ocupación 4D (con CNN 3D y atención axial) para la compresión y una columna vertebral DiT para la eliminación de ruido.

C. Generación de Video Multivista

Para cerrar la brecha entre la ocupación 3D y el video 2D, los autores introducen una estrategia de Renderizado de Mapas de Puntos Escasos Basado en Splatting Gaussiano:

• Renderizado Escaso: Las cuadrículas de ocupación se convierten en primitivas gaussianas 3D y se renderizan en mapas de puntos semánticos y de profundidad escasos. Se utiliza una escala gaussiana pequeña (0.01) para garantizar la precisión geométrica.
• Calibración Robusta: Para abordar la desalineación de sensores y la distorsión de lentes en datos a gran escala (Nuplan), se integra una Transformada Unscented (UT) en la tubería de proyección. Esto aproxima la distribución de los gaussianos 3D bajo modelos de cámara no lineales, asegurando una alineación precisa con imágenes multivista.
• Generación: Estos mapas renderizados sirven como guía condicional robusta para un Transformador de Difusión de Video (DiT), que sintetiza videos multivista.

D. Generación de Nubes de Puntos LiDAR

Para simular datos LiDAR realistas, el marco emplea una estrategia de Incrustación Específica del Sensor:

• Conciencia del Sensor: El modelo codifica explícitamente los datos de la configuración del sensor LiDAR (posición y geometría de rayos) utilizando codificación de Fourier y coordenadas de Plücker.
• Simulación Flexible: Una red de remuestreo genera una incrustación unificada de configuración LiDAR, permitiendo que el modelo simule flexiblemente diferentes configuraciones y patrones de LiDAR.
• Regularización de Suavidad de Rayos: Una nueva función de pérdida fomenta la suavidad de la profundidad entre rayos con características de histograma similares, imitando la naturaleza continua de las líneas de escaneo LiDAR en superficies planas (por ejemplo, carreteras).
• Salida: El modelo predice profundidad, intensidad de reflexión y probabilidad de caída de rayo para cada rayo.

3. Contribuciones Clave

1. Marco Unificado Escalable: UniScenev2 supera las limitaciones de escala anteriores escalando conjuntamente la arquitectura del modelo y los datos de entrenamiento, logrando una generación de alta fidelidad de ocupación, video y LiDAR.
2. Desentrelazamiento Espacio-Temporal: La introducción de una arquitectura desacoplada y una estrategia de filtrado de datos dedicada permite una expansión espacial robusta y una predicción temporal para escenas dinámicas 4D.
3. Técnicas de Puenteo de Modalidades:
   • Un método de renderizado escaso basado en Splatting Gaussiano con calibración de Transformada Unscented para condicionamiento de video robusto al ruido.
   • Un esquema de incrustación específica del sensor para una simulación flexible y realista de múltiples LiDAR.
4. Conjunto de Datos Nuplan-Occ: El lanzamiento de un benchmark masivo de ocupación semántica de alta resolución (3.6M de cuadros) con una tubería de anotación FBSA novedosa.

4. Resultados Experimentales

Extensos experimentos en los conjuntos de validación mini y completo de Nuplan-Occ demuestran un rendimiento superior:

• Ocupación: Logra un 98.5% mIoU en reconstrucción y un 33.41% mIoU en generación (conjunto completo), superando significativamente a UniScene y OccSora.
• Video: Logra un 7.59 FID y un 61.42 FVD en el conjunto de validación completo, superando a métodos de última generación como Vista y MagicDrive.
• LiDAR: Logra un MMD de 0.575 × 10⁻⁵ en el conjunto completo, una mejora del 54.25% sobre UniScene.
• Utilidad Aguas Abajo: Los datos sintéticos generados por UniScenev2 mejoran las métricas de planificación aguas abajo (Colisiones sin Culpa y Cumplimiento del Área Conduccible) en el conjunto de pruebas NAVSIM/Nuplan. Escalar el volumen de datos generados del 10% al 100% de Nuplan-Occ produce mejoras convincentes en el rendimiento de la planificación.
• Generalización: El modelo demuestra fuertes capacidades de generalización en conjuntos de datos internos con diferentes configuraciones de sensores (6 cámaras oculares + LiDAR frontal).

5. Significado y Afirmaciones

El artículo afirma que UniScenev2 representa un avance significativo en la generación de escenas de conducción al abordar los cuellos de botella críticos de la escasez de datos y la fragmentación de modalidades. Al aprovechar el masivo conjunto de datos Nuplan-Occ y un enfoque unificado centrado en la ocupación, el método permite la síntesis de escenas dinámicas 4D diversas y de alta fidelidad. Los autores afirman que este marco no solo logra una fidelidad de generación de última generación, sino que también proporciona valor práctico para la investigación en conducción autónoma al mejorar el rendimiento de las tareas de percepción y planificación aguas abajo mediante datos sintéticos escalables y de alta calidad.