CityGen: Structure-Guided City-Style Synthesis for Cross-City Autonomous Driving

Enunciado del Problema
Los sistemas de conducción autónoma suelen entrenarse y evaluarse dentro de regiones geográficas limitadas, lo que conduce a una degradación significativa del rendimiento al desplegarse en ciudades no vistas. Esta falla "entre ciudades" se origina en desplazamientos de dominio en la disposición de las vías, la apariencia visual, los patrones de tráfico y las condiciones ambientales. Las soluciones existentes, como la adaptación de dominio, la aumento de datos y la generación de datos sintéticos, a menudo dependen de datos etiquetados del objetivo, anotaciones específicas de la ciudad o diseños específicos de la tarea. Estas dependencias limitan la escalabilidad y la eficacia para una evaluación holística en las tareas de percepción, segmentación y planificación. Además, las pruebas de referencia actuales a menudo carecen de una separación geográfica estricta, fallando en evaluar rigurosamente la verdadera generalización a nivel de ciudad.

Metodología: CityGen y CityTransfer-Bench
Para abordar estos desafíos, los autores introducen dos componentes principales:

1. CityTransfer-Bench: Una prueba de referencia geográficamente disjunta diseñada para evaluar la generalización entre ciudades. Construida sobre el conjunto de datos nuScenes, separa estrictamente los datos de entrenamiento y prueba por ubicación: los modelos se entrenan exclusivamente con datos de tres regiones de Singapur (One-North, Queenstown y Holland Village) y se evalúan en el área del Puerto de Boston. La prueba de referencia evalúa tres tareas centrales de conducción autónoma: percepción (detección), segmentación y planificación.

2. CityGen: Un marco generativo basado en difusión para la adaptación de ciudades sin etiquetas. Sintetiza escenas urbanas realistas que imitan la apariencia de la ciudad objetivo mientras preservan la estructura geométrica de la ciudad de origen. El método opera mediante un mecanismo de doble condicionamiento:

   • Control Geométrico Guiado por Estructura: El marco utiliza mapas de Alta Definición (HD) para imponer consistencia geométrica. Proyecta primitivas estructurales invariantes a la ciudad (límites de carril, líneas centrales y cajas delimitadoras 3D de agentes) sobre planos de cámaras multivista para crear un tensor de control estructural ($M_{hdmap}$). Este tensor se inyecta en el modelo de difusión a través de una rama de control estructural, asegurando que la topología de los carriles y la disposición de los objetos permanezcan estables a través de los dominios.
   • Indicadores Visuales a Nivel de Ciudad: Para capturar la apariencia de la ciudad objetivo (por ejemplo, arquitectura, vegetación, iluminación), el sistema construye una "biblioteca de estilo de ciudad sin etiquetas" a partir de videos del dominio objetivo. Un Modelo Visión-Lenguaje (VLM), específicamente InternVL, extrae descripciones de escenas de estos videos para formar un conjunto de descriptores de estilo. Estos descriptores actúan como señales de condicionamiento de texto durante el proceso de difusión.
   • Proceso de Síntesis: El modelo emplea una arquitectura de Transformador de Difusión (DiT). Desruido variables latentes condicionadas tanto al mapa estructural ($M_{hdmap}$) como a un descriptor de estilo muestreado ($y$). Esto permite la generación de escenas urbanas multivista que mantienen la geometría de origen (preservando las anotaciones existentes) mientras adoptan el estilo visual de la ciudad objetivo.

Contribuciones Clave

• CityTransfer-Bench: La primera prueba de referencia diseñada específicamente para evaluar la generalización a nivel de ciudad en las tareas de percepción, segmentación y planificación utilizando una división geográficamente disjunta.
• Marco CityGen: Un enfoque novedoso basado en difusión para la adaptación de ciudades sin etiquetas que desacopla la disposición estructural del estilo visual. Permite la transferencia de estilo que preserva la semántica sin requerir anotaciones adicionales para la ciudad objetivo.
• Validación Empírica: Experimentos a gran escala que demuestran que los datos generados por CityGen mejoran significativamente la robustez aguas abajo en ciudades no vistas, estableciendo una base escalable para la conducción autónoma entre dominios.

Resultados Experimentales
Evaluado en CityTransfer-Bench utilizando StreamPetr (detección), Cross-View Transformer (segmentación) y UniAD (planificación), CityGen superó consistentemente a los métodos de mejora existentes y a las líneas base entrenadas solo con datos de origen:

• Detección: Mejoró la Precisión Media Promedio (mAP) de 10.18 a 13.06 y la Puntuación Normalizada de Detección (NDS) de 28.05 a 33.95 en comparación con la línea base solo de origen.
• Segmentación: Logró ganancias sustanciales, aumentando IoU40 de 43.47 a 50.84 e IoU50 de 41.97 a 49.39, reduciendo significativamente la brecha con la línea base de límite superior entrenada en ambas ciudades.
• Planificación: Redujo la tasa promedio de colisiones al 0.350% y el error L2 promedio a 0.984, superando a la línea base solo de origen.
• Estudios de Ablación: Los resultados confirmaron que tanto la alineación del estilo de la ciudad objetivo como la codificación semántica de estilo basada en VLM son esenciales; el uso de descripciones de la ciudad de origen o la eliminación de la codificación VLM condujo a una degradación del rendimiento. Además, CityGen mantuvo una robustez sólida incluso cuando los datos de entrenamiento etiquetados de origen se redujeron al 20%, demostrando una mayor eficiencia de etiquetas.

Significado y Afirmaciones
El artículo afirma que CityGen establece una base escalable y eficiente en etiquetas para la conducción autónoma generalizable. Al sintetizar datos que son estructuralmente consistentes pero visualmente diversos, el método expone efectivamente a los modelos aguas abajo a un amplio espectro de condiciones visuales de la ciudad objetivo sin el costo prohibitivo de la anotación manual. Los autores postulan que este enfoque de síntesis guiada por estructura supera las limitaciones de métodos anteriores que luchan con la generalización entre ciudades a gran escala y en el mundo real debido a las diferencias inherentes en los patrones de tráfico y las estructuras viales. El trabajo proporciona un protocolo unificado para evaluar la transferibilidad a nivel de ciudad, abordando una brecha crítica en la escalabilidad y fiabilidad de los sistemas de conducción autónoma.