Imagine a City: CityGenAgent for Procedural 3D City Generation

El artículo presenta CityGenAgent, un marco impulsado por lenguaje natural que utiliza una estrategia de aprendizaje en dos etapas (ajuste fino supervisado y aprendizaje por refuerzo) para generar y editar ciudades 3D procedurales de alta calidad mediante programas jerárquicos interpretables, superando a los métodos existentes en alineación semántica, calidad visual y controlabilidad.

Lo esencial

¡Imagina que eres un arquitecto mágico! Pero en lugar de usar lápiz y papel, usas solo tus palabras para construir ciudades enteras en tres dimensiones. Eso es exactamente lo que hace CityGenAgent, una nueva herramienta presentada en este artículo.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: Construir una ciudad es como armar un rompecabezas gigante

Antes, si querías crear una ciudad virtual para un videojuego o para probar coches autónomos, tenías dos opciones difíciles:

• Opción A (Manual): Contratabas a cientos de artistas que pasaban meses dibujando cada edificio y calle. Era lento y costoso.
• Opción B (Inteligencia Artificial antigua): Pedías a una IA que "imaginara" la ciudad. El problema es que estas IAs a menudo creaban cosas bonitas pero desordenadas: edificios que se atravesaban entre sí, calles que no tenían sentido o formas extrañas que no podías usar en la vida real.

2. La Solución: CityGenAgent, el "Arquitecto Inteligente"

Los autores crearon un sistema llamado CityGenAgent. Imagina que este sistema no es una sola persona, sino un equipo de dos expertos muy organizados que trabajan juntos siguiendo un plan escrito (un "programa").

Paso 1: El Plan Maestro (BlockGen)

Primero, tú le dices: "Quiero un barrio con edificios altos de cristal, un parque grande en el centro y calles anchas".

• BlockGen es como el urbanista. No dibuja los edificios todavía. Lo que hace es escribir un plan de construcción (llamado Block Program).
• Este plan es una lista de instrucciones matemáticas: "Aquí va un edificio de 10 pisos, aquí un parque, y asegúrate de que no se toquen".
• La magia: El sistema aprende a escribir estos planes para que sean perfectos. Si el plan dice que hay un parque, el parque no se superpondrá con un edificio.

Paso 2: El Decorador (BuildingGen)

Una vez que el urbanista ha decidido dónde va cada cosa, llega el segundo experto.

• BuildingGen es como el diseñador de interiores y fachadas. Toma las instrucciones del urbanista y dice: "Ah, para este edificio de cristal, usaré ventanas azules y puertas de metal".
• Escribe otro plan detallado (llamado Building Program) que describe exactamente cómo debe verse cada pieza.

3. El Entrenamiento: De "Copiar" a "Entender"

¿Cómo aprenden estos dos expertos a ser tan buenos? Usaron una técnica de entrenamiento de dos pasos, como enseñar a un niño:

1. La Clase de Copiado (SFT): Al principio, les mostraron miles de ejemplos de ciudades y sus planes. Les enseñaron a copiar el formato correcto. "Si pides un parque, escribe la palabra 'parque' en el lugar correcto".
2. La Práctica con Premios (RL): Aquí es donde se pone interesante. Les dijeron: "Intenta hacer una ciudad".
   • Si hacían un edificio que se atravesaba con otro, el sistema les daba una "puntuación baja" (como un castigo).
   • Si hacían una ciudad que se veía real y seguía tus instrucciones, les daban una "puntuación alta" (premio).
   • Con el tiempo, aprendieron a razonar. No solo copiaban, sino que entendían: "Si pongo un rascacielos aquí, no puedo poner otro justo encima porque chocarían".

4. El Superpoder: Cambiar las cosas con una frase

Lo más increíble de CityGenAgent es que, como todo está basado en esos "planes escritos", puedes cambiar la ciudad al instante sin borrar nada.

• Si ves la ciudad generada y dices: "Haz que todos los edificios sean de estilo chino antiguo", el sistema no tiene que empezar de cero.
• Solo lee tu nueva frase, ajusta el "Plan del Decorador" y ¡listo! Los edificios cambian de cristal moderno a techos curvos tradicionales, pero el parque y las calles siguen en su lugar.

En resumen

CityGenAgent es como tener un arquitecto y un diseñador que hablan tu idioma, entienden las reglas de la física (para que los edificios no floten ni se atraviesen) y pueden cambiar el estilo de toda una ciudad con una sola frase.

Es una herramienta que promete hacer que crear mundos virtuales sea tan fácil como contar una historia, pero con resultados tan precisos que sirven para entrenar coches autónomos, crear videojuegos realistas o planificar ciudades del futuro.

Resumen técnico

Resumen Técnico: CityGenAgent

1. El Problema

La generación automática de ciudades 3D interactivas es un desafío crítico para aplicaciones como la conducción autónoma, la realidad virtual y la inteligencia encarnada. Aunque los modelos generativos recientes han mejorado el realismo, los métodos existentes enfrentan tres limitaciones principales:

• Falta de fidelidad geométrica: Los enfoques basados en renderizado (NeRF) o difusión a menudo producen geometrías 3D inconsistentes o imprecisas, lo que dificulta su uso en simulaciones físicas.
• Baja controlabilidad y manipulación: Es difícil editar escenas generadas de manera granular (cambiar un edificio o la densidad de un bloque) sin herramientas externas o re-generar toda la escena.
• Escasez de datos y razonamiento espacial: La falta de grandes conjuntos de datos de ciudades a gran escala y la incapacidad de los modelos para realizar un razonamiento espacial profundo (evitar colisiones, mantener densidades realistas) limitan la calidad y la coherencia estructural.

2. Metodología: CityGenAgent

El artículo propone CityGenAgent, un marco impulsado por lenguaje natural para la generación procedural jerárquica de ciudades 3D de alta calidad. En lugar de generar píxeles o mallas directamente, el sistema utiliza programas como intermediarios editables.

A. Descomposición Jerárquica (Programas DSL)
El sistema divide la generación de la ciudad en dos programas de lenguaje específico de dominio (DSL):

1. Block Program (Programa de Bloque): Define la disposición espacial del bloque urbano. Es una lista ordenada de elementos (edificios, espacios verdes) que incluye:
   • id, type (uso), polygon (huella 2D no auto-intersectante), floor_count (número de plantas) y facade (descripción del estilo).
2. Building Program (Programa de Edificio): Desglosa la apariencia de un edificio en componentes (ventanas, puertas, techos) con descripciones detalladas de color, estilo y material.

B. Arquitectura de Agentes y Entrenamiento
El sistema utiliza dos agentes especializados, BlockGen y BuildingGen, basados en modelos de lenguaje grande (LLM, específicamente Qwen3-8B), entrenados en dos etapas:

1. Ajuste Fino Supervisado (SFT):

   • Entrena a los modelos para seguir instrucciones y generar programas con el formato correcto (JSON válido, polígonos cerrados, campos completos).
   • Utiliza un conjunto de datos sintético de pares instrucción-programa.

2. Optimización por Refuerzo (RL) con PPO:

   • Para superar las limitaciones del SFT (memorización de patrones, falta de razonamiento espacial), se aplica Proximal Policy Optimization (PPO) con recompensas diseñadas específicamente:
     • Recompensa de Alineación Espacial (Spatial Alignment Reward): Para BlockGen. Evalúa la consistencia semántica con el texto (usando GPT-4o) y la consistencia estructural (evitando superposiciones geométricas y manteniendo una densidad de huella realista).
     • Recompensa de Consistencia Visual (Visual Consistency Reward): Para BuildingGen. Utiliza un Modelo de Lenguaje Visual (VLM) para evaluar si el renderizado del edificio generado coincide con la descripción textual en términos de alineación, coherencia de color, estilo y materiales.

C. Ejecución y Ensamblaje
Los programas generados se ejecutan mediante un executor que:

• Extrae huellas y parámetros geométricos.
• Recupera activos 3D de una base de datos o genera nuevos componentes mediante Text-to-3D (Hunyuan3D).
• Ensambla la escena final (edificios, árboles, calles) respetando las transformaciones espaciales definidas.

3. Contribuciones Clave

• Programas Editables: Introducción de Block Program y Building Program como representaciones intermedias que permiten el control preciso y la manipulación de la ciudad sin depender de espacios latentes entrelazados.
• Agentes Especializados con RL: Desarrollo de BlockGen y BuildingGen optimizados con recompensas de alineación espacial y consistencia visual, mejorando significativamente el razonamiento espacial y la fidelidad visual.
• Manipulación Interactiva: Capacidad de editar la ciudad generada mediante comandos de lenguaje natural (ej. "cambia el estilo a chino", "aumenta la densidad"), donde el modelo infiere cambios geométricos implícitos (como reducir la altura de los edificios para un estilo tradicional).

4. Resultados Experimentales

Las evaluaciones cuantitativas y cualitativas demuestran la superioridad de CityGenAgent frente a métodos existentes (como CityDreamer, CityCraft, Hunyuan3D):

• Calidad Semántica y Visual: Obtiene las puntuaciones más altas en alineación de texto y consistencia visual según evaluaciones de GPT-4o y estudios con usuarios.
• Calidad Geométrica: Produce mallas con mayor regularidad (mejor puntuación ROS - Ortogonalidad) y menor sobre-tesselación (mejor puntuación OTR) en comparación con métodos basados en difusión.
• Eficiencia: Genera un bloque de ciudad en 0.75 minutos, superando significativamente a la modelación manual (60 min) y a otros métodos automáticos (Hunyuan3D: 3 min).
• Validación de RL: Los estudios de ablación muestran que el uso de PPO con las recompensas diseñadas reduce drásticamente las tasas de colisión (de ~24% en el modelo base a ~4.9%) y mejora la coherencia posicional y semántica.

5. Significado e Impacto

CityGenAgent establece una nueva base para la generación de ciudades 3D escalables y controlables. Al separar la lógica espacial y arquitectónica en programas ejecutables, el sistema resuelve el problema de la "caja negra" de los modelos generativos actuales, permitiendo:

• Edición Granular: Los usuarios pueden modificar aspectos específicos de la ciudad de forma interactiva.
• Aplicaciones Prácticas: Su salida geométrica precisa y estructurada lo hace viable para simulaciones de conducción autónoma, planificación urbana y entornos de entrenamiento para robots.
• Generalización: La estrategia de entrenamiento (SFT + RL) permite al modelo generalizar a escenarios complejos y no vistos, internalizando las distribuciones conjuntas de estilo arquitectónico y topología espacial.

En resumen, el trabajo demuestra que combinar la capacidad de razonamiento de los LLMs con representaciones procedurales y optimización por refuerzo es una vía robusta para crear mundos virtuales 3D de alta fidelidad y totalmente controlables.