Imagine a City: CityGenAgent for Procedural 3D City Generation

Ce papier présente CityGenAgent, un cadre piloté par le langage naturel qui génère des villes 3D interactives de haute qualité grâce à une approche procédurale hiérarchique et une stratégie d'apprentissage combinant affinage supervisé et apprentissage par renforcement pour garantir la cohérence structurelle et visuelle.

L'essentiel

Imaginez que vous voulez construire une ville entière, avec ses immeubles, ses parcs et ses rues, mais que vous n'avez pas de temps pour poser chaque brique à la main. C'est là qu'intervient CityGenAgent, un nouvel outil magique décrit dans ce papier de recherche.

Voici une explication simple, comme si on racontait une histoire :

🏙️ Le Problème : Construire une ville, c'est dur !

Jusqu'à présent, créer des villes en 3D pour les jeux vidéo, les voitures autonomes ou la réalité virtuelle était un casse-tête.

• Les anciennes méthodes étaient comme des architectes rigides : il fallait écrire des règles complexes et passer des heures à tout dessiner manuellement.
• Les nouvelles méthodes basées sur l'IA (comme les "peintres numériques") pouvaient créer de belles images, mais elles produisaient souvent des châteaux en carton : c'est joli à voir, mais si vous essayez de marcher dedans, les murs sont flous, les portes n'ont pas de profondeur, et on ne peut pas modifier les bâtiments facilement.

🤖 La Solution : CityGenAgent, le "Chef de Chantier" Intelligent

Les chercheurs ont créé CityGenAgent. Imaginez-le non pas comme un simple peintre, mais comme un chef de chantier ultra-intelligent qui parle votre langue.

Au lieu de lui demander de "peindre une ville", vous lui donnez une instruction simple en langage naturel, comme : "Fais-moi un quartier résidentiel moderne avec des immeubles bleus et un grand parc au centre."

Mais comment fait-il pour que ce soit solide et modifiable ? Il utilise une astuce géniale : il ne dessine pas directement la ville, il écrit le "plan de construction".

📝 L'Analogie des Deux Plans (Le Secret de la Méthode)

Pour construire une ville, CityGenAgent décompose le travail en deux étapes, comme un architecte qui prépare deux plans distincts :

1. Le Plan du Quartier (Block Program) :
   Imaginez un plan de ville vu du ciel. Ce plan dit : "Ici, on met un immeuble de 10 étages. Là, un parc. Et là, une rue."

   • L'astuce : Le modèle apprend à s'assurer que les immeubles ne se chevauchent pas (pas de murs qui traversent d'autres murs) et que tout est logique. C'est comme s'il vérifiait que les pièces d'un puzzle s'emboîtent parfaitement avant même de les assembler.

2. Le Plan de la Maison (Building Program) :
   Une fois le quartier dessiné, il se concentre sur chaque maison individuellement. "Cette maison a des fenêtres en verre, une porte en bois et un toit plat."

   • L'astuce : Il s'assure que le style de la maison correspond exactement à ce que vous avez demandé. Si vous dites "style chinois", il ne mettra pas de fenêtres modernes !

🎓 Comment l'a-t-on appris à faire ça ? (L'École de la Ville)

Pour que ce chef de chantier soit aussi bon, les chercheurs l'ont formé en deux temps, un peu comme un apprenti :

• Étape 1 : L'École (Apprentissage Supervisé)
  On lui a montré des milliers d'exemples de plans et de villes pour qu'il apprenne le vocabulaire et les règles de base. Il sait maintenant écrire un plan correct.
• Étape 2 : Le Stage de Perfectionnement (Apprentissage par Renforcement)
  C'est ici que la magie opère. On lui a donné des "récompenses" virtuelles.
  • Si son plan crée un immeuble qui flotte dans le ciel ou qui traverse un autre immeuble, il perd des points (c'est le Récompense d'Alignement Spatial).
  • Si le rendu final ressemble à ce qu'il a écrit, il gagne des points (c'est la Récompense de Cohérence Visuelle).
  • À force d'essais et d'erreurs, il devient un expert capable de deviner ce qui est physiquement possible et ce qui est joli.

✨ Pourquoi c'est génial ? (La Magie de la Modification)

C'est là que CityGenAgent change la donne. Comme il a construit la ville à partir de plans écrits (et non pas juste d'une image figée), vous pouvez revenir en arrière et modifier la ville en parlant simplement.

• Avant : Si vous vouliez changer le style d'un bâtiment dans une image générée, c'était impossible sans tout effacer et recommencer.
• Avec CityGenAgent : Vous dites : "Change tous les immeubles en style chinois." Le modèle lit son plan, modifie les instructions pour les fenêtres et les toits, et boum, la ville se transforme instantanément, tout en restant solide et logique.

🚀 En résumé

CityGenAgent, c'est comme avoir un architecte et un constructeur en un seul.

• Il écoute vos idées en langage courant.
• Il écrit des plans mathématiques précis (pour éviter les erreurs).
• Il construit une ville 3D solide et belle.
• Et surtout, il est flexible : vous pouvez lui demander de changer la couleur des toits ou d'ajouter un parc à tout moment, sans tout casser.

C'est un pas de géant pour créer des mondes virtuels réalistes, que ce soit pour s'entraîner à conduire une voiture autonome, pour jouer à un jeu vidéo infini, ou pour imaginer le futur de nos villes.

Résumé technique

1. Problématique

La génération automatique de villes 3D interactives et de haute fidélité est un défi majeur pour des applications telles que la conduite autonome, la réalité virtuelle et l'intelligence incarnée. Les méthodes existantes présentent plusieurs limitations :

• Génération procédurale traditionnelle : Bien que structurée, elle nécessite une intervention manuelle importante et des coûts de main-d'œuvre élevés.
• Méthodes basées sur le rendu (NeRF, Diffusion) : Elles produisent des images photoréalistes mais souffrent souvent d'un manque de fidélité géométrique 3D précise, rendant l'édition contrôlée et l'utilisation dans des simulations en aval difficiles.
• Approches basées sur les LLM (Grands Modèles de Langage) : Les tentatives récentes combinent les LLMs à la génération procédurale, mais elles peinent souvent à effectuer un raisonnement spatial fiable, à respecter les contraintes structurelles (ex: éviter les intersections) ou à permettre une manipulation fine via le langage naturel.

Le manque de grands ensembles de données pour les scènes urbaines extérieures et la difficulté à créer des représentations compactes et contrôlables pour les villes à grande échelle constituent également des obstacles majeurs.

2. Méthodologie : CityGenAgent

Les auteurs proposent CityGenAgent, un cadre piloté par le langage naturel pour la génération procédurale hiérarchique de villes 3D. L'approche se distingue par une décomposition en deux programmes interprétables et une stratégie d'apprentissage en deux étapes.

A. Représentation Hiérarchique (DSL)

Au lieu de générer directement des maillages ou des images, le système génère deux programmes de langage spécifique (DSL) :

1. Block Program (Programme de Bloc) : Définit la disposition spatiale du quartier. Il encode les éléments (bâtiments, espaces verts) sous forme de polygones 2D (empreintes au sol), de types d'usage et de densité.
2. Building Program (Programme de Bâtiment) : Définit l'apparence architecturale de chaque bâtiment. Il décompose le bâtiment en composants (fenêtres, portes, toits) avec des descriptions textuelles détaillées (style, matériau, couleur).

Ces programmes servent d'intermédiaires modifiables, permettant une édition fine sans outils externes.

B. Architecture des Agents

Le système utilise deux agents spécialisés, BlockGen et BuildingGen, tous deux basés sur des modèles de langage (fine-tunés à partir de Qwen3-8B) :

• BlockGen : Transforme une description textuelle en Block Program.
• BuildingGen : Transforme la description de la façade (issue du Block Program) en Building Program.

C. Stratégie d'Apprentissage en Deux Étapes

Pour garantir la cohérence structurelle et sémantique, les auteurs adoptent une approche combinant SFT (Supervised Fine-Tuning) et RL (Reinforcement Learning) :

1. Supervised Fine-Tuning (SFT) :

   • Entraîne les modèles à suivre les instructions et à produire des programmes valides (format JSON correct, polygones non auto-intersectants, champs complets).
   • Utilise des paires de données synthétiques (instruction -> programme cible).

2. Reinforcement Learning (RL) avec PPO (Proximal Policy Optimization) :

   • Introduit pour améliorer le raisonnement spatial et la généralisation au-delà des motifs mémorisés lors du SFT.
   • Récompenses Spatiales (pour BlockGen) :
     • Alignement Sémantique : Évalué par un LLM (GPT-4o) via le rendu 2D du programme pour vérifier la fidélité à la description textuelle.
     • Cohérence Structurelle : Métriques géométriques pour éviter les chevauchements (overlap) et assurer une densité de construction réaliste.
   • Récompense de Cohérence Visuelle (pour BuildingGen) :
     • Utilise un modèle VLM (Vision-Language Model) pour évaluer si le rendu 3D du bâtiment correspond aux spécifications textuelles (alignement texte, cohérence des couleurs, style architectural, matériaux).

D. Exécution et Manipulation

Les programmes générés sont exécutés par un module d'assemblage qui récupère des assets 3D (ou en génère via Text-to-3D) et les place selon les paramètres géométriques. Grâce à la nature procédurale des programmes, les utilisateurs peuvent modifier la ville via des commandes naturelles (ex: "Change le style en chinois", "Augmente la densité"), et le modèle met à jour les programmes correspondants.

3. Contributions Clés

1. Nouvelle Représentation : Introduction des Block Program et Building Program comme intermédiaires éditables pour la génération de villes 3D, permettant un contrôle découplé de la disposition spatiale et de la composition architecturale.
2. Cadre CityGenAgent : Un système à deux agents optimisé par SFT et RL, intégrant des mécanismes de récompense spécifiques (Alignement Spatial et Cohérence Visuelle) pour améliorer le raisonnement et la fidélité visuelle.
3. Manipulation Interactive : Capacité à modifier des blocs ou des bâtiments individuels via le langage naturel, en allant au-delà du simple mapping de textures pour ajuster la topologie structurelle (ex: adaptation du nombre d'étages selon le style architectural demandé).

4. Résultats Expérimentaux

Les évaluations quantitatives et qualitatives montrent la supériorité de CityGenAgent par rapport aux méthodes de l'état de l'art (CityDreamer, CityCraft, Hunyuan3D, etc.) :

• Alignement Texte-Image : Meilleures scores sur l'alignement textuel et la cohérence visuelle (évalués par GPT-4o et des études utilisateurs).
• Qualité Géométrique : Génération de maillages avec une meilleure orthogonalité (ROS) et une efficacité de tessellation (OTR) bien supérieure, évitant les géométries irrégulières ou redondantes.
• Validité Structurelle : Taux de collision très faible (4,89% contre 23,97% pour le modèle de base sans RL) et haute précision de format (98%).
• Efficacité : Génération d'un bloc urbain en 0,75 minute, nettement plus rapide que la modélisation manuelle (60 min) ou les méthodes de diffusion (3 min).
• Études d'ablation : La phase RL (PPO) améliore significativement les performances par rapport au seul SFT ou à l'optimisation directe des préférences (DPO), en particulier pour l'évitement des collisions et la cohérence des préférences humaines.

5. Signification et Impact

Ce travail établit une fondation robuste pour la génération de villes 3D évolutives et contrôlables.

• Avancée Technique : Il démontre que l'association de programmes procéduraux et de l'apprentissage par renforcement permet de combler le fossé entre la flexibilité des LLMs et les contraintes géométriques rigides de la modélisation 3D.
• Applications Pratiques : Le système ouvre de nouvelles perspectives pour la simulation de conduite autonome, le développement de jeux vidéo, la planification urbaine et la réalité virtuelle, en offrant un moyen efficace de créer des environnements complexes et interactifs à partir de descriptions textuelles.
• Futur : Bien que des défis subsistent concernant le temps d'inférence pour des scènes massives et le déploiement sur appareils mobiles, cette approche propose une voie prometteuse vers des mondes virtuels génératifs réalistes et manipulables.