Imagine a City: CityGenAgent for Procedural 3D City Generation

CityGenAgent is een natuurlijk taalgestuurd framework dat door middel van een hiërarchische procedurale aanpak en een twee-traps leerstrategie (supervised fine-tuning en versterkingsleer) realistische, bewerkbare 3D-steden genereert die overleggen met semantische en visuele consistentie.

De kern

Stel je voor dat je een stad wilt bouwen, maar in plaats van jarenlang met bakstenen, beton en blauwdrukken te werken, je gewoon tegen een computer zegt: "Maak een gezellige wijk met rode bakstenen huizen, een groot park en een moderne bibliotheek." En poef, binnen een minuut staat die stad er.

Dat is precies wat CityGenAgent doet. Het is een slimme digitale architect die steden bouwt op basis van wat je tegen hem zegt. Hier is hoe het werkt, vertaald in simpele taal en met een paar leuke vergelijkingen.

1. Het Probleem: De "Bakstenen" zijn te zwaar

Vroeger moesten mensen steden in computers zelf ontwerpen, regel voor regel. Dat was als het bouwen van een legpuzzel waarbij je elke puzzelstukje met de hand moet snijden.
Nieuwere methodes gebruiken kunstmatige intelligentie om plaatjes te maken, maar die lijken vaak op een droom: ze zien er mooi uit, maar als je erin loopt, is het er niets van (geen echte muren, geen deuren, en de gebouwen lopen door elkaar heen). Het is alsof je een foto van een huis ziet, maar als je erin probeert te lopen, val je erdoorheen.

2. De Oplossing: Twee Slimme Bouwers

CityGenAgent lost dit op door de stad te bouwen in twee stappen, met twee speciale "bouwmeesters" (agents) die samenwerken. Ze gebruiken geen losse bakstenen, maar bouwplannen (programma's).

Stel je voor dat je een stad bouwt:

• Bouwmeester 1 (BlockGen): De Stedenplanner.
  Deze kijkt naar je zin en zegt: "Oké, hier komt een park, daar een school, en hier een rij huizen." Hij tekent de plattegrond. Hij zorgt dat de gebouwen niet in elkaar lopen (geen overlappende muren) en dat er genoeg ruimte is voor wegen.

  • Vergelijking: Hij is als de stedenbouwer die de straten trekt op een kaart en bepaalt waar de blokken komen.

• Bouwmeester 2 (BuildingGen): De Architect.
  Zodra de plattegrond klaar is, kijkt deze bouwmeester naar elk gebouw apart. Hij zegt: "Dit huis moet van rode baksteen zijn, met grote ramen en een plat dak." Hij maakt de details voor elk gebouw.

  • Vergelijking: Hij is als de architect die de gevels, deuren en ramen ontwerpt voor elk huis op de kaart.

3. Hoe leren ze? (De School voor Robots)

Deze robots zijn niet van nature slim genoeg om perfecte steden te maken. Ze moeten leren, net als een leerling. Ze doen dit in twee fases:

1. De Theorieles (Supervised Fine-Tuning):
   De robots krijgen duizenden voorbeelden van goede steden en de bijbehorende bouwplannen. Ze leren de regels: "Een muur mag niet door een ander huis lopen" en "Een school moet eruitzien als een school." Ze leren de taal van de bouwplannen.
2. De Praktijk met Punten (Reinforcement Learning):
   Nu krijgen ze een opdracht en mogen ze zelf proberen. Als ze een fout maken (bijvoorbeeld: een huis staat half in de rivier), krijgen ze een straf (een lage score). Als het er goed uitziet en klopt met wat je vroeg, krijgen ze een beloning (een hoge score).
   • De slimme truc: De computer kijkt niet alleen of het er mooi uitziet, maar ook of het logisch is. Zou een mens dit zo bouwen? Als de robot een stad bouwt die eruitziet als een surrealistisch schilderij, krijgt hij een straf. Hij leert dus om een echte, bruikbare stad te maken.

4. Het Magische: Je kunt de stad aanpassen!

Dit is het coolste deel. Omdat de stad niet gemaakt is van vaste pixels (zoals een foto), maar uit bouwplannen, kun je de stad later nog steeds veranderen.

Stel je bouwt een stad en je zegt: "Verander de stijl naar Chinees."

• Bij een oude methode zou je de hele foto opnieuw moeten maken.
• Bij CityGenAgent begrijpt de robot wat "Chinees" betekent: "Ah, dat betekent lage verdiepingen, gebogen daken en houten balken." Hij past het bouwplan aan en de stad verandert direct. Je kunt zelfs zeggen: "Maak de huizen hoger" of "Verplaats het park naar links", en de robot doet het direct.

Waarom is dit belangrijk?

• Voor Games: Gameontwikkelaars kunnen enorme werelden maken zonder jarenlang te hoeven modelleren.
• Voor Autonomie: Zelfrijdende auto's kunnen oefenen in miljoenen verschillende steden die de computer in een seconde bedenkt.
• Voor Jou: Misschien kun je in de toekomst zelf je droomstad ontwerpen met een simpele zin, en die direct in 3D bekijken en bewandelen.

Kortom: CityGenAgent is als een magische bouwmeester die niet alleen luistert naar wat je zegt, maar ook begrijpt hoe een stad moet werken, zodat je een echte, betrouwbare stad krijgt die je kunt aanpassen met één zin.

Technische samenvatting

Probleemstelling

De automatische generatie van interactieve 3D-steden is een cruciale uitdaging met toepassingen in autonoom rijden, virtual reality en ingebouwde intelligentie. Bestaande methoden kampen met drie belangrijke beperkingen:

1. Gebrek aan controleerbaarheid: Methoden op basis van rendering of diffusie (zoals NeRF of Point Clouds) genereren vaak visueel realistische beelden, maar missen de noodzakelijke 3D-geometrische consistentie en precisie voor downstream-taken zoals simulatie.
2. Moeilijk te manipuleren: Het aanpassen van gegenereerde steden op basis van tekstuele instructies is lastig, omdat deze methoden geen expliciete structuur hebben die makkelijke bewerking toelaat.
3. Schalbaarheid en complexiteit: Steden zijn complex door het samenspel van wegen, diverse gebouwen en stedelijke faciliteiten. Traditionele procedurale methoden vereisen veel handmatige tussenkomst, terwijl LLM-gebaseerde methoden vaak vastlopen bij ruimtelijk redeneren en het genereren van fysiek plausibele lay-outs.

Er is een behoefte aan een systeem dat niet alleen hoogwaardige 3D-steden kan genereren, maar ook volledig controleerbaar en bewerkbaar is via natuurlijke taal.

Methodologie: CityGenAgent

Het paper introduceert CityGenAgent, een raamwerk dat natuurlijke taal gebruikt voor hiërarchische procedurale generatie van 3D-steden. De kern van de aanpak ligt in het decomponeren van de stad in twee interpreteerbare, programmeerbare componenten, aangedreven door twee gespecialiseerde agents.

1. Hiërarchische Decompositie via DSL (Domain Specific Language)

In plaats van direct pixels of 3D-meshes te genereren, vertaalt het systeem tekst naar twee soorten "Programma's":

• Block Program: Beschrijft de lay-out van een stadsblok. Dit omvat de plaatsing, het type (bijv. residentieel, park) en de polygonale voetafdrukken van gebouwen en groene ruimtes. Het zorgt voor een fysiek plausibele indeling zonder overlappingen.
• Building Program: Beschrijft de architecturale details van individuele gebouwen. Dit omvat componenten zoals ramen, deuren en daken, met specifieke attributen voor kleur, stijl, materiaal en decoratie.

2. Twee Agents: BlockGen en BuildingGen

Het systeem gebruikt twee Large Language Models (LLM's), specifiek gefinetuned op basis van Qwen3-8B:

• BlockGen: Genereert de Block Program op basis van een stadsbeschrijving.
• BuildingGen: Genereert de Building Program op basis van de geavanceerde beschrijvingen uit de Block Program.

3. Twee-fasen Leerstrategie

Om zowel structuur als visuele kwaliteit te garanderen, wordt een combinatie van Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL) gebruikt:

• Fase 1: Supervised Fine-Tuning (SFT): De modellen leren de juiste syntaxis en formatteerregels van de programma's (bijv. gesloten polygonen, geldige JSON). Dit zorgt voor basisinstructie-opvolging.
• Fase 2: Reinforcement Learning (RL) met PPO: Om ruimtelijk redeneren en visuele consistentie te verbeteren, wordt Proximal Policy Optimization (PPO) toegepast met twee specifieke beloningsschalen (Rewards):
  • Spatial Alignment Reward (voor BlockGen): Beoordeelt of de gegenereerde lay-out semantisch overeenkomt met de tekst én fysiek plausibel is (geen overlappingen, juiste dichtheid). Dit wordt berekend via een combinatie van geometrische checks en evaluatie door GPT-4o op gegenereerde 2D-renderings.
  • Visual Consistency Reward (voor BuildingGen): Sluit de modale kloof tussen tekst en beeld. De gegenereerde Building Program wordt gerenderd, en een Vision-Language Model (VLM) scoort de overeenkomst tussen de tekstuele beschrijving en het visuele resultaat (kleur, stijl, materiaal).

4. Executie en Manipulatie

De gegenereerde programma's worden uitgevoerd door een executor die assets uit een database haalt (of genereert via Text-to-3D) en deze assembleert tot een compleet 3D-scène. Omdat de output een programmeerbare structuur is, kunnen gebruikers de stad later bewerken via natuurlijke taal (bijv. "verander de stijl naar Chinees" of "verhoog het aantal verdiepingen"), waarna de agent het programma update en de scène regenerert.

Belangrijkste Bijdragen

1. Programma-gedreven representatie: Introductie van Block Program en Building Program als compacte, bewerkbare tussenlagen voor 3D-stadsgeneratie, wat controle en manipulatie mogelijk maakt.
2. CityGenAgent Framework: Een tweestaps-LLM-architectuur (BlockGen en BuildingGen) die is geoptimaliseerd met RL en specifieke beloningsschalen voor ruimtelijke en visuele consistentie.
3. Verbeterde Ruimtelijk Redeneren: Door middel van de Spatial Alignment Reward leert het model fysiek plausibele stadsindelingen te creëren zonder overlappingen, wat een zwak punt is bij bestaande LLM-methoden.
4. Interactieve Manipulatie: Het systeem ondersteunt granulaire bewerkingen van stadsdelen en gebouwen via natuurlijke taal, zonder externe plugins.

Resultaten

De evaluaties tonen aan dat CityGenAgent superieur is aan bestaande methoden (zoals CityCraft, CityDreamer, Hunyuan3D):

• Kwaliteit: Het behaalt de hoogste scores voor tekstuele uitlijning (Text Alignment) en visuele consistentie, zowel in GPT-4o evaluaties als in menselijke studies.
• Geometrische Kwaliteit: De gegenereerde meshes hebben een hogere rechthoekigheid (ROS) en een veel efficiëntere tessellatie (OTR) dan concurrenten, wat resulteert in schoner en regelmatiger 3D-geometrie.
• Controleerbaarheid: Het systeem reduceert botsing (overlap) van gebouwen aanzienlijk (van ~24% bij basismodellen naar ~4,9% na RL) en volgt instructies nauwkeuriger.
• Efficiëntie: CityGenAgent genereert een stadsblok in 0,75 minuten, wat aanzienlijk sneller is dan handmatig modelleren (60 min) en sneller dan veel concurrenten, met slechts een marginale toename in token-gebruik.

Betekenis en Impact

CityGenAgent zet een nieuwe standaard voor procedurale 3D-generatie door de balans te vinden tussen visuele realisme, geometrische nauwkeurigheid en volledige controleerbaarheid. Het overbrugt de kloof tussen generatieve AI en praktische toepassingen in simulaties (zoals autonoom rijden) en game-ontwikkeling. Door steden te vertalen naar programmeerbare instructies, maakt het systeem niet alleen generatie mogelijk, maar ook dynamische, interactieve aanpassingen die essentieel zijn voor de toekomst van digitale tweelingen en virtuele werelden.