Yo'City: Personalized and Boundless 3D Realistic City Scene Generation via Self-Critic Expansion

Dit paper introduceert Yo'City, een nieuw agentisch kader dat gebruikmaakt van grote modellen voor top-down planning en een iteratief verfijningsproces om gepersonaliseerde, onbeperkt uitbreidbare en realistische 3D-stadsscènes te genereren die de huidige state-of-the-art-methoden overtreffen.

De kern

Yo'City: De Digitale Stadbouwer die Droomt, Plaatst en Uitbreidt

Stel je voor dat je een architect bent, maar in plaats van te tekenen met potlood en papier, geef je gewoon een opdracht aan een super slimme robot. Je zegt: "Bouw me een stad die eruitziet als Harry Potter, maar dan met een moderne winkelcentrum." En poef! De robot bouwt een complete, realistische 3D-stad voor je.

Dat is precies wat Yo'City doet. Het is een nieuw systeem dat steden kan bouwen op basis van wat je zegt, zonder dat er een menselijke hand aan te pas komt. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Grote Plannenmaker (De "Global Planner")

Stel je voor dat je een gigantisch legobord hebt. Voordat je begint met bouwen, moet je eerst weten waar de woonwijken, de kantoren en de parken komen.

• Hoe het werkt: Yo'City begint niet met het bouwen van één huisje. Eerst denkt de "Plannenmaker" na over het hele plaatje. Hij maakt een grove schets: "Hier komt een drukke zakelijke wijk, daar een rustige woonbuurt."
• De slimme truc: Hij kijkt niet alleen naar wat jij zegt, maar haalt ook kennis op uit de echte wereld (zoals hoe New York of Amsterdam eruitziet) om ervoor te zorgen dat de stad logisch in elkaar zit.

2. De Gedetailleerde Ontwerper (De "Local Designer")

Nu de grote lijnen staan, moet het fijnere werk gebeuren.

• Hoe het werkt: De "Ontwerper" neemt elk stukje van het legobord (elk vakje) en bedenkt precies wat erin moet staan. Hij denkt na over de stijl van de ramen, de kleur van de gevels en hoe dicht de gebouwen bij elkaar staan.
• De analogie: Het is alsof je eerst het verdiepingenplan van een heel hotel maakt, en dan pas de details van elke kamer uitwerkt, zodat alles perfect op elkaar aansluit.

3. De Bouwer met een "Kritische Blik" (De "3D Generator")

Dit is misschien wel het coolste deel. Veel oude methodes bouwen een stad in één keer, maar dat gaat vaak mis (denk aan gebouwen die in elkaar zakken of rare vormen hebben).

• Hoe het werkt: Yo'City gebruikt een cyclus van Maken - Verbeteren - Controleren.
  1. Maken: De robot maakt een platte tekening (een isometrische afbeelding) van een stukje stad.
  2. Verbeteren: Een andere AI kijkt erop en zegt: "Hey, die gevel ziet er een beetje raar uit" of "Er ontbreekt een deur." De robot maakt het dan opnieuw.
  3. Controleren: Als het er goed uitziet, wordt het omgezet in een 3D-model.
• Het resultaat: In plaats van een cartoonachtige stad, krijg je strakke, realistische gebouwen met duidelijke details, alsof je door een venster kijkt.

4. De Uitbreider (De "Self-Critic Expansion")

Stel je voor dat je de stad hebt gebouwd, maar je denkt: "Ik wil nog een museum toevoegen." Bij oude systemen zou je de hele stad moeten slopen en opnieuw beginnen.

• Hoe het werkt: Yo'City kan de stad uitbreiden zonder de rest te verstoren.
  • De robot kijkt naar de bestaande stad en vraagt zich af: "Waar past een museum het beste?"
  • Hij gebruikt logica: Een museum moet dicht bij een woonwijk of een park liggen, maar niet direct naast een lawaaierige fabriek.
  • Hij zoekt de perfecte plek, bouwt het museum daar, en plakt het naadloos vast aan de rest van de stad. Je kunt zo eindeloos doorgroeien, alsof je een stad in een videospel laat evolueren.

Waarom is dit zo speciaal?

Vroeger waren steden bouwen in de computerwereld of heel moeilijk (je moest alles handmatig doen) of erg saai (het zag eruit als een blokje Lego zonder details).

Yo'City is als een onuitputtelijke, creatieve stadsmagier:

• Hij luistert naar jouw wensen (zelfs als je zegt: "Een stad in de stijl van Disney").
• Hij denkt vooruit (hij plant de hele stad voordat hij bouwt).
• Hij is kritisch op zichzelf (hij verbetert zijn eigen werk tot het perfect is).
• Hij kan groeien (je kunt de stad altijd groter maken).

Of je nu een game wilt maken, een virtual reality-ervaring wilt creëren, of gewoon wilt zien hoe een stad eruit zou zien als je de regels van de architectuur een beetje zou oprekken: Yo'City maakt het mogelijk om je droomstad in seconden tot leven te laten komen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Yo'City: Personalized and Boundless 3D Realistic City Scene Generation via Self-Critic Expansion" in het Nederlands.

Probleemstelling

Het genereren van realistische, schaalbare en gepersonaliseerde 3D-stadsscènes is fundamenteel voor toepassingen zoals virtual reality, digitale tweelingen en stadsplanning. Bestaande methodes hebben echter ernstige beperkingen:

• Beperkte schaalbaarheid en personalisatie: Veel huidige technieken vertrouwen op één enkel diffusiemodel of vereisen uitgebreide trainingsdata (zoals satellietbeelden), wat het moeilijk maakt om op maat gemaakte, tekstgedreven steden te genereren.
• Gebrek aan hiërarchische planning: Methoden zoals SynCity gebruiken een autoregressieve "tegel-voor-tegel" aanpak zonder expliciete planning. Dit leidt tot inconsistenties in de globale structuur, vereenvoudigde geometrie en onscherpe texturen bij het schalen naar grote steden.
• Moeilijkheid bij expansie: Het continu uitbreiden van een stad terwijl de ruimtelijke coherentie en semantische logica (bijv. wonen dicht bij scholen, industrie ver weg) behouden blijft, is een onopgeloste uitdaging.

Methodologie: Het Yo'City Framework

Yo'City introduceert een multi-agent framework dat gebruikmaakt van de redeneer- en compositiekracht van grote modellen (LLMs en VLMs) om steden te genereren via een "planning-generatie-expansie" cyclus. De aanpak is gebaseerd op een hiërarchische "City–District–Grid" structuur.

Het proces bestaat uit vier kernmodules:

1. Global Planner (Globale Planner):

   • Vertaalt een vrije tekstprompt van de gebruiker naar een hoog-niveau stadsindeling.
   • Schat de stadsomvang (bijv. een $H \times W$ rooster) en plant functionele districten (bijv. zakelijk centrum, woonwijk).
   • Gebruikt Retrieval-Augmented Generation (RAG) om informatie uit Wikipedia over referentiesteden op te halen, zodat de generatie gebaseerd is op feitelijke stedelijke structuren en niet alleen op het interne kennis van het model.

2. Local Designer (Lokale Ontwerper):

   • Verfijnt de globale blauwdrukken naar gedetailleerde, per-rooster (grid-level) tekstuele beschrijvingen.
   • Werkt volgens een coarse-to-fine strategie: het model redeneert eerst globaal en vervolgens lokaal, wat zorgt voor ruimtelijke en stijl-coherentie binnen districten.
   • Elk rooster krijgt een unieke beschrijving van architecturale stijlen, dichtheid en omgeving.

3. 3D Generator:

   • Genereert 3D-activa voor elk rooster via een iteratieve "produce–refine–evaluate" lus:
     • Produce: Genereert een initiële isometrische 2D-afbeelding.
     • Refine: Een beeldbewerkingsmodel verwijdert de ondergrond en verbetert de texturen/geometrie.
     • Evaluate: Een gespecialiseerde evaluator beoordeelt de afbeelding op realisme en tekst-afbeelding consistentie. Als de score te laag is, wordt de prompt herzien.
   • De hoogwaardige isometrische beelden worden vervolgens omgezet in 3D-modellen via een pre-trained Image-to-3D model.
   • Alle roosters worden parallel gegenereerd en samengevoegd tot een samenhangende stad, wat de foutopstapeling van sequentiële methoden voorkomt.

4. Relationship-guided Expansion (Expansie-module):

   • Maakt grenzeloze expansie mogelijk door interactie met de gebruiker.
   • Gebruikt een Scene Graph om de relaties tussen een nieuw rooster en bestaande districten te modelleren (bijv. "dichtbij", "ver weg").
   • Voert een afstands- en semantiek-bewuste optimalisatie uit om de beste locatie voor de uitbreiding te vinden, rekening houdend met functionele logica (bijv. geen industrie naast een school).

Belangrijkste Bijdragen

• Yo'City Framework: Een nieuw multi-agent systeem voor gepersonaliseerde, realistische 3D-stadsgeneratie zonder afhankelijkheid van kaartdata.
• Hiërarchische Planning: Een "City–District–Grid" aanpak die globale structuur en lokale details combineert, wat leidt tot betere ruimtelijke coherentie dan bestaande autoregressieve methoden.
• Self-Critic Expansie: Een mechanisme dat steden automatisch kan laten groeien door nieuwe gebieden logisch te positioneren op basis van een scene graph en semantische consistentie.
• Nieuwe Benchmark: De auteurs hebben een divers dataset en een multidimensionale evaluatiemethode ontwikkeld die semantische consistentie, geometrie, texturen, lay-out en realisme meet.

Resultaten

Uitgebreide experimenten tonen aan dat Yo'City state-of-the-art methoden (zoals SynCity, CityCraft, Trellis en Hunyuan3D) overtreft:

• Kwalitatieve verbetering: Yo'City produceert steden met duidelijkere texturen, betere geometrische details (bijv. ramen, daken) en een logischere stadsindeling.
• Kwantitatieve prestaties:
  • VQAScore: Yo'City behaalde een score van 0.7151, wat aanzienlijk hoger is dan concurrenten (bijv. SynCity 0.6975), wat aangeeft dat de gegenereerde scènes beter overeenkomen met de gebruikersprompts.
  • Pairwise Vergelijkingen: In menselijke en AI-gebaseerde (GPT-5) vergelijkingen behaalde Yo'City winnende percentages van >85% op alle vijf visuele kwaliteitsdimensies (geometrische trouw, textuurhelderheid, lay-out coherentie, scène-coverage en algeheel realisme).
• Efficiëntie: Door parallelle generatie van roosters is Yo'City efficiënter dan autoregressieve methoden zoals SynCity, vooral bij grotere steden.

Betekenis en Toekomst

Yo'City markeert een doorbraak in de generatieve AI voor 3D-omgevingen. Het lost het probleem op van het genereren van grote, coherente steden zonder de noodzaak van handmatige modellering of zware training op specifieke datasets. De mogelijkheid tot grenzeloze, interactieve expansie opent nieuwe mogelijkheden voor:

• Virtual Reality en Gaming: Het creëren van open-werelden die dynamisch kunnen groeien.
• Stadsplanning en Digitale Tweelingen: Het snel visualiseren van verschillende stadsontwerpen en toekomstige uitbreidingen.
• Onderzoek: Het demonstreert hoe agentische systemen complexe ruimtelijke redeneringsproblemen kunnen oplossen die te complex zijn voor traditionele single-model benaderingen.

Kortom, Yo'City combineert geavanceerde planning, iteratieve kwaliteitsverbetering en semantische logica om realistische, gepersonaliseerde 3D-steden te creëren die zowel visueel overtuigend als functioneel logisch zijn.