Yo'City: Personalized and Boundless 3D Realistic City Scene Generation via Self-Critic Expansion

Die Arbeit stellt Yo'City vor, ein neuartiges agentic Framework, das mithilfe von Large Language Models eine personalisierte, hierarchisch geplante und unendlich erweiterbare Generierung realistischer 3D-Stadtlandschaften ermöglicht und dabei bestehende Methoden in allen Bewertungskriterien übertrifft.

Das Wesentliche

Stell dir vor, du möchtest eine ganze Stadt aus dem Nichts erschaffen – nicht nur ein einzelnes Haus, sondern ein riesiges, lebendiges Metropolis mit Parks, Wolkenkratzern, Einkaufszentren und sogar einem Harry-Potter-Themenpark. Und das alles nur, indem du einen einfachen Satz in eine Maschine tippst.

Das ist genau das, was die Forscher mit Yo'City erreicht haben. Hier ist eine einfache Erklärung, wie das funktioniert, ohne komplizierte Fachbegriffe:

1. Das Problem: Warum Städte bauen so schwer ist

Bisher war es wie ein riesiges Puzzle, bei dem man die Teile einzeln aneinanderkleben musste. Frühere Methoden haben entweder:

• Zu starre Regeln benutzt (wie ein Baumeister, der nur nach einem alten Bauplan arbeitet).
• Oder sie haben die Stadt Stück für Stück "herumgetippt" (wie ein Kind, das Legosteine nacheinander auf einen Haufen legt). Das Problem dabei: Wenn man zu weit geht, passt das Ende nicht mehr zum Anfang, und die Stadt wirkt chaotisch oder wie eine Karikatur.

2. Die Lösung: Yo'City als "Super-Architekt-Team"

Yo'City ist kein einzelner Roboter, sondern ein Team aus intelligenten Agenten (wie ein gut organisiertes Architekturbüro), das mit modernster KI arbeitet. Sie nutzen eine clevere Strategie, die man sich wie einen Bauplan in drei Ebenen vorstellen kann:

Ebene 1: Der Stadtplaner (Der "Chef")

Stell dir vor, du sagst: "Ich will eine moderne Stadt mit einem großen Einkaufszentrum und einem ruhigen Wohnviertel."
Der Global Planner (der Chef) hört zu und denkt sich sofort einen groben Plan aus:

• Wie groß soll die Stadt sein?
• Wo kommt das Einkaufszentrum hin? (Nicht direkt neben dem Wohngebiet, oder doch?)
• Wie viele Blöcke braucht man?
  Er teilt die Stadt in große Zonen ein, ähnlich wie ein Stadtplaner, der zuerst die Bezirke auf einer Landkarte markiert.

Ebene 2: Der Detail-Designer (Der "Handwerker")

Jetzt kommt der Local Designer ins Spiel. Er nimmt die groben Zonen des Chefs und füllt sie mit Leben. Er denkt sich für jeden einzelnen kleinen Stadtblock (einen "Grid") genau aus:

• "Hier stehen drei hohe Glasgebäude."
• "Dort ist ein kleiner Park mit Bäumen."
• "Die Häuser hier haben rote Ziegeldächer."
  Er sorgt dafür, dass alles, was in einem Viertel passiert, auch stilistisch zusammenpasst.

Ebene 3: Der 3D-Baumeister (Der "Maler")

Jetzt wird aus dem Text ein Bild. Aber nicht irgendein Bild, sondern eine isometrische Ansicht (eine Art schräge Draufsicht, wie bei einem Brettspiel).
Hier passiert das Magische:

1. Malen: Die KI malt das Bild.
2. Kritik: Ein "Kritiker" (ein selbstreflektierender KI-Teil) schaut sich das Bild an. "Hey, die Gebäude sehen zu krumm aus" oder "Hier fehlt ein Fenster".
3. Verbessern: Die KI malt es nochmal, bis es perfekt ist.
4. 3D-Form: Aus diesem perfekten Bild wird dann ein echtes 3D-Modell gezaubert.

3. Das Besondere: Die Stadt wächst mit dir (Selbstkritische Erweiterung)

Das Coolste an Yo'City ist, dass die Stadt unendlich wachsen kann.
Stell dir vor, du spielst ein Videospiel und sagst: "Ich möchte noch ein großes Stadion hinzufügen."
Yo'City schaut sich die bestehende Stadt an und fragt sich:

• "Wo passt das Stadion am besten hin?"
• "Es sollte nicht direkt neben dem Wohngebiet sein (zu viel Lärm), aber nicht zu weit weg (die Leute wollen es erreichen können)."

Die KI nutzt eine Art soziales Netzwerk der Stadt (ein "Szene-Graph"), um zu verstehen, welche Teile der Stadt "Freunde" sind (z. B. Schule und Wohngebiet) und welche "Feinde" (z. B. Fabrik und Wohngebiet). Sie sucht den perfekten Platz, baut das Stadion und fügt es nahtlos ein, ohne dass die Stadt kaputt aussieht.

Warum ist das so toll?

• Keine Vorkenntnisse nötig: Du musst kein Architekt sein. Du sprichst einfach mit der KI.
• Unendlich groß: Du kannst die Stadt immer weiter erweitern, ohne dass sie "kaputtgeht".
• Realistisch: Die Gebäude sehen nicht aus wie aus einem Cartoon, sondern haben echte Texturen, Fenster und Logik.
• Persönlich: Du kannst jede Art von Stadt bauen – von einer futuristischen Cyberpunk-Stadt bis zu einer mittelalterlichen Handelsstadt.

Zusammenfassend:
Yo'City ist wie ein unendlicher Lego-Satz, der von einem Team aus genialen Architekten gesteuert wird. Sie hören dir zu, planen die Stadt von oben nach unten, bauen jedes Haus mit Liebe zum Detail und sorgen dafür, dass alles, was du später hinzufügst, perfekt in das bestehende Bild passt. Es ist der erste Schritt zu einer Welt, in der jeder seine eigene, lebendige 3D-Stadt erschaffen kann, einfach durch Reden.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Yo’City: Personalized and Boundless 3D Realistic City Scene Generation via Self-Critic Expansion" auf Deutsch:

1. Problemstellung

Die Erzeugung realistischer, personalisierter und grenzenloser 3D-Stadtmodelle ist für Anwendungen wie Virtual Reality, digitale Zwillinge und Stadtplanung von entscheidender Bedeutung. Bestehende Methoden leiden jedoch unter erheblichen Einschränkungen:

• Fehlende Personalisierung: Viele Ansätze basieren auf dem Training einzelner Diffusionsmodelle oder erfordern umfangreiche reale Datensätze (z. B. Satellitenbilder), was flexible, textbasierte Eingaben erschwert.
• Mangelnde Skalierbarkeit und Kohärenz: Verfahren wie SynCity nutzen zwar eine autogressive, kachelbasierte Generierung, fehlen jedoch einer expliziten Planungsmechanik. Dies führt zu inkonsistenten globalen Strukturen, vereinfachter Geometrie und „cartoonhaften" Texturen bei großen Städten.
• Begrenzte Erweiterbarkeit: Die meisten Systeme können Städte nicht nahtlos durch Benutzerinteraktion erweitern, ohne die räumliche oder semantische Kohärenz zu verlieren.

Das Ziel von Yo’City ist es, einen agentic Framework zu schaffen, das auf Basis von Benutzertexten personalisierte, realistische und unendlich erweiterbare 3D-Städte generiert, ohne auf Kartenmaterial angewiesen zu sein.

2. Methodik

Yo’City ist ein Multi-Agenten-Framework, das die reasoning- und kompositorischen Fähigkeiten von Large Language Models (LLMs) und Vision-Language Models (VLMs) nutzt. Der Prozess folgt einer „Top-Down"-Planungsstrategie mit der Hierarchie Stadt – Bezirk – Raster (Grid).

A. Globale Planung (Global Planner)

• Aufgabe: Übersetzung eines abstrakten Benutzerprompts in ein grobes Stadtlayout.
• Prozess:
  1. Größenabschätzung: Ein LLM schätzt die erforderliche Rastergröße ($H \times W$).
  2. Bezirksplanung: Es werden funktionale Bezirke (z. B. Wohngebiet, CBD, Park) identifiziert und deren Konzepte erstellt.
  3. Layout-Allokation: Die Bezirke werden unter Berücksichtigung räumlicher Beziehungen auf dem Raster verteilt.
  4. RAG-Integration: Um realistische Referenzen (z. B. „New York-ähnlich") zu unterstützen, wird ein Retrieval-Augmented Generation (RAG)-Modul verwendet, das Informationen aus Wikipedia abruft, um städtebauliche Merkmale als Vorwissen zu integrieren.

B. Lokaler Designer (Local Designer)

• Aufgabe: Verfeinerung der groben Pläne in detaillierte, rasterbasierte Textbeschreibungen.
• Strategie: Ein „Coarse-to-Fine"-Ansatz. Der Designer plant alle Raster innerhalb eines Bezirks gemeinsam, um sicherzustellen, dass architektonische Stile, Dichten und räumliche Kontinuität über die gesamte Stadt hinweg konsistent sind. Dies erzeugt detaillierte Beschreibungen für jedes einzelne Raster-Element.

C. 3D-Generator (3D Generator)

• Aufgabe: Umwandlung der Textbeschreibungen in 3D-Assets.
• Prozess:
  1. Isometrische Bildsynthese: Statt direkter Text-zu-3D-Generierung wird zunächst ein hochwertiges 2D-isometrisches Bild pro Raster erzeugt.
  2. Produce-Refine-Evaluate-Schleife: Ein iterativer Loop sorgt für Qualität:
     • Produce: Erzeugung eines Bildes auf einer Basisplattform.
     • Refine: Ein Bild-Editing-Modell entfernt die Plattform und korrigiert Artefakte.
     • Evaluate: Ein spezialisierter Evaluator prüft auf Text-Bild-Alignment, Realismus und Layout-Rationalität. Bei unzureichender Qualität wird der Prompt angepasst und neu generiert.
  3. Image-to-3D: Die finalen isometrischen Bilder werden mittels eines vortrainierten Modells (Hunyuan3D) in 3D-Modelle umgewandelt.
  4. Assembly: Alle Raster werden parallel und ohne komplexe 3D-Blending-Prozesse gemäß dem globalen Layout zusammengefügt.

D. Selbst-kritisierende Erweiterung (Self-Critic Expansion)

• Ziel: Ermöglichung einer unendlichen, interaktiven Stadterweiterung.
• Mechanismus:
  1. Der Benutzer gibt eine Erweiterungswunsch an.
  2. Ein VLM analysiert die bestehende Szene, generiert eine Beschreibung für das neue Raster und erstellt einen Szene-Graphen, der qualitative Distanzbeziehungen (z. B. „nahe", „weit entfernt") zwischen dem neuen Block und bestehenden Bezirken kodiert.
  3. Optimierung: Eine Zielfunktion kombiniert zwei Terme:
     • Distanz-Term: Minimiert/maximiert den Abstand zu anderen Bezirken basierend auf den semantischen Beziehungen (z. B. Wohngebiete sollten nah an Schulen sein).
     • Semantischer Regularisierungsterm: Nutzt Embedding-Ähnlichkeit (Sentence-Bert), um sicherzustellen, dass der neue Block stilistisch und inhaltlich zum Umfeld passt.
  4. Das System wählt die optimale Position und generiert das neue 3D-Modell nahtlos.

3. Wichtige Beiträge

1. Yo’City Framework: Ein neuartiges Multi-Agenten-System für personalisierte, textgesteuerte 3D-Stadtgenerierung ohne Trainingsdaten.
2. Hierarchische Planungsstrategie: Einführung einer „Stadt-Bezirk-Raster"-Struktur mit Top-Down-Planung, die globale Kohärenz und lokale Detailgenauigkeit sicherstellt.
3. Beziehungsgeführte Erweiterung: Ein innovativer Mechanismus basierend auf Szene-Graphen und Distanz-Semantik-Optimierung, der eine plausible und automatische Stadtwachstum ermöglicht.
4. Umfassender Benchmark: Erstellung eines neuen Datensatzes und Definition von sechs multidimensionalen Metriken (Semantik, Geometrie, Textur, Layout, Abdeckung, Realismus) zur Bewertung.

4. Ergebnisse

Die Evaluierung zeigt, dass Yo’City bestehende State-of-the-Art-Methoden (Trellis, Hunyuan3D, CityCraft, SynCity) in allen Aspekten übertrifft:

• Semantische Konsistenz: Yo’City erzielt den höchsten VQAScore (0.7151), was eine bessere Übereinstimmung mit den Benutzeranweisungen bedeutet.
• Visuelle Qualität: In Paarvergleichen (durch GPT-5 und menschliche Richter) erreicht Yo’City Siegquoten von über 85–96 % in Kategorien wie geometrischer Genauigkeit, Texturklarheit und Layout-Kohärenz.
• Qualität auf Rasterebene: Im Vergleich zu SynCity zeigt Yo’City eine höhere ästhetische Bewertung und bessere semantische Ausrichtung auf Rasterebene.
• Effizienz: Durch die parallele Generierung aller Raster (im Gegensatz zu autogressiven Ansätzen) ist Yo’City effizienter und vermeidet die Akkumulation von Fehlern.
• Stabilität bei Erweiterungen: Der Erweiterungsmechanismus zeigt eine geringe Varianz (CV von 3,34 %) in der Qualität über mehrere Iterationen hinweg, was die Robustheit des Systems belegt.

5. Bedeutung und Ausblick

Yo’City stellt einen Paradigmenwechsel in der 3D-Stadtgenerierung dar. Indem es auf agentic Frameworks und Large Models setzt, löst es das Problem der Skalierbarkeit und Personalisierung, das traditionelle generative Modelle und autogressive Ansätze nicht bewältigen konnten.

• Anwendungsgebiete: Das System ist hochrelevant für die Erstellung von digitalen Zwillingen, VR/AR-Umgebungen, Simulationsspielen und stadtplanerischen Visualisierungen.
• Zukunft: Die Autoren sehen Potenzial darin, natürliche Umgebungsmerkmale (Berge, Meere) zu integrieren und die Abhängigkeit von vortrainierten Modellen weiter zu optimieren.

Zusammenfassend bietet Yo’City einen robusten, skalierbaren und benutzerfreundlichen Ansatz zur Erstellung komplexer, realistischer 3D-Stadtlandschaften, die sowohl global strukturiert als auch lokal detailliert sind.