Imagine a City: CityGenAgent for Procedural 3D City Generation

Il paper presenta CityGenAgent, un framework guidato dal linguaggio naturale che utilizza un approccio procedurale gerarchico e una strategia di apprendimento in due fasi (SFT e RL) per generare città 3D interattive di alta qualità, garantendo coerenza strutturale e facilitando l'editing semantico.

L'essenziale

Immagina di dover costruire una città intera, con strade, palazzi, parchi e dettagli architettonici, ma invece di usare mattoni e cemento, usi solo le parole. È esattamente quello che fa CityGenAgent, un nuovo sistema intelligente presentato in questo articolo.

Ecco come funziona, spiegato in modo semplice e con qualche metafora divertente:

🏗️ Il Problema: Costruire una città è difficile

Fino a poco tempo fa, creare città virtuali realistiche per videogiochi, auto a guida autonoma o realtà virtuale era come cercare di dipingere un quadro gigante usando solo un pennello troppo grande.

• I metodi vecchi richiedevano anni di lavoro manuale (come costruire ogni singolo mattone a mano).
• I metodi nuovi basati sull'Intelligenza Artificiale (come i generatori di immagini) creavano cose bellissime da vedere, ma erano "fantasmi": non avevano una struttura solida, non potevi spostare un edificio senza distruggere tutto il resto e non seguivano bene le regole della fisica.

🧠 La Soluzione: CityGenAgent, l'Architetto Digitale

CityGenAgent non "disegna" la città pixel per pixel. Invece, agisce come un capocantiere digitale che scrive un piano di costruzione preciso (un codice) prima di costruire.

Il sistema divide il lavoro in due fasi, affidandosi a due "agenti" (assistenti AI) specializzati:

1. L'Agente "Urbanista" (BlockGen)

Immagina di dover pianificare il quartiere. L'Urbanista prende la tua descrizione (es: "Voglio un quartiere residenziale con un parco al centro e palazzi alti sui lati") e disegna la mappa.

• Cosa fa: Decide dove vanno i palazzi, dove sono le strade e dove c'è il verde.
• Il trucco: Non disegna solo un'immagine, ma scrive un "Programma del Quartiere". È come una lista di istruzioni matematiche che dice: "Qui c'è un palazzo rettangolare, lì c'è un parco, e nessuno dei due deve sovrapporsi".
• L'allenamento: All'inizio, l'AI impara a seguire le regole (SFT). Poi, le viene dato un "premio" (come un allenatore sportivo) quando disegna un quartiere che non ha collisioni (edifici che si scontrano) e che ha senso logico. Questo è il Reinforcement Learning.

2. L'Agente "Architetto" (BuildingGen)

Una volta che l'Urbanista ha detto "Qui c'è un palazzo", l'Architetto entra in scena.

• Cosa fa: Prende le istruzioni dell'Urbanista (es: "Palazzo residenziale, facciata in vetro e acciaio") e decide i dettagli: che tipo di finestre ha? Di che colore è la porta? Che materiale è il tetto?
• Il trucco: Anche lui scrive un "Programma dell'Edificio", una ricetta dettagliata per costruire quel singolo palazzo.
• L'allenamento: L'Architetto viene premiato quando il palazzo che "disegna" corrisponde esattamente a quello che hai descritto a parole (es: se hai chiesto "stile moderno", non deve uscire un castello medievale).

🎮 Perché è rivoluzionario? (La Magia del Controllo)

La vera magia di CityGenAgent è che, poiché la città è costruita su questi "programmi" (codici) e non su immagini fisse, puoi modificarla in tempo reale.

• Esempio: Se hai creato una città e poi dici: "Cambia tutti i palazzi in stile cinese", il sistema non deve ricreare tutto da zero. Capisce che lo "stile cinese" richiede tetti curvi e meno piani, e aggiorna automaticamente i programmi dei palazzi.
• È come se avessi un Lego: puoi smontare un pezzo e cambiarlo senza dover buttare via l'intera casa.

🏆 I Risultati

Gli scienziati hanno testato il sistema e hanno scoperto che:

1. È più veloce: Costruisce un quartiere in meno di un minuto (mentre un umano ci metterebbe un'ora o più).
2. È più preciso: Gli edifici non si scontrano tra loro e seguono le regole della fisica.
3. È più bello: Le città sembrano vere, con dettagli coerenti, non sono solo "macchie colorate".

In sintesi

CityGenAgent è come avere un architetto e un urbanista super-intelligenti che lavorano per te. Tu gli parli in linguaggio naturale ("Voglio una città futuristica con un parco"), loro scrivono i piani tecnici perfetti, e poi costruiscono una città 3D che puoi esplorare, modificare e usare per qualsiasi scopo, dai videogiochi alla simulazione del traffico.

È un passo enorme verso il futuro, dove creare mondi virtuali sarà facile come raccontare una storia.

Sommario tecnico

1. Il Problema

La generazione automatica di città 3D interattive è una sfida cruciale per applicazioni come la guida autonoma, la realtà virtuale e l'intelligenza artificiale incarnata. Sebbene i recenti progressi nei modelli generativi e nelle tecniche procedurali abbiano migliorato il realismo, i metodi esistenti soffrono di diverse limitazioni:

• Mancanza di fedeltà geometrica: I metodi basati su rendering neurale o diffusione (es. NeRF, Diffusion) spesso producono geometrie 3D inconsistenti o imprecise, rendendoli difficili da utilizzare in simulazioni downstream.
• Scarsa controllabilità e manipolabilità: È difficile modificare le scene generate in modo coerente tramite comandi naturali.
• Assenza di ragionamento spaziale: Molti approcci che utilizzano i Large Language Models (LLM) si limitano a recuperare asset fissi o a generare layout senza una vera comprensione delle relazioni spaziali (es. sovrapposizioni, densità, vincoli fisici).
• Carenza di dati: Mancano dataset su larga scala per scene urbane esterne, rendendo difficile l'addestramento di modelli generativi di alta qualità.

2. Metodologia: CityGenAgent

Il paper propone CityGenAgent, un framework guidato dal linguaggio naturale per la generazione procedurale gerarchica di città 3D di alta qualità. L'approccio si basa su due pilastri fondamentali: una rappresentazione intermedia programmatica e un'architettura di agenti ottimizzata tramite apprendimento per rinforzo.

A. Rappresentazione Gerarchica (Programmi DSL)

Invece di generare direttamente mesh o immagini, il sistema genera due programmi in un linguaggio specifico di dominio (DSL) che fungono da proxy modificabili:

1. Block Program: Definisce il layout del quartiere. È una lista ordinata di elementi (edifici, spazi verdi) caratterizzati da:
   • id, type (es. residenziale, commerciale).
   • polygon: Un poligono 2D non auto-intersecante che definisce la sagoma a terra.
   • floor_count e facade (opzionali): Numero di piani e descrizione della facciata.
2. Building Program: Definisce l'aspetto architettonico di un singolo edificio, scomponendolo in componenti (finestre, porte, tetto) con descrizioni testuali dettagliate su colore, stile e materiale.

B. Architettura degli Agenti

Il sistema utilizza due agenti specializzati, entrambi basati su modelli LLM (Qwen3-8B) e addestrati in due fasi:

1. BlockGen: Genera il Block Program.
2. BuildingGen: Genera il Building Program basandosi sulla descrizione della facciata fornita dal primo agente.

C. Strategia di Addestramento (SFT + RL)

Per garantire correttezza strutturale e allineamento semantico, viene adottata una strategia a due stadi:

• Supervised Fine-Tuning (SFT): Gli agenti vengono addestrati su coppie "istruzione-programma" per imparare a seguire il formato corretto, garantire poligoni chiusi e campi completi.
• Reinforcement Learning (RL) con PPO: Per migliorare il ragionamento spaziale e la generalizzazione, viene introdotta un'ottimizzazione basata su preferenze (Proximal Policy Optimization) utilizzando due reward specifici:
  • Spatial Alignment Reward (per BlockGen): Valuta la coerenza semantica con il prompt, la plausibilità globale, l'assenza di sovrapposizioni geometriche (Geometric Overlap) e la densità dell'area edificata (Footprint Density).
  • Visual Consistency Reward (per BuildingGen): Esegue il programma generato per ottenere un rendering, quindi utilizza un Vision-Language Model (VLM) per valutare l'allineamento tra il testo e l'immagine risultante (coerenza dei colori, stile, materiali).

D. Esecuzione e Manipolazione

Una volta generati i programmi, un executor assembla le mesh 3D recuperando asset da un database o generando nuovi asset tramite Text-to-3D. La natura programmatica permette la manipolazione interattiva: gli utenti possono modificare la città con comandi in linguaggio naturale (es. "cambia lo stile in cinese" o "aumenta la densità"), e gli agenti aggiornano i programmi di conseguenza senza bisogno di strumenti esterni.

3. Contributi Chiave

1. Introduzione di Block e Building Program: Una rappresentazione compatta ed esplicita che scompone la città in blocchi e componenti architettonici, permettendo un controllo parametrico e una modifica fine.
2. Framework CityGenAgent: Un sistema a due agenti che integra SFT e RL con reward mechanisms specifici (allineamento spaziale e coerenza visiva) per colmare il divario tra testo e geometria 3D.
3. Capacità di Manipolazione Naturale: Il sistema supporta la modifica interattiva di layout e dettagli architettonici tramite linguaggio naturale, dimostrando capacità di ragionamento spaziale emergente (es. adattare la struttura topologica a uno stile architettonico specifico).

4. Risultati Sperimentali

Le valutazioni quantitative e qualitative mostrano che CityGenAgent supera gli stati dell'arte (come CityCraft, UrbanWorld, Hunyuan3D, CityDreamer):

• Allineamento Semantico e Coerenza Visiva: Ottenuto i punteggi più alti sia nelle valutazioni automatizzate (GPT-4o) che negli studi con utenti umani.
• Qualità Geometrica: I mesh generati mostrano una rettangolarità superiore (ROS più alto) e un'efficienza di tassellazione migliore (OTR più basso) rispetto ai metodi basati su diffusione o NeRF, riducendo la geometria ridondante.
• Validità del Programma: Il sistema mantiene un'accuratezza del formato del 98% e riduce drasticamente il tasso di collisioni (dal 23.97% del modello base al 4.89% dopo l'RL).
• Efficienza: CityGenAgent genera un blocco urbano in 0.75 minuti, significativamente più veloce rispetto a Hunyuan3D (3 min) o alla modellazione manuale (60 min), con un miglioramento del 17.7% nelle prestazioni rispetto al modello base con un aumento marginale dei token.
• Ablation Study: L'uso di PPO con reward specifici ha dimostrato di essere superiore alla sola SFT o all'uso di DPO (Direct Preference Optimization) per il ragionamento spaziale e la coerenza visiva.

5. Significato e Impatto

CityGenAgent rappresenta un passo avanti significativo verso la creazione di modelli di mondo interattivi scalabili e controllabili.

• Superamento dei limiti attuali: Risolve il problema della mancanza di geometria 3D precisa e della scarsa controllabilità dei metodi generativi attuali.
• Versatilità: La capacità di modificare le città tramite linguaggio naturale apre nuove possibilità per la pianificazione urbana, la simulazione per la guida autonoma e lo sviluppo di giochi.
• Fondazione per il futuro: Stabilisce una base robusta per la sintesi di scene urbane su larga scala, combinando la flessibilità dei LLM con la rigidezza strutturale della generazione procedurale.

In sintesi, il lavoro dimostra che l'uso di rappresentazioni intermedie programmatiche, ottimizzate tramite reward specifici per il dominio spaziale e visivo, permette di generare città 3D realistiche, strutturalmente valide e facilmente modificabili.