Yo'City: Personalized and Boundless 3D Realistic City Scene Generation via Self-Critic Expansion

O artigo apresenta o Yo'City, um novo framework agêntico que utiliza modelos de linguagem grandes para gerar cenas de cidades 3D realistas, personalizadas e infinitamente expansíveis através de um planejamento hierárquico, síntese de imagens isométricas e um mecanismo de expansão guiado por relações espaciais e semânticas.

O essencial

Imagine que você é um prefeito de uma cidade que ainda não existe. Você quer criar um mundo 3D realista, com prédios, parques e ruas, mas em vez de ter que desenhar cada tijolo manualmente (o que levaria anos), você apenas dá um comando de voz: "Quero uma cidade moderna com um parque temático de Harry Potter e um shopping de luxo minimalista".

O Yo'City é o "super-assistente" que faz exatamente isso. Ele é um sistema inteligente que cria cidades 3D infinitas e personalizadas, apenas ouvindo o que você diz.

Aqui está como ele funciona, usando analogias simples:

1. O Arquiteto Chefe e o Mestre de Obras (Planejamento de Topo para Baixo)

A maioria dos sistemas antigos tentava construir a cidade "tijolo por tijolo" de forma aleatória, o que resultava em cidades bagunçadas ou com estilos misturados de forma estranha.

O Yo'City faz diferente. Ele usa uma estratégia de "Topo para Baixo":

• O Planejador Global (O Arquiteto Chefe): Primeiro, ele olha para o seu pedido e desenha um mapa mental. Ele decide: "Ok, vamos ter um bairro de escritórios aqui, uma área residencial ali e um parque de diversões acolá". Ele define o tamanho e a função de cada pedaço da cidade antes de construir qualquer coisa.
• O Designer Local (O Mestre de Obras): Depois que o mapa está pronto, ele pega cada quadradinho do mapa e dá instruções detalhadas: "Neste quadrado, queremos prédios de vidro altos e modernos; naquele, queremos casas de tijolo aconchegantes".

Isso garante que a cidade inteira tenha um plano lógico, não apenas uma colagem de imagens aleatórias.

2. O Ciclo de "Fazer, Ajustar e Julgar" (A Mágica da Imagem)

Para transformar essas descrições de texto em prédios 3D, o Yo'City usa um processo inteligente chamado "Produzir-Ajustar-Avaliar":

• Produzir: Ele gera uma imagem 2D do prédio (como uma foto de cima, chamada de vista isométrica).
• Ajustar: Se a imagem estiver com defeito (ex: o prédio parece flutuar ou a textura está borrada), ele usa uma ferramenta de edição para consertar.
• Avaliar: Um "juiz" (uma IA especializada) olha a imagem e diz: "Isso está bom? Parece real? Está de acordo com o que o usuário pediu?". Se não estiver, ele manda fazer de novo.

Só quando a imagem está perfeita é que ela é transformada em um objeto 3D. É como um artista que não entrega a pintura até que o cliente (ou o juiz) esteja satisfeito.

3. A Expansão Infinita (O Sistema de "Auto-Crítica")

Aqui está a parte mais genial. Cidades reais crescem. Você pode querer adicionar um novo bairro anos depois. O Yo'City permite isso sem quebrar a cidade antiga.

Ele usa um mecanismo chamado "Expansão Guiada por Relacionamento":

• Imagine que você pede para adicionar um "Hospital". O Yo'City não apenas joga o hospital em qualquer lugar. Ele pensa: "Onde fica melhor um hospital? Perto de onde as pessoas moram (bairro residencial) e longe de fábricas barulhentas (zona industrial)".
• Ele cria um "mapa de conexões" (um grafo de cena) que entende que o hospital deve estar "perto" da escola e "longe" da fábrica.
• Ele então escolhe o melhor lugar vazio na cidade para colocar esse novo prédio, garantindo que a nova parte se encaixe perfeitamente com o resto, como se tivesse sido planejado desde o início.

Por que isso é importante?

Antes, criar uma cidade 3D realista exigia equipes gigantescas de artistas ou dados de satélites reais (o que limitava a criatividade). O Yo'City muda o jogo porque:

1. É Personalizado: Você pode pedir qualquer estilo, desde uma cidade medieval até uma metrópole futurista.
2. É Infinito: Você pode começar com um pequeno vilarejo e, com o tempo, expandi-lo para uma megalópole, mantendo a coerência.
3. É Realista: Os prédios têm texturas claras, janelas definidas e layouts que fazem sentido lógico, não parecem desenhos de crianças.

Em resumo: O Yo'City é como ter um arquiteto, um engenheiro e um artista trabalhando juntos 24 horas por dia, apenas esperando você dizer o que sonha, para construir uma cidade inteira, perfeita e infinita, em segundos.

Resumo técnico

Resumo Técnico: Yo'City

1. Problema e Motivação

A geração de cenas urbanas 3D realistas e em grande escala é fundamental para aplicações como realidade virtual, gêmeos digitais, planejamento urbano e jogos. No entanto, os métodos existentes enfrentam desafios significativos:

• Limitações de Personalização: A maioria dos métodos baseia-se em um único modelo de difusão treinado, o que limita a capacidade de gerar cenas personalizadas por texto e de escalar para cidades infinitas.
• Falta de Planejamento Hierárquico: Abordagens recentes (como SynCity) utilizam pipelines autoregressivos "bloco a bloco" (tile-by-tile) sem um mecanismo de planejamento explícito. Isso resulta em inconsistências espaciais globais, geometria simplificada, texturas borradas e falta de coerência estrutural em escalas de cidade.
• Dificuldade de Expansão Contínua: Os métodos atuais têm dificuldade em evoluir uma cidade existente de forma coerente com base em novas instruções do usuário, mantendo a harmonia espacial e semântica.

O Yo'City propõe uma solução baseada em agentes (agentic framework) para superar essas limitações, permitindo a geração de cidades 3D ilimitadas, realistas e totalmente personalizáveis via instruções de texto.

2. Metodologia

O Yo'City adota uma estratégia de "Planejamento-Generação-Expansão" guiada por uma lógica hierárquica "Cidade–Distrito–Grade". O framework é composto por quatro módulos principais:

A. Planejador Global (Global Planner)

• Função: Traduz prompts de texto abstratos do usuário em um layout urbano de alto nível.
• Mecanismo: Estima o tamanho da cidade (grade $H \times W$), identifica distritos funcionais (ex: centro comercial, residencial, parque) e aloca-os na grade.
• Inovação: Utiliza um módulo RAG (Retrieval-Augmented Generation) que busca informações em uma base de dados (Wikipedia) sobre cidades de referência (ex: "Nova York") para garantir que o planejamento siga a lógica espacial e estética real, além de usar um LLM para refinar o plano.

B. Designer Local (Local Designer)

• Função: Refina os planos globais em descrições textuais detalhadas em nível de grade (grid-level).
• Mecanismo: Para cada célula da grade, gera descrições que definem estilos arquitetônicos, densidade de edifícios, marcos e contexto.
• Estratégia: Garante coerência espacial e estilística dentro de cada distrito, decompondo a tarefa de "grosso para fino" (coarse-to-fine) para permitir um raciocínio mais estruturado pelo LLM.

C. Gerador 3D (3D Generator)

• Função: Converte as descrições textuais de cada grade em ativos 3D.
• Processo em Loop "Produzir-Refinar-Avaliar":
  1. Produzir: Gera uma imagem isométrica 2D inicial sobre uma plataforma base comum.
  2. Refinar: Um modelo de edição de imagem remove a plataforma, corrige artefatos geométricos e aumenta a diversidade visual.
  3. Avaliar: Um avaliador especializado verifica alinhamento texto-imagem, realismo e racionalidade do layout. Se a nota for baixa, o prompt é reescrito e o ciclo reinicia.
• Conversão: As imagens isométricas de alta qualidade são convertidas em modelos 3D usando um modelo pré-treinado (Image-to-3D) e depois montados na cena final, adicionando estradas e superfícies.

D. Módulo de Expansão Guiada por Relações (Relationship-guided Expansion)

• Função: Permite a evolução contínua e ilimitada da cidade.
• Mecanismo: Ao receber uma solicitação de expansão (ex: "adicionar um museu"), o sistema:
  1. Gera uma descrição para a nova grade.
  2. Constrói um Grafo de Cena (Scene Graph) que codifica as relações qualitativas de distância entre a nova grade e os distritos existentes (ex: "perto", "longe").
  3. Otimiza a localização usando uma função objetivo que combina:
     • Objetivo Espacial: Minimiza/maximiza distâncias euclidianas com base nas relações do grafo (ex: escolas perto de residências, indústrias longe).
     • Regularização Semântica: Garante que a nova grade seja semanticamente compatível com os vizinhos (usando similaridade de embeddings Sentence-Bert).

3. Principais Contribuições

1. Framework Multi-Agente Yo'City: Uma nova arquitetura para geração de cidades 3D ilimitadas e realistas, guiada por instruções textuais personalizadas, sem depender de dados de mapas reais para treinamento.
2. Estratégia de Planejamento Hierárquico: Modelagem da cidade com estrutura "Cidade–Distrito–Grade" e uma estratégia de planejamento de cima para baixo (top-down) que garante layouts urbanos espacialmente coerentes.
3. Mecanismo de Expansão Auto-Crítico: Introdução de um módulo baseado em grafo de cena que realiza otimização de localização consciente de distância e semântica, permitindo crescimento urbano contínuo e plausível.
4. Benchmarks e Métricas: Construção de um conjunto de dados diversificado e definição de seis métricas multidimensionais (fidelidade geométrica, clareza de textura, coerência de layout, cobertura da cena, realismo geral e consistência semântica) para avaliação abrangente.

4. Resultados Experimentais

O Yo'City foi comparado com métodos state-of-the-art (SOTA) como Trellis, Hunyuan3D, CityCraft e SynCity.

• Desempenho Quantitativo: O Yo'City superou consistentemente todos os concorrentes em todas as dimensões de avaliação.
  • VQAScore (Consistência Semântica): Alcançou 0.7151, superior a SynCity (0.6975) e CityCraft (0.5639).
  • Qualidade Visual: Em comparações pareadas (avaliadas por GPT-5 e juízes humanos), o Yo'City obteve taxas de vitória superiores a 85% em fidelidade geométrica, 86% em coerência de layout e 84.5% em realismo geral.
• Qualidade Visual: As visualizações mostram que o Yo'City produz edifícios com proporções corretas, texturas claras e detalhes de alta fidelidade (como janelas), mantendo uma escala consistente. Em contraste, métodos concorrentes apresentaram inconsistências espaciais, texturas borradas e geometria simplificada.
• Eficiência: Embora utilize múltiplos modelos, a geração paralela das grades torna o Yo'City mais eficiente que abordagens autoregressivas sequenciais como o SynCity para cidades de grande escala.

5. Significado e Impacto

O Yo'City representa um avanço significativo na geração de ambientes urbanos 3D ao:

• Democratizar o Planejamento Urbano: Permitir que usuários criem cidades complexas e personalizadas apenas com texto, sem necessidade de habilidades de modelagem 3D ou conhecimento de regras procedurais.
• Resolver o Problema de Escala: A abordagem de "produzir-refinar-avaliar" combinada com o planejamento hierárquico resolve o problema de inconsistência global em grandes escalas, algo que métodos puramente generativos falharam em fazer.
• Habilitar Mundos Abertos: O mecanismo de expansão guiada por relações permite a criação de mundos virtuais verdadeiramente infinitos e dinâmicos, essenciais para simulações de gêmeos digitais, jogos de mundo aberto e testes de robótica em ambientes urbanos complexos.

Em suma, o Yo'City estabelece um novo padrão para a geração de cidades 3D realistas, combinando o raciocínio lógico de grandes modelos de linguagem com a capacidade criativa de modelos generativos visuais.