Imagine a City: CityGenAgent for Procedural 3D City Generation

Este trabalho apresenta o CityGenAgent, um framework impulsionado por linguagem natural que utiliza uma estratégia de aprendizado em duas etapas (SFT e RL) para gerar e editar cidades 3D procedurais de alta qualidade, garantindo precisão estrutural e alinhamento semântico através da decomposição hierárquica em programas de blocos e edifícios.

O essencial

Imagine que você quer construir uma cidade inteira, mas em vez de usar tijolos e cimento, você usa apenas palavras. E o mais incrível: essa cidade precisa ser perfeita, com prédios que não se atravessam, ruas que fazem sentido e edifícios que realmente parecem o que você pediu.

O artigo "Imagine a City: CityGenAgent" apresenta uma nova ferramenta que faz exatamente isso. Pense nela como um arquiteto superinteligente e um mestre da construção que trabalha juntos para transformar suas ideias em cidades 3D reais e interativas.

Aqui está como funciona, explicado de forma simples:

1. O Problema: Construir Cidades é Difícil

Antes, criar cidades virtuais era como tentar montar um quebra-cabeça gigante de olhos fechados.

• Métodos antigos: Eram como seguir um manual de instruções rígido. Se você quisesse mudar algo, tinha que começar tudo de novo ou contratar uma equipe inteira para mexer manualmente.
• Métodos novos (IA generativa): Eram como pintar um quadro bonito, mas se você tentasse andar por dentro da cidade, as paredes eram "fantasmas" ou os prédios se atravessavam. Não havia estrutura real.

2. A Solução: O "Duplo Chefe" (CityGenAgent)

Os pesquisadores criaram um sistema chamado CityGenAgent. Em vez de tentar fazer tudo de uma vez, eles dividiram o trabalho em dois especialistas que conversam entre si:

• O Mestre do Terreno (BlockGen):
  Imagine que você está desenhando um mapa num papel quadriculado. O BlockGen é o responsável por desenhar os "quarteirões". Ele decide: "Aqui vai um parque, ali vai um prédio de apartamentos, e aqui uma escola".

  • O Truque: Ele não desenha o prédio em si, ele escreve um mapa de instruções (um código simples) dizendo: "Coloque um prédio retangular de 10 andares aqui, sem encostar no vizinho".

• O Mestre da Fachada (BuildingGen):
  Depois que o terreno está pronto, o BuildingGen entra em ação. Ele pega as instruções do primeiro chefe e diz: "Ok, o prédio na rua A precisa ser moderno, de vidro azul, com janelas grandes".

  • O Truque: Ele escreve um manual de decoração detalhado para cada parte do prédio (portas, telhados, janelas), garantindo que o visual combine com a descrição.

3. Como eles aprendem a fazer isso? (O Treinamento)

Para que esses "robôs" não fizessem besteira (como colocar um prédio dentro de outro), eles passaram por duas fases de treinamento, como um aluno de arquitetura:

1. Aulas de Teoria (SFT): Eles leram milhares de exemplos de cidades e aprenderam as regras básicas: "Prédios não podem se atravessar", "Parques precisam de espaço", "Portas devem estar no chão".
2. O Estágio de Prática com Feedback (RL): Aqui está a mágica. Eles começaram a criar cidades e um "professor" (uma IA avaliadora) olhava o resultado.
   • Se o prédio ficava torto ou não parecia o que você pediu, o professor dava uma "nota baixa" e dizia: "Tente de novo, mas pense melhor no espaço".
   • Com o tempo, eles aprenderam a pensar no espaço 3D e a entender o que os humanos realmente querem ver, não apenas seguir regras cegas.

4. O Poder da Magia: "Edição por Conversa"

A parte mais legal é que, como a cidade é construída baseada em instruções escritas (e não apenas em pixels), você pode mudar tudo conversando com o sistema.

• Você diz: "Quero que todos os prédios desse quarteirão fiquem no estilo chinês antigo."
• O sistema: Não apenas pinta os prédios de vermelho. Ele entende que "estilo chinês" significa telhados curvos, menos andares e materiais específicos. Ele reescreve o "mapa" e o "manual", e a cidade se transforma instantaneamente. É como ter um assistente que entende não só a cor, mas a estrutura da sua ideia.

Resumo da Ópera

O CityGenAgent é como ter um engenheiro de software e um arquiteto trabalhando juntos para você.

• Você fala o que quer (ex: "Uma cidade futurista com parques").
• Eles criam um plano lógico (para que nada bata em nada).
• Eles constroem os detalhes (para que fique bonito).
• E se você mudar de ideia? Basta pedir, e eles reorganizam a cidade inteira em segundos.

Isso é muito útil para criar cenários para jogos, treinar carros autônomos (que precisam ver cidades reais) ou para planejamento urbano virtual, onde podemos testar ideias sem gastar um centavo em concreto.

Resumo técnico

Resumo Técnico: CityGenAgent para Geração Procedural de Cidades 3D

1. O Problema

A geração automática de cidades 3D interativas é um desafio crítico para aplicações em direção autônoma, realidade virtual e inteligência corporificada. Embora modelos generativos recentes tenham melhorado o realismo, os métodos existentes enfrentam três limitações principais:

• Falta de Fidelidade Geométrica: Métodos baseados em renderização neural (NeRF) ou difusão frequentemente produzem geometrias 3D inconsistentes ou imprecisas, dificultando o uso em simulações físicas.
• Baixo Controle e Manipulabilidade: A maioria dos métodos não permite edição granular ou controle preciso sobre a estrutura da cidade após a geração.
• Dificuldade de Escala e Diversidade: A complexidade de redes viárias, diversidade de estruturas e a escassez de grandes conjuntos de dados urbanos de alta qualidade limitam a geração de cenas escaláveis e coerentes.

2. Metodologia: CityGenAgent

O CityGenAgent é um framework orientado por linguagem natural para geração procedural hierárquica de cidades 3D de alta qualidade. A abordagem centraliza-se na decomposição da geração da cidade em dois programas interpretáveis (DSL - Domain Specific Language) e no uso de dois agentes especializados.

2.1. Decomposição Hierárquica

O sistema divide a geração da cidade em dois níveis:

1. Block Program (Programa de Bloco): Define o layout espacial do quarteirão, incluindo a localização, polígonos (pegadas) de edifícios, áreas verdes e atributos como contagem de andares.
2. Building Program (Programa de Edifício): Descreve a aparência arquitetônica de cada edifício, decompondo-o em componentes (portas, janelas, telhados) com detalhes sobre cor, estilo, material e ornamentação.

2.2. Agentes Especializados

Dois agentes baseados em Grandes Modelos de Linguagem (LLMs), especificamente o Qwen3-8B, são treinados para gerar esses programas:

• BlockGen: Converte instruções de texto em Block Programs.
• BuildingGen: Converte descrições de fachada em Building Programs.

2.3. Estratégia de Treinamento em Duas Etapas

Para garantir correção estrutural e alinhamento semântico, o treinamento segue uma abordagem híbrida:

1. Ajuste Fino Supervisionado (SFT):

   • Os modelos são treinados em pares de instruções e programas alvo para aprender a seguir o formato correto, garantir campos completos e gerar polígonos geometricamente válidos (não auto-intersectantes).
   • O objetivo é garantir a sintaxe correta e o mapeamento básico de instruções.

2. Otimização por Aprendizado por Reforço (RL - PPO):

   • Para superar a falta de raciocínio espacial e generalização do SFT, aplica-se o Proximal Policy Optimization (PPO) com recompensas específicas:
     • Recompensa de Alinhamento Espacial (Spatial Alignment Reward): Avalia a consistência semântica (alinhamento com o texto) e a consistência estrutural espacial (ausência de sobreposição de polígonos, densidade de área construída adequada). Utiliza o GPT-4o para avaliar a plausibilidade global e métricas geométricas para sobreposição.
     • Recompensa de Consistência Visual (Visual Consistency Reward): Avalia se a renderização do Building Program corresponde fielmente à descrição textual (cores, estilo, materiais). Utiliza um Modelo de Linguagem Visual (VLM) para pontuar a coerência visual.

2.4. Execução e Montagem

Os programas gerados são executados por um executor que:

• Parseia os polígonos e contagens de andares para criar malhas base.
• Recupera ativos 3D de uma biblioteca arquitetônica ou gera novos ativos via Text-to-3D (ex: Hunyuan3D) para preencher detalhes.
• Monta a cena final com estradas, árvores e iluminação, permitindo manipulação interativa via comandos de linguagem natural (ex: "mude o estilo para chinês").

3. Contribuições Principais

• Novos Programas DSL: Introdução do Block Program e Building Program, que oferecem uma representação compacta, editável e expressiva para cidades 3D, permitindo controle desacoplado entre layout e composição arquitetônica.
• Framework CityGenAgent: Um sistema de dois agentes (BlockGen e BuildingGen) que integra SFT e RL com mecanismos de recompensa personalizados para raciocínio espacial e fidelidade visual.
• Manipulação Interativa: Capacidade de editar e refinar cidades geradas através de comandos de linguagem natural, alterando densidade, altura, estilo e distribuição espacial sem ferramentas externas.
• Desempenho Superior: Demonstração de que a abordagem procedural baseada em programas supera métodos baseados em difusão e NeRF em termos de qualidade geométrica, coerência semântica e eficiência.

4. Resultados Experimentais

4.1. Avaliação Quantitativa

• Alinhamento de Texto e Consistência Visual: O CityGenAgent obteve as pontuações mais altas em métricas de alinhamento semântico (GPT e avaliação humana) e consistência visual, superando métodos como CityCraft, CityDreamer e Hunyuan3D.
• Qualidade Geométrica: O método alcançou o melhor Rectilinearity/Orthogonality Score (ROS) e o menor Over-tessellation Ratio (OTR), indicando malhas mais limpas, planas e estruturalmente regulares.
• Validade do Programa: O sistema atingiu 98% de precisão no formato (JSON válido, polígonos geometricamente corretos) e reduziu drasticamente a taxa de colisão (4.89%) em comparação com modelos base sem RL.

4.2. Eficiência

• Tempo de Geração: O CityGenAgent gera um bloco de cidade (100m x 100m) em 0.75 minutos, sendo significativamente mais rápido que a modelagem manual (60 min), Hunyuan3D (3 min) e CityCraft (1 min).
• Eficiência de Tokens: Apesar da arquitetura multi-agente, o aumento no uso de tokens foi marginal (4.1%), resultando em um ganho de desempenho de 17.7% e uma melhoria de 13% na eficiência de tokens.

4.3. Estudo de Ablação

A comparação entre SFT, DPO (Direct Preference Optimization) e PPO mostrou que o PPO com as recompensas projetadas (espacial e visual) é superior, especialmente na capacidade de evitar colisões e manter a coerência estrutural em cenários complexos.

5. Significado e Impacto

O CityGenAgent estabelece uma nova base para a geração de cidades 3D escaláveis e controláveis. Ao substituir a geração direta de pixels ou latentes por programas executáveis, o trabalho resolve o problema da falta de controle e da inconsistência geométrica.

• Aplicações Práticas: O método é altamente relevante para simulação de direção autônoma (que requer geometria precisa), desenvolvimento de jogos (geração de ativos) e planejamento urbano em realidade virtual.
• Edição Interativa: A capacidade de modificar cenas complexas via linguagem natural abre caminho para ferramentas de criação de conteúdo mais acessíveis e flexíveis.
• Futuro: O trabalho sugere que a combinação de raciocínio de LLMs com restrições procedurais e otimização por reforço é o caminho para mundos virtuais interativos de alta fidelidade.

Em resumo, o CityGenAgent não apenas gera cidades visualmente impressionantes, mas cria estruturas 3D logicamente consistentes e editáveis, superando as limitações das abordagens puramente generativas baseadas em difusão.