Map2World: Segment Map Conditioned Text to 3D World Generation

1. Declaração do Problema

Embora avanços recentes na geração de ativos 3D (por exemplo, TRELLIS, CLAY) tenham alcançado resultados de alta qualidade para objetos individuais, escalar essas capacidades para gerar mundos 3D inteiros permanece um desafio significativo. As abordagens existentes enfrentam três gargalos principais:

• Escassez de Dados: Conjuntos de dados de alta qualidade e em escala mundial são raros, forçando os modelos a treinar do zero com dados limitados (resultando em baixa generalização) ou a depender de geradores de ativos pré-treinados que carecem de contexto em nível de mundo.
• Inconsistência e Desconexão: Métodos que costuram ativos gerados (por exemplo, telagem baseada em grade como SynCity) frequentemente sofrem com inconsistências de escala, falta de continuidade semântica entre telas adjacentes e artefatos visíveis nas fronteiras.
• Layouts Rígidos: Geradores de mundo existentes frequentemente restringem cenas a layouts de grade fixos, tornando impossível gerar ambientes com limites de distrito irregulares ou formas arbitrárias necessárias para aplicações do mundo real, como simulação de direção autônoma.

2. Metodologia: Map2World

O Map2World é uma estrutura inovadora que aproveita os fortes priores do gerador de ativos 3D pré-treinado TRELLIS para sintetizar mundos 3D coerentes e em grande escala, condicionados a mapas de segmentos definidos pelo usuário e prompts de texto. O pipeline consiste em três componentes principais:

A. Fusão Latente para Expansão Espacial (Seção 4.1)

Para superar os limites de resolução do modelo base (que gera cubos de 64x64x64), o Map2World emprega uma estratégia de multi-difusão dentro do espaço latente estruturado (SLAT).

• Janelas Sobrepostas: O espaço 3D é dividido em janelas cúbicas sobrepostas. O modelo agrega previsões de campos de velocidade de todas as janelas que cobrem uma posição específica usando um kernel gaussiano ponderado. Isso garante transições suaves e consistência global sem mistura explícita de fronteiras.
• Guia de Mapa de Segmentos: O processo de difusão é condicionado a um mapa de segmentos binário ($M_k$) e prompts de texto correspondentes ($y_k$). A velocidade em qualquer ponto é uma soma ponderada de velocidades derivadas de diferentes regiões semânticas, permitindo formas arbitrárias e layouts não baseados em grade.
• Inicialização Consciente de Escala: Para garantir consistência de escala global, os autores otimizam o latente inicial ruidoso. Eles observam que estruturas esparsas com escalas semelhantes se agrupam no espaço latente. Ao otimizar o ruído inicial no domínio espectral (usando FFT 3D), eles podem direcionar a geração para uma escala desejada de forma eficiente e estável.

B. Rede de Aprimoramento de Detalhes (Seção 4.2)

A fusão latente inicial gera uma estrutura global grosseira, mas carece de detalhes de alta granularidade devido à capacidade limitada do espaço latente.

• Super-Resolução Latente: Em vez de treinar um novo gerador do zero, os autores projetam um Aprimorador de Detalhes que aprende o mapeamento de um latente grosseiro (representando um cubo grande) para latentes de alta granularidade (representando sub-cubos menores).
• Arquitetura: O aprimorador utiliza um Flow Transformer (do TRELLIS) aumentado com uma camada MLP leve.
  • Entradas: Ele recebe o latente grosseiro da região alvo ($s^{O|j}$) e os latentes de cubos adjacentes ($s^{Adj(j)}$) como condições.
  • Mecanismo: O MLP mistura os latentes de ruído e condição antes de alimentá-los no Transformer. Isso permite que o modelo injete detalhes finos enquanto preserva a geometria global e garante conexões suaves entre regiões adjacentes.
• Estratégia de Treinamento: O modelo é ajustado finamente usando um pequeno número de parâmetros (apenas os pesos do MLP) em um conjunto de dados construído dividindo cenas 3D existentes em cubos grandes e pequenos. Isso preserva as capacidades de generalização do modelo TRELLIS pré-treinado.

C. Ajuste Fino do Decodificador (Seção 4.3)

Como o decodificador original do TRELLIS foi treinado em objetos completos, ele luta com cubos de cena parciais. Os autores ajustam finamente o Decodificador SLAT ($D_L$) usando os cubos pequenos do conjunto de dados do aprimorador de detalhes para garantir reconstrução de alta qualidade dos latentes aprimorados.

3. Principais Contribuições

1. Condicionamento Flexível de Mapas de Segmentos: Diferentemente de métodos anteriores baseados em grade, o Map2World pode gerar mundos 3D a partir de mapas de segmentos de forma arbitrária, permitindo layouts complexos e irregulares (por exemplo, distritos urbanos orgânicos) enquanto mantém o alinhamento semântico com prompts de texto.
2. Consistência Global via Fusão Latente: Ao aplicar difusão multi-janela no espaço latente estruturado, o método garante consistência de escala e conexões suaves em todo o mundo, evitando a aparência de "colagem" das abordagens de telagem.
3. Aprimoramento de Detalhes sem Escassez de Dados: O Aprimorador de Detalhes proposto aproveita os priores de um gerador de ativos poderoso para adicionar detalhes de alta granularidade sem exigir conjuntos de dados massivos em escala mundial, alcançando alta fidelidade através de super-resolução no espaço latente.
4. Generalização Robusta: A estrutura alcança desempenho forte em diversos domínios (por exemplo, florestas, cidades) mesmo com dados de treinamento limitados para a tarefa de geração de cenas.

4. Resultados Experimentais

Os autores avaliaram o Map2World contra bases de comparação de última geração, incluindo SynCity e GaussianCube, usando métricas qualitativas e quantitativas.

• Comparação Qualitativa:
  • O Map2World gera com sucesso mundos com formas irregulares e grandes estruturas conectadas (por exemplo, arranha-céus que abrangem múltiplos segmentos), enquanto o SynCity falha em gerar objetos coerentes através das fronteiras das telas e produz ativos desconectados.
  • Os mundos gerados exibem transições suaves entre diferentes regiões semânticas (por exemplo, floresta para cidade) sem costuras visíveis.
• Métricas Quantitativas (Qualidade do Mundo - WQ):
  • Uma nova métrica, Qualidade do Mundo (WQ), foi introduzida, ponderando Completude do Mundo (45%), Coerência (25%), Realismo (15%) e Nitidez (15%).
  • Resultados: O Map2World alcançou uma pontuação WQ de 7,76, superando significativamente o SynCity (7,25) e o GaussianCube (5,08).
  • Especificamente, o Map2World se destacou em Completude do Mundo (7,8 vs. 6,8) e Coerência (7,9 vs. 7,6), demonstrando sua capacidade de criar ambientes em grande escala estruturalmente consistentes.
• Estudos de Ablação:
  • Parametrização Espectral: Crucial para controle de escala estável; sem ela, a otimização divergia ou exigia passos excessivos.
  • Design do Aprimorador de Detalhes: A arquitetura de concatenação proposta com condicionamento de cubos adjacentes superou o IP-Adapter e métodos usando Guia Livre de Classificador (CFG), que causavam distorções geométricas.

5. Significado

O Map2World representa uma mudança de paradigma na geração de mundos 3D, afastando-se da telagem rígida baseada em grade em direção à síntese flexível condicionada a mapas de segmentos. Sua capacidade de gerar ambientes 3D de alta resolução e consistentes globalmente com formas arbitrárias o torna altamente valioso para:

• Simulação de Direção Autônoma: Gerando redes viárias e layouts urbanos diversos, realistas e complexos.
• Criação de Conteúdo Imersivo: Permitindo que criadores projetem vastos mundos virtuais com layouts semânticos específicos usando entradas simples de texto e mapas.
• Geração Escalável: Fornecendo um caminho para gerar conteúdo em escala mundial ao aproveitar os priores de modelos em nível de ativo, contornando efetivamente a necessidade de conjuntos de dados massivos e inexistentes em escala mundial.

Em resumo, o Map2World preenche a lacuna entre a geração de alta qualidade de ativos 3D e a síntese escalável de mundos, oferecendo uma solução controlável, consistente e detalhada para a criação de conteúdo 3D de próxima geração.