Extend3D: Town-Scale 3D Generation

Resumo Técnico: Extend3D

1. O Problema

A geração de cenas 3D em grande escala (como cidades inteiras ou paisagens complexas) a partir de uma única imagem 2D permanece um desafio significativo na computação gráfica e visão computacional. As principais limitações identificadas pelos autores são:

• Viés de Objetos Centrais: A maioria dos modelos generativos 3D de ponta (como Trellis e Hunyuan3D) foi treinada em conjuntos de dados focados em objetos isolados, não em cenas complexas com múltiplos objetos e fundos.
• Latentes de Tamanho Fixo: Modelos existentes utilizam espaços latentes de dimensão fixa. À medida que a cena aumenta de tamanho, a resolução latente torna-se insuficiente, resultando em saídas borradas ou com perda de detalhes, semelhantes a imagens de baixa resolução.
• Inconsistências em Métodos "Outpainting": Abordagens anteriores que tentam gerar cenas estendendo blocos sequencialmente (outpainting) frequentemente resultam em costuras visíveis, inconsistências geométricas e perda de alinhamento espacial entre os blocos.
• Falta de Alinhamento Espacial 2D-3D: Gerar uma cena 3D coerente a partir de uma imagem 2D exige um alinhamento espacial rigoroso que os modelos puramente baseados em objetos não conseguem manter sem supervisão adicional.

2. Metodologia

O Extend3D é uma pipeline training-free (sem necessidade de re-treinamento do modelo base) que transforma um modelo generativo de objetos em um gerador de cenas escaláveis. A abordagem baseia-se em três pilares principais:

A. Extensão do Espaço Latente e Fluxo de Patches Sobrepostos

• Extensão: O espaço latente do modelo pré-treinado é estendido nas direções $x$ e $y$ para acomodar cenas maiores.
• Patches Sobrepostos: O espaço latente estendido é dividido em patches (janelas) que se sobrepõem.
• Fluxo Acoplado: Em vez de gerar patches sequencialmente, o modelo gera todos os patches simultaneamente. Os vetores de campo (flow fields) de cada patch são calculados independentemente com base em recortes da imagem de entrada e, em seguida, fundidos (com média nas regiões de sobreposição). Isso permite que patches vizinhos se influenciem mutuamente, corrigindo erros locais e garantindo consistência global.

B. Inicialização com Priors e "Under-noising"

• Inicialização com Nuvem de Pontos: Para garantir o alinhamento espacial entre a imagem 2D e a estrutura 3D, o método inicializa a cena utilizando uma nuvem de pontos extraída de um estimador de profundidade monocromática (MoGe-2).
• Iterative SDEdit: O processo utiliza o algoritmo SDEdit para refinar a estrutura inicial e preencher áreas oclusas (que o estimador de profundidade não consegue inferir).
• Under-noising: Uma contribuição chave é a técnica de under-noising. Ao invés de adicionar ruído padrão à estrutura inicial, o método adiciona menos ruído do que o necessário para a etapa de início do processo de difusão ($t_{noise} < t_{start}$). Isso faz com que o modelo interprete as áreas faltantes (ocultas) como "ruído adicional" que precisa ser removido, preenchendo-as de forma coerente com o contexto da cena.

C. Otimização 3D-Aware

• Para evitar que a cena gerada degenere em estruturas de objetos isolados (perdendo o chão ou a escala), o método otimiza o espaço latente estendido em cada passo de tempo durante o processo de denoising.
• São introduzidas duas funções de perda:
  1. Perda de Estrutura Esparsa (SS): Garante que os voxels correspondentes à nuvem de pontos inicial não desapareçam durante a geração.
  2. Perda de Latente Estruturado (SLAT): Utiliza renderização diferenciável e métricas de similaridade de imagem (LPIPS, SSIM) para refinar texturas e garantir que a cena renderizada corresponda à imagem de entrada, eliminando costuras entre patches.

3. Principais Contribuições

1. Pipeline Sem Treinamento para Cenas em Escala: Propõe uma maneira eficaz de adaptar modelos de geração de objetos para cenas inteiras sem re-treinar o modelo base, estendendo o espaço latente.
2. Fluxo de Patches Sobrepostos: Introduz um mecanismo de geração simultânea e acoplada de patches que captura informações locais e mitiga erros de modelos centrados em objetos.
3. Técnicas de Completude e Otimização:
   • Desenvolvimento do conceito de under-noising para completar regiões oclusas em nuvens de pontos.
   • Otimização contínua do espaço latente com objetivos específicos para 3D, garantindo consistência geométrica e de textura.

4. Resultados

Os autores validaram o método através de experimentos qualitativos, quantitativos e de preferência humana:

• Preferência Humana: Em uma comparação contra modelos de ponta (Trellis, Hunyuan3D) e métodos específicos para cenas (EvoScene, SynCity), o Extend3D obteve a maior taxa de vitória em quatro critérios: geometria, fidelidade à imagem, aparência e completude.
• Métricas Quantitativas: O método superou os concorrentes em métricas de similaridade de imagem (LPIPS, SSIM, PSNR) e métricas geométricas (Chamfer Distance, F-score), demonstrando maior fidelidade estrutural e de textura.
• Qualidade Visual: Os resultados mostram cenas de escala urbana (ex: Cidade do Vaticano) com detalhes finos, sem costuras visíveis entre patches e com geometria coerente, superando as limitações de "pisos desaparecendo" ou objetos rotacionados aleatoriamente comuns em outros métodos.

5. Significado e Impacto

O Extend3D representa um avanço significativo na geração de conteúdo 3D, permitindo a criação de ativos de grande escala (como cidades para jogos, filmes e simulações) a partir de uma única imagem de referência.

• Eficiência: Ao ser training-free, elimina a necessidade de conjuntos de dados massivos de cenas 3D, que são difíceis de obter.
• Escalabilidade: Resolve o problema da resolução fixa, permitindo gerar cenas muito maiores do que o espaço latente original do modelo.
• Aplicabilidade Industrial: Oferece uma solução viável para reduzir custos e aumentar a produtividade na indústria de conteúdo digital, gerando cenários complexos que antes exigiam modelagem manual intensiva.

Limitações: O artigo reconhece que a completude de regiões oclusas pode às vezes ser imperfeita, o custo computacional da otimização de latentes estruturados é alto para cenas muito grandes, e o desempenho em imagens de nível de rua (com pontos de fuga extremos) ainda apresenta desafios.