Resumo Técnico: MeSS – Geração de Cenas Externas Guiada por Malhas com Difusão de Consistência Entre Vistas

1. Definição do Problema

Embora modelos de malha 3D de alta fidelidade de cidades (ex: modelos LoD3 do 3DCityDB, TUM2Twin) estejam cada vez mais disponíveis, eles frequentemente carecem de texturas realistas, limitando sua utilidade em navegação virtual e condução autônoma. As abordagens generativas existentes lutam para abordar dois desafios críticos simultaneamente:

1. Alinhamento Geométrico: Gerar conteúdo visual que adira estritamente à geometria da cidade fornecida. Os métodos atuais, que dependem de supervisão de visão aérea ou mapas de profundidade esparsos, frequentemente alucinam estruturas de fundo que se desalinham com o layout real da cidade.
2. Consistência Entre Vistas: Manter uma aparência consistente ao longo de longas trajetórias de câmera. Métodos de difusão de vídeo e geração de visão perpétua frequentemente sofrem de "deriva de aparência" (appearance drift), onde a cena degrada ou muda de estilo conforme a câmera se move, falhando em garantir o alinhamento pixel a pixel com a malha subjacente.

2. Metodologia

O pipeline proposto MeSS (Mesh-based Scene Synthesis) converte malhas de cidades sem textura em cenas de 3D Gaussian Splatting (3DGS) de alta qualidade e consistência de estilo. A inovação central é um ajuste de controle-distribuição: ControlNets de imagem são treinados diretamente em priors de profundidade, normais e semânticos renderizados a partir de malhas de cidades. Isso garante que, na implantação, os sinais de controle de qualquer malha de cidade permaneçam dentro da distribuição, resultando em um alinhamento rigoroso entre geometria e aparência.

O pipeline opera em duas etapas:

Estágio I: Geração de Quadros-Chave em Cascata e Construção do Campo Gaussiano

• CtrlNets de Outpainting em Cascata: Para gerar visões esparsas de quadros-chave ao longo de um caminho de câmera, o MeSS utiliza dois ControlNets especializados que trabalham de forma autoregressiva, em sentido inverso (do último pose para o primeiro):
  • CtrlNet-S: Gera a visão inicial usando priors geométricos (profundidade codificada por colormap, segmentação semântica e normais de superfície).
  • CtrlNet-N: Estende a geração tomando o quadro anterior como uma condição de referência junto aos priors geométricos. Ele realiza o "outpainting" para preencher regiões periféricas não cobertas pelo warping do quadro anterior.
• Estratégia de Warping Reverso: A geração procede inversamente a partir do fim da trajetória. Isso minimiza o acúmulo de erros porque o warping de frente para trás contrai os pixels em direção ao centro, enquanto o warping reverso os expande, reduzindo a amplificação de artefatos do ControlNet no campo distante.
• Inicialização do Campo Gaussiano: Os quadros-chave gerados são instanciados como surfels Gaussianos diretamente na superfície da malha usando profundidade métrica e normais precisas, evitando a necessidade de otimização custosa ou estimativa de profundidade.

Estágio II: Inpainting de Quadros Intermediários e Densificação

• Inpainting Guiado por Aparência (AGInpaint): Visões intermediárias renderizadas a partir do campo Gaussiano grosseiro frequentemente exibem "silhuetas" (buracos ou texturas borradas). O MeSS introduz um método de inpainting livre de treinamento que guia o processo de amostragem de difusão. Ele utiliza a imagem RGB renderizada como sinal alvo e a máscara de opacidade renderizada para definir a região de inpainting. Um gradiente de orientação direciona o processo de denoising para corresponder aos pixels conhecidos fora da máscara enquanto refina os detalhes dentro dela.
• Densificação Gaussiana: Novos pixels inpainted são projetados de volta na superfície da malha, densificando o campo 3DGS.

Alinhamento de Consistência Global (GCAlign)
Para abordar inconsistências globais, como mudanças de exposição e deriva de brilho entre vistas, o MeSS aplica um framework de Amostragem de Consistência Multiview (MCS). Ele mistura estimativas livres de ruído derivadas do modelo de difusão com visões re-renderizadas do campo Gaussiano atual. Este processo impõe iterativamente a consistência entre múltiplas vistas para harmonizar as costuras em toda a sequência. No entanto, o artigo observa uma compensação: embora o GCAlign melhore a coerência visual, ele tende a introduzir um leve efeito de desfoque, levando a uma perda de detalhes finos.

3. Principais Contribuições

1. CtrlNets de Outpainting em Cascata: Uma arquitetura inovadora que condiciona em quadros precedentes e priors geométricos renderizados da malha para gerar quadros-chave que permanecem consistentes ao longo de longas trajetas de câmera, suprimindo a deriva de aparência.
2. Inpainting Guiado por Aparência (AGInpaint): Um método para reparar áreas ocluídas e artefatos de silhueta em visões densas intermediárias, guiado pelas regiões conhecidas circundantes sem exigir treinamento adicional.
3. Ajuste de Controle-Distribuição: Demonstra que o treinamento de ControlNets diretamente em priors renderizados de malha (profundidade, normais, semântica) permite a transferência zero-shot para malhas LoD3 do mundo real, garantindo um alinhamento geométrico preciso que controladores de difusão de vídeo genéricos não conseguem alcançar.
4. Alinhamento de Consistência Global (GCAlign): Um mecanismo para remover inconsistências globais como mudanças de exposição, garantindo a coerência visual, embora com uma compensação notada de leve desfoque e perda de detalhes finos.

4. Resultados Experimentais

O método foi avaliado em um benchmark de escala urbana derivado do UE5 City Sample Project, apresentando sequências de 200 quadros abrangendo caminhos de câmera de 200 metros.

• Desempenho Quantitativo: O MeSS alcançou resultados de estado da arte, reduzindo o LPIPS entre vistas em 31% e o KID em 36% em comparação com os melhores métodos concorrentes (incluindo versões adaptadas de WonderWorld e VistaDream). Alcançou um FID de 28,17.
• Generalização Zero-Shot: O modelo transferiu-se com sucesso para uma malha LoD3 do mundo real (TUM2Twin, Munique) sem retreinamento, gerando fachadas que se alinhavam com a geometria da malha (ex: portas e janelas) e mantinham a consistência entre vistas.
• Estudos de Ablação:
  • Remover o CtrlNet-N em cascata (dependendo apenas de condições geométricas) causou perda significativa de fidelidade e degradação da consistência.
  • Substituir o AGInpaint por métodos de reamostragem padrão resultou em padrões de estrias perceptíveis e preenchimento pobre de regiões estreitas.
  • Desativar o GCAlign resultou em métricas quantitativas ligeiramente melhores (devido ao menor desfoque), mas causou desalinhamento visual de iluminação e costuras visíveis no output visual.

5. Significância e Alegações

O artigo afirma que o MeSS resolve o desafio duplo do alinhamento geométrico e da consistência de longo alcance na geração de cenas em escala de cidade. Ao alavancar o "ajuste de controle-distribuição", o método garante que a aparência gerada esteja estritamente vinculada à geometria da malha de entrada, uma capacidade que falta em abordagens anteriores de difusão de vídeo ou outpainting.

Os autores posicionam o MeSS como uma alternativa de baixo custo à captura de dados ao nível da rua, permitindo a criação de ambientes 3D navegáveis e realistas a partir de modelos de malha existentes. A capacidade de transferir zero-shot para dados do mundo real sugere o potencial do método para aplicação imediata em simulação de condução autônoma e navegação urbana virtual, desde que a malha de entrada seja de qualidade suficiente (LoD3). O artigo reconhece que, embora o método herde um "prior de textura estilo UE5", um ajuste fino leve em imagens reais poderia fechar ainda mais o gap de domínio para cidades específicas do mundo real. Também nota que, embora o GCAlign seja crucial para a coerência visual, ele introduz um leve efeito de desfoque e perda de detalhes finos, uma compensação que os autores consideram aceitável para alcançar uma aparência mais consistente.