Resumo Técnico: PanoWorld

Declaração do Problema

A síntese de tours de realidade virtual (RV) imersivos e consistentes de casas inteiras a partir de entradas arquitetônicas esparsas (plantas baixas) e referências de estilo apresenta um desafio significativo na geração espacial. Os paradigmas existentes lutam para satisfazer simultaneamente os requisitos de fotorealismo e coerência espacial entre diferentes vistas:

• Geradores Puros 2D: Embora capazes de produzir panoramas únicos de alta qualidade e fotorealistas com iluminação e texturas realistas, eles carecem de memória espacial persistente. À medida que o ponto de vista muda, esses modelos frequentemente "reimaginam" geometria e materiais, causando inconsistências nas formas de portas, posições de paredes e layouts de móveis em diferentes nós.
• Geração 3D Monolítica: Métodos que dependem de representações 3D globais (por exemplo, NeRF, 3DGS, malhas) oferecem uma rota natural para consistência, mas tornam-se computacionalmente caros e perdem fidelidade de textura fina quando escalados para ambientes de casas com múltiplos cômodos. Eles frequentemente enfrentam alto uso de memória, inferência lenta e uma degradação da qualidade visual que torna os modelos 2D atraentes para visualização comercial.

Os tours comerciais de RV atuais operam com uma lógica baseada em nós (os usuários ficam em um panorama e saltam para nós adjacentes) em vez de navegação contínua de 6 graus de liberdade (6-DoF). No entanto, os modelos generativos existentes não aproveitam efetivamente essa estrutura discreta para garantir consistência de longo alcance entre cômodos e portas.

Metodologia

O PanoWorld introduz um modelo de mundo espacial generativo que trata a síntese de casas inteiras como uma geração autoregressiva de panoramas de 360 graus baseados em nós. O sistema desacopla a orientação geométrica da memória visual para manter a qualidade de síntese 2D de alta frequência, ao mesmo tempo que garante consistência entre os nós.

1. Proxy Geométrico Global

O sistema converte uma planta baixa 2D em uma casca 3D grosseira contendo paredes, pisos, tetos, rótulos de cômodos e conectividade de portas. Essa casca atua como uma interface estrutural, não como um ativo visual final. Ela é renderizada em pontos de vista de destino e auxiliares para fornecer um proxy geométrico (normais e segmentação semântica) que restringe o layout em grande escala, aberturas e extensão dos cômodos, sem ditar texturas finais.

2. Loop de Síntese Autoregressiva

O PanoWorld gera panoramas sequencialmente ao longo de um caminho de navegação:

1. Inicialização: O panorama inicial é sintetizado a partir do proxy geométrico derivado da casca e de uma referência de estilo.
2. Levantamento: Este panorama inicial é levantado para um cache inicial de 3D Gaussian Splatting (3DGS) usando um Modelo de Grande Reconstrução (LRM) panorâmico.
3. Geração Progressiva: Para cada nó subsequente, o sistema:
   • Renderiza a memória visual a partir do cache 3DGS atual.
   • Combina essa memória com o proxy geométrico e panoramas próximos.
   • Sintetiza o próximo panorama de alta resolução.
   • Atualiza o cache com um incremento local 3DGS.

3. Componentes Arquitetônicos Chave

LRM Panorâmico Consciente de Cômodos

Um LRM panorâmico feed-forward é projetado para levantar observações 3D de 360 graus de múltiplas visões em atualizações locais 3DGS em uma única passagem.

• Codificação Posicional Circular (CPRoPE): Adapta as codificações de raios Plucker e PRoPE para panoramas equiretangulares. Usa raios apenas de extrínsecos e um sistema de coordenadas horizontal periódico para garantir continuidade da atenção através da costura do panorama.
• Atenção em Grupo Consciente de Cômodos: Para evitar vazamento de textura através das paredes, o modelo emprega um mecanismo de atenção mascarada. Tokens de nós no mesmo cômodo interagem densamente, enquanto a comunicação entre cômodos é restrita apenas a nós de porta/borda topologicamente conectados. Isso impede que evidências não relacionadas se misturem através de barreiras geométricas.

Cache 3DGS Progressivo Consciente de Topologia

Em vez de reconstruir todo o histórico a cada passo, o PanoWorld mantém um cache dinâmico atualizado via incrementos locais.

• Construção de Contexto: Para um novo nó, o LRM processa um contexto de tamanho fixo composto pelo novo nó, nós próximos no mesmo cômodo e nós de fronteira conectados via portas.
• Mesclagem Conservadora: Atualizações gaussianas locais são mescladas no cache global usando alinhamento, seleção de recursos baseada em confiança e poda de visibilidade. Crucialmente, o sistema evita a média agressiva de cores dos coeficientes de Harmônicos Esféricos (SH) para preservar recursos de alta frequência dependentes da visão; em vez disso, ele mistura apenas cores base, herdando coeficientes de ordem superior do Gaussiano dominante.
• Filtragem de Memória entre Cômodos: Um portão de profundidade usa a casca da planta baixa para filtrar pixels do cache que estão atrás da primeira superfície visível do cômodo, impedindo que texturas de paredes de cômodos antigos vazem para novos cômodos.

Orientação Desacoplada

O gerador de panoramas 2D (baseado em Qwen-Image-Edit) recebe duas entradas distintas:

1. Proxy Geométrico: Restringe paredes, pisos e layout.
2. Memória Visual: Fornece contexto de aparência alinhado espacialmente para regiões observadas anteriormente.
   Essa separação garante que o gerador 2D mantenha a qualidade de textura fotorealista sem ser sobreposto por geometria grosseira ou perder consistência com a memória 3D.

Contribuições Chave

1. Formulação de Modelo de Mundo Baseado em Nós: Uma abordagem nova para síntese de RV de casas inteiras que se alinha com a lógica comercial de tours baseados em nós, gerando nós de panorama de alta resolução enquanto usa memória 3D leve para consistência.
2. LRM Panorâmico Consciente de Cômodos: O primeiro módulo estilo LRM projetado para reconstrução em escala métrica de múltiplos cômodos a partir de panoramas de múltiplas visões em uma única passagem feed-forward, utilizando atenção mascarada para suprimir interferência de recursos entre cômodos.
3. Cache 3DGS Progressivo Consciente de Topologia: Uma estratégia de memória espacial escalável que atualiza o cache via incrementos locais conscientes de topologia, evitando o custo computacional da reconstrução de histórico completo.
4. Estratégia de Condicionamento Desacoplada: Um método que separa restrições geométricas da geração de aparência, melhorando a consistência de layout e material entre nós densos de panorama, ao mesmo tempo que preserva a qualidade de síntese 2D de alta frequência.

Resultados Experimentais

Os autores avaliaram o PanoWorld em um benchmark personalizado derivado de dados privados e cenas RealSee3D retidas.

• Síntese de Panorama: O PanoWorld alcançou um PSNR de Sobreposição de 22,1365, superando significativamente o segundo melhor método (OmniRoam com 16,3862) em 5,75 dB. Isso demonstra consistência superior entre nós. Embora a qualidade estética de nó único (HPSv3) fosse competitiva (7,9564), o ganho principal foi na redução de alucinações de geometria e material em todo o tour.
• Reconstrução LRM de Casa Inteira: Em 50 cenas RealSee3D retidas, o PanoWorld alcançou a melhor qualidade de reconstrução entre os métodos comparados (MVP, Adapt-Splat, WorldMirror 2.0), com um PSNR de 29,2361 (entrada de 8 panoramas) e 28,8003 (entrada de 12 panoramas).
• Análise Qualitativa: Comparações visuais mostram que o PanoWorld preserva o alinhamento ao redor de portas, corredores e vistas entre cômodos, enquanto os métodos de base exibem deriva estrutural, desfoque ou interferência de recursos.

Significado e Limitações

Significado:
O PanoWorld preenche a lacuna entre o fotorealismo dos modelos generativos 2D e a coerência espacial das representações 3D. Ao tratar a síntese de casas inteiras como um processo autoregressivo ancorado por um proxy geométrico e uma memória 3D renderizável, ele permite a geração de tours consistentes e de alta fidelidade de casas inteiras que são diretamente entregáveis como experiências de RV baseadas em nós. O desacoplamento de geometria e aparência permite um reestilização global rápida enquanto mantém a integridade estrutural.

Limitações:
Os autores reconhecem que o desempenho do sistema é contingente à qualidade da conversão de planta baixa para casca. Erros na geometria, topologia de porta ausente ou grande espaçamento entre nós podem enfraquecer a orientação do cache. Além disso, o sistema atualmente luta com objetos dinâmicos, espelhos, materiais transparentes e oclusões pesadas por móveis. Trabalhos futuros são sugeridos para otimizar conjuntamente a estimativa e geração de cascas e introduzir semânticas editáveis em nível de objeto.