GS4City: Hierarchical Semantic Gaussian Splatting via City-Model Priors

Resumo Técnico: GS4City

1. O Problema

As técnicas recentes de Semantic 3D Gaussian Splatting (3DGS) para entendimento de cenas urbanas dependem predominantemente de modelos de fundação 2D (como CLIP ou GroundingDINO). Embora eficazes para descoberta genérica de objetos, esses métodos apresentam limitações críticas em ambientes urbanos estruturados:

• Limitações de Fronteira: Frequentemente geram fronteiras semânticas ambíguas, especialmente em fachadas com padrões repetitivos, materiais reflexivos ou oclusões fortes.
• Falta de Hierarquia: Não conseguem preservar consistentemente a estrutura "parte-todo" (ex: janelas pertencem a paredes, que pertencem a edifícios), essencial para a compreensão urbana.
• Incompatibilidade de Dados: Modelos de cidade estruturados (como CityGML LoD3) contêm semântica hierárquica rica e geometria precisa, mas seus rótulos estão ligados a superfícies poligonais explícitas, enquanto o 3DGS representa a cena através de primitivas gaussianas com composição alfa, tornando a transferência direta de rótulos não confiável.

O objetivo é equipiar cenas gaussianas fotorealistas com semântica urbana estruturada, queryável e geometricamente fundamentada.

2. Metodologia

O GS4City propõe um pipeline que integra priores de modelos de cidade (CityGML) ao campo gaussiano através de três etapas principais:

A. Extração de Semântica do Modelo de Cidade (Two-Pass Raycasting)
Para superar a perda de detalhes em aberturas de fachada (como janelas e portas) que ocorre em projeções únicas:

1. Pré-processamento: O modelo CityGML LoD3 é convertido em uma malha triangular alinhada à câmera, preservando as relações hierárquicas (Edifício $\to$ Superfície $\to$ Parte).
2. Passada Global: Um raycasting padrão projeta a malha para gerar máscaras de nível de "Edifício" e "Superfície".
3. Passada de Partes: Um segundo raycasting é executado especificamente nas geometrias de nível "Parte" (janelas, portas).
4. Validação: Os resultados da segunda passada são aceitos apenas se a superfície pai correspondente for a mesma da passada global e a profundidade estiver dentro de uma tolerância ($\tau$). Isso recupera elementos de fachada finos que seriam cobertos pela parede na projeção simples.

B. Fusão de Máscaras e Vinculação de Instâncias
Como os modelos de cidade não cobrem toda a cena (ex: árvores, carros, pessoas), o método funde os dados estruturados com previsões de modelos de fundação:

• Filtragem: Máscaras geradas por modelos de fundação são filtradas. Se uma máscara tiver alta sobreposição com a região de suporte do edifício (do CityGML), ela é analisada por um modelo visão-linguagem para distinguir se é um objeto de fundo (edifício) ou um objeto em primeiro plano.
• Associação Cross-View: Instâncias de diferentes visões são agrupadas em IDs consistentes na cena, utilizando a geometria do 3DGS pré-treinado como ponte e verificando a similaridade semântica.
• Fusão: As máscaras de imagem (para objetos não-edifício) e as máscaras do modelo de cidade (para edifícios e partes) são fundidas em um mapa de rótulo unificado, mantendo a hierarquia original do CityGML.

C. Aprendizado de Identidade Gaussiana
O sistema aprende a semântica diretamente nas primitivas gaussianas:

• Codificação de Identidade: Cada gaussiana recebe um vetor de identidade aprendível ($e_j$).
• Supervisão 2D: O vetor é renderizado e comparado com o mapa de rótulos fundido usando uma perda de entropia cruzada.
• Regularização 3D: Para garantir consistência espacial, vizinhos próximos no espaço 3D são penalizados se tiverem distribuições de classe divergentes.
• Resultado: Uma cena gaussiana onde cada ponto possui uma identidade que pode ser rastreada de volta aos atributos do modelo de cidade (nível de edifício, superfície ou parte).

3. Principais Contribuições

1. GS4City: Um método de Semantic Gaussian Splatting que incorpora priores estruturados de modelos de cidade para compreensão urbana hierárquica.
2. Pipeline de Supervisão Robusto: Introdução de um sistema de raycasting em duas passadas e fusão de máscaras multi-fonte, que integra semântica estruturada em máscaras alinhadas à imagem, resolvendo o problema de perda de detalhes em aberturas.
3. Levantamento Semântico (Semantic Lifting): Formulação de um mecanismo de aprendizado de identidade gaussiana compacta com supervisão 2D conjunta e regularização 3D, permitindo segmentação precisa de edifícios, partes finas e consultas de vocabulário aberto.

4. Resultados Experimentais

O método foi avaliado nos conjuntos de dados TUM2TWIN e Gold Coast LoD3, comparado com baselines como LangSplat e Gaga.

• Segmentação de Edifícios (Nível Grosso): O GS4City superou significativamente os baselines, alcançando 93,1% de IoU no TUM2TWIN e 95,4% no Gold Coast (vs. 67,5% e 53,9% do LangSplat, respectivamente).
• Segmentação Semântica Fina: Houve um ganho de até 14,2 pontos de mIoU em comparação com os baselines. O método obteve os melhores resultados em categorias estruturadas (telhados, paredes, janelas, carros).
• Qualidade Visual: Diferente dos métodos baseados apenas em 2D, que tendem a gerar ruído e fronteiras imprecisas em fachadas, o GS4City produziu limites geométricos nítidos e recuperou com precisão elementos como janelas e portas, evitando a atribuição incorreta de rótulos a regiões não-edifício (como água ou céu).
• Eficiência: Um estudo de ablação mostrou que o filtro de visões mínimas (minimal-view filter) permite um equilíbrio ideal entre precisão e tempo de processamento, mantendo o melhor compromisso precisão-eficiência (mIoU/min) em cenários desafiadores com oclusão.

5. Significado e Impacto

O GS4City representa um avanço significativo na ponte entre Modelos Digitais de Cidade (CityGML) e Representações Neurais de Cena (3DGS).

• Reconstrução Urbana Estruturada: Permite que cenas fotorealistas geradas por 3DGS não apenas "pareçam" reais, mas também "entendam" a estrutura hierárquica da cidade.
• Consultas Semânticas: Habilita consultas de vocabulário aberto e recuperação de metadados do modelo de cidade (ex: altura, uso) diretamente na cena 3D.
• Aplicações Práticas: É fundamental para a criação de Gêmeos Digitais Urbanos precisos, gestão de ativos em escala de cidade e planejamento urbano, onde a distinção precisa entre partes de um edifício e a geometria exata são críticas.

Em resumo, o GS4City supera as limitações das abordagens puramente baseadas em imagem, utilizando a riqueza estrutural dos modelos de cidade para guiar a aprendizagem semântica em representações gaussianas, resultando em uma compreensão urbana hierárquica, robusta e queryável.