GS4City: Hierarchical Semantic Gaussian Splatting via City-Model Priors

1. Il Problema

Le recenti metodologie di Semantic 3D Gaussian Splatting (3DGS) si basano prevalentemente su modelli fondazionali 2D (come CLIP o segmentatori 2D) per assegnare semantica alle scene 3D. Sebbene efficaci per la scoperta generica di oggetti, questi approcci presentano limiti significativi negli ambienti urbani complessi:

• Ambiguità dei confini: Faticano a gestire pattern ripetitivi, materiali riflettenti e occlusioni forti tipici delle facciate degli edifici.
• Mancanza di struttura gerarchica: Non riescono a preservare coerentemente le relazioni "parte-tutto" (es. finestre che appartengono a un muro, che appartiene a un edificio).
• Incompatibilità dei dati: I modelli urbani strutturati (come CityGML LoD3) contengono semantica gerarchica e geometria precisa, ma sono rappresentati come mesh poligonali esplicite, mentre il 3DGS utilizza primitive Gaussiane composte in alpha-blending senza proprietà di "superficie" esplicita. Questo rende il trasferimento diretto delle etichette dai modelli urbani alle Gaussiane inaffidabile.

L'obiettivo è quindi dotare le scene Gaussiane fotorealistiche di una semantica urbana strutturata, queryabile e geometricamente allineata.

2. Metodologia: GS4City

GS4City è un metodo che integra i prior dei modelli urbani (CityGML) nella rappresentazione 3DGS attraverso un pipeline di supervisione ibrida. Il processo si articola in tre fasi principali:

A. Estrazione Semantica dal Modello Urbano (Two-Pass Raycasting)

Per ottenere maschere di supervisione affidabili allineate alle immagini, il sistema utilizza un modello CityGML LoD3 pre-elaborato:

1. Preprocessing: La mesh poligonale del modello urbano viene triangolata e allineata al sistema di riferimento della ricostruzione. Le gerarchie XML vengono appiattite in una tabella semantica che mantiene le relazioni genitore-figlio (Edificio -> Superficie -> Parte).
2. Raycasting a Doppio Passaggio:
   • Passaggio Globale: Proietta la mesh intera per ottenere etichette a livello di "Feature" (edificio intero) e "Surface" (muri, tetti).
   • Passaggio delle Parti: Esegue un secondo raycasting specifico sulle geometrie delle parti (es. finestre, porte). Se una parte si trova in una posizione coerente con la sua superficie genitore (verificata tramite relazioni gerarchiche e tolleranza di profondità), l'etichetta della parte sovrascrive quella della superficie.
   • Questo approccio risolve il problema delle aperture nelle facciate, dove un singolo passaggio proietterebbe erroneamente l'etichetta del muro sulla finestra.

B. Fusione delle Maschere e Collegamento delle Istanze

Poiché i modelli urbani coprono solo gli edifici, il sistema integra le previsioni dei modelli fondazionali 2D per gli oggetti non urbani (es. alberi, persone, auto):

1. Filtraggio: Le maschere grezze dei modelli fondazionali vengono confrontate con la regione di supporto degli edifici del modello CityGML. Le maschere con alta sovrapposizione vengono disambiguate tramite un modello Vision-Language (VLM) per distinguere tra oggetti di sfondo (edifici) e oggetti in primo piano.
2. Associazione Cross-View: Utilizzando la scena 3DGS pre-addestrata come ponte geometrico, le maschere pulite vengono associate a gruppi di Gaussiani attraverso sovrapposizione geometrica e verifica semantica delle feature visive.
3. Fusione: Le maschere del modello urbano (prioritarie per le parti dell'edificio) e quelle derivate dalle immagini (per il resto della scena) vengono fuse in una mappa di supervisione unificata, mantenendo ID di istanza coerenti in tutta la scena.

C. Apprendimento dell'Identità delle Gaussiane

L'obiettivo finale è trasferire queste identità semantiche coerenti nel campo delle Gaussiane:

• Encoding: Ogni primitiva Gaussiana viene arricchita con un codice di identità apprendibile ($e_j$), indipendente dalla vista.
• Rendering: Questi codici vengono renderizzati utilizzando la stessa regola di composizione alpha usata per i colori.
• Loss Function:
  • Supervisione 2D: Una perdita di entropia incrociata confronta le logit delle identità renderizzate con la mappa di supervisione fusa.
  • Regolarizzazione 3D: Una perdita di consistenza spaziale (KL-divergenza) penalizza le discrepanze tra le distribuzioni di classe di Gaussiane vicine nello spazio 3D, migliorando la consistenza per le regioni scarsamente osservate.

3. Contributi Chiave

1. Proposta di GS4City: Un nuovo metodo di Semantic Gaussian Splatting che incorpora prior strutturati da modelli urbani per la comprensione gerarchica delle città.
2. Pipeline di Supervisione Robusta: Introduzione di un sistema basato su Two-Pass Raycasting e fusione di maschere multi-sorgente, che integra semantica strutturata in supervisioni allineate alle immagini e stabilisce corrispondenze di istanza coerenti con la scena.
3. Trasferimento Semantico Gerarchico: Formulazione di un apprendimento di identità delle Gaussiane che permette segmentazione a livello di edificio, segmentazione semantica fine-granulare (finestre, porte) e query a vocabolario aperto, mantenendo i metadati del modello urbano.

4. Risultati Sperimentali

Il metodo è stato valutato sui dataset TUM2TWIN e Gold Coast LoD3, confrontato con baseline come LangSplat (distillazione di feature) e Gaga (sollevamento di maschere).

• Segmentazione Coarse (Edificio vs Non-Edificio): GS4City ha ottenuto prestazioni superiori, raggiungendo un IoU del 93.1% su TUM2TWIN e 95.4% su Gold Coast, superando le baseline di oltre 15 punti IoU.
• Segmentazione Fine-Grained: Ha mostrato un miglioramento significativo nella segmentazione di parti degli edifici, con un aumento di 14.2 punti mIoU su Gold Coast rispetto alla migliore baseline.
• Qualità: A differenza delle baseline che tendono a generare confini sfocati o a confondere elementi ripetitivi, GS4City produce confini geometrici nitidi e rispetta la struttura gerarchica (es. finestre distinte dai muri).
• Query: Il sistema supporta query a vocabolario aperto e permette di interrogare la scena a diversi livelli di dettaglio (es. "tutti i tetti" o "finestre del piano 2").

5. Significato e Impatto

GS4City rappresenta un passo avanti fondamentale verso i Digital Twin urbani completi.

• Ponte tra Modelli Strutturati e Rendering Fotorealistico: Colma il divario tra la precisione geometrica e semantica dei modelli CityGML e la qualità visiva e la flessibilità del 3DGS.
• Interpretabilità e Query: Trasforma le scene 3D da semplici rappresentazioni visive a spazi di dati interrogabili semanticamente, dove ogni Gaussiana è collegata a metadati urbani reali (uso, altezza, tipo di materiale).
• Affidabilità Strutturale: Dimostra che l'uso di prior strutturati è essenziale per applicazioni urbane dove la coerenza geometrica e la corretta attribuzione delle parti sono critiche, superando i limiti delle sole soluzioni basate su visione artificiale 2D.

In sintesi, GS4City estende le capacità del Gaussian Splatting dal rendering puramente estetico alla comprensione urbana gerarchica e strutturata.