Semantic Segmentation of Textured Non-manifold 3D Meshes using Transformers

Titolo: Segmentazione Semantica di Mesh 3D Non-Manifold Texturizzate tramite Transformers

Autori: Mohammadreza Heidarianbaei, Max Mehltretter, Franz Rottensteiner (Leibniz University Hannover, Germania)

---

1. Il Problema

La segmentazione semantica di mesh 3D texturizzate rappresenta una sfida fondamentale in campi come l'analisi geospaziale e la conservazione del patrimonio culturale. Sebbene le mesh 3D offrano vantaggi unici rispetto alle nuvole di punti o alle griglie voxel (integrando geometria, topologia e aspetto superficiale ad alta risoluzione), la loro struttura irregolare e spesso non-manifold (dove le regole di vicinanza standard non sono rispettate) rende difficile l'applicazione diretta delle tecniche di deep learning tradizionali.

Le limitazioni degli approcci esistenti includono:

• Dipendenza da vincoli topologici: Molti metodi richiedono mesh manifold, limitando la loro applicabilità a dati reali generati da fotogrammetria automatica.
• Trattamento superficiale della texture: Le soluzioni attuali spesso ignorano le informazioni testurali ricche, basandosi su descrittori geometrici o statistiche di colore a bassa dimensionalità (es. vettori RGB medi o istogrammi). Questi approcci perdono i dettagli ad alta frequenza e i pattern spaziali cruciali per distinguere classi simili.
• Sovra-lisciatura (Over-smoothing): Gli approcci basati su Transformer esistenti per le mesh, che utilizzano meccanismi di cross-attention globale, tendono a aggiornare le feature delle facce come medie pesate dei token di cluster, causando una perdita di dettagli locali fini e una segmentazione "sfocata".

2. Metodologia

Gli autori propongono un'architettura Transformer unificata e consapevole della texture, progettata per elaborare direttamente le mesh non-manifold. L'approccio si basa su tre pilastri principali:

A. Estrazione delle Feature Ibrida (Geometria + Texture)

Invece di usare statistiche semplici, il modello utilizza due rami indipendenti per generare un vettore di feature per ogni faccia della mesh:

1. Ramo Geometrico: Utilizza 16 descrittori geometrici manuali (coordinate normalizzate, vettori normali, area, angoli adiacenti) proiettati in uno spazio latente.
2. Ramo Texture (Innovativo): Estrae direttamente i pixel grezzi associati a ogni faccia dalla mappa texture. Questi pixel vengono elaborati da un Transformer dedicato (con un token "texture" appreso) che aggrega le informazioni spaziali dei pixel in un singolo vettore di feature. Questo permette di catturare pattern complessi (es. crepe, colonie biologiche) che le statistiche medie perderebbero.
   Le feature geometriche e testurali vengono concatenate e processate da un MLP per ottenere la rappresentazione finale della faccia.

B. Meccanismo di Attenzione Gerarchica (TSTB)

Per gestire la complessità computazionale e il problema dell'over-smoothing, gli autori introducono il Two-Stage Transformer Block (TSTB):

1. Clustering Spaziale: Le facce della mesh vengono raggruppate in cluster spaziali (usando K-means).
2. Fase Locale (Local Block): All'interno di ogni cluster, viene applicata l'attenzione self-attention tra le facce e un token di cluster. Questo preserva i dettagli locali e permette l'aggregazione del contesto immediato.
3. Fase Globale (Cross-Cluster Block): Invece di usare la cross-attention diretta tra tutte le facce (che causa over-smoothing), solo i token di cluster interagiscono tra loro tramite self-attention. Questo token arricchito con il contesto globale viene poi ridistribuito alle facce del suo cluster nella fase successiva.
   Questo meccanismo garantisce un flusso di informazioni bidirezionale (locale $\leftrightarrow$ globale) senza cancellare le informazioni fini delle singole facce.

C. Addestramento e Classificazione

Il modello viene addestrato minimizzando la perdita di entropia incrociata categorica. L'output finale è una previsione di classe per ogni triangolo della mesh.

3. Contributi Chiave

1. Architettura Transformer Unificata: Prima soluzione che integra direttamente le informazioni testurali grezze (pixel) a livello di triangolo insieme alle feature geometriche, superando i limiti dei descrittori statistici.
2. Nuovo Meccanismo di Attenzione Gerarchica: Sostituzione della cross-attention globale con un meccanismo basato su token di cluster e self-attention, che riduce l'over-smoothing e preserva i dettagli geometrici fini.
3. Validazione su Dataset Diversi: Applicazione e validazione su due domini distinti: classificazione urbana (SUM) e rilevamento danni nel patrimonio culturale (CH), dimostrando la versatilità del metodo.
4. Dataset Nuovi: Introduzione di un nuovo dataset annotato a livello di triangolo per il rilevamento di danni su tetti storici (colonizzazione biologica, sali, ecc.).

4. Risultati Sperimentali

Il metodo è stato valutato su due dataset principali:

• Semantic Urban Meshes (SUM):

  • Risultati: 81.9% mF1 (mean F1) e 94.3% OA (Overall Accuracy).
  • Confronto: Supera significativamente i baselines come NoMeFormer (+15.3% mF1) e DiffusionNet, nonché metodi basati su nuvole di punti (KPConv) e approcci tradizionali (RF-MRF).
  • Osservazione: Le prestazioni sono eccellenti per classi frequenti (terreno, vegetazione, edifici), mentre le classi rare (auto, barche) mostrano risultati più bassi a causa della scarsità di campioni.

• Cultural Heritage (CH) - Rilevamento Danni:

  • Risultati: 49.7% mF1 e 72.8% OA.
  • Analisi: Nonostante lo sbilanciamento estremo delle classi (70% di aree non danneggiate), il metodo ottiene buoni risultati sulle classi di danno più frequenti (Colonizzazione Biologica, Perdita di Integrità Strutturale). Le classi molto rare (Depositi, Efflorescenze saline) hanno prestazioni basse, evidenziando la sfida dello sbilanciamento.
  • Confronto: Migliora il mF1 del 15.6% rispetto a NoMeFormer.

• Studi di Ablazione:

  • L'uso combinato di geometria e texture è superiore all'uso singolo di una delle due modalità.
  • Il blocco di attenzione basato su token di cluster (Self-Attention) supera l'approccio con Cross-Attention originale, confermando la riduzione dell'over-smoothing (miglioramento del +3.4% mF1 sul dataset CH).

5. Significato e Impatto

Questo lavoro rappresenta un avanzamento significativo nella segmentazione semantica di mesh 3D complesse.

• Superamento dei Vincoli Topologici: Dimostra che è possibile elaborare efficacemente mesh non-manifold, tipiche dei dati reali, senza doverle convertire in nuvole di punti o voxel.
• Valorizzazione della Texture: Sposta il paradigma dall'uso di statistiche di colore grezze all'analisi profonda delle texture tramite Transformer, cruciale per applicazioni dove l'aspetto visivo (es. danni su edifici storici) è tanto importante quanto la forma.
• Equilibrio Locale-Globale: La proposta architetturale risolve il compromesso tra la necessità di contesto globale e la preservazione dei dettagli locali, un problema aperto nel campo dei Transformer per le mesh.
• Applicabilità Pratica: I risultati sul dataset del patrimonio culturale aprono nuove possibilità per il monitoraggio automatico e la conservazione preventiva di edifici storici, un settore dove la precisione a livello di dettaglio superficiale è critica.

In sintesi, il paper propone una soluzione robusta e scalabile che combina l'elaborazione diretta dei pixel di texture con una strategia di attenzione gerarchica innovativa, ottenendo stati dell'arte su benchmark urbani e aprendo nuove frontiere per l'analisi del patrimonio culturale.