Semantic Segmentation of Textured Non-manifold 3D Meshes using Transformers

Probleemstelling

De semantische segmentatie van getextureerde 3D-meshes is een fundamentele taak in domeinen zoals geospatiale analyse en het behoud van cultureel erfgoed. Hoewel getextureerde meshes unieke voordelen bieden ten opzichte van puntwolken of voxelroosters (door het combineren van geometrie, topologie en uiterlijk op hoge resolutie), vormen ze een grote uitdaging voor diep-leringsmethoden vanwege hun irreguliere structuur.

Bestaande methoden hebben twee belangrijke beperkingen:

1. Afhankelijkheid van topologische beperkingen: Veel algoritmen vereisen dat de mesh "manifold" is (goed gedefinieerde burenrelaties), wat in de praktijk vaak niet het geval is voor meshes gegenereerd door fotogrammetrische pipelines.
2. Verwaarlozing van textuurinformatie: Bestaande methoden die wel met niet-manifold meshes werken, behandelen textuur vaak te simplistisch (bijv. via gemiddelde kleuren of histogrammen). Ze missen de rijke, hoogfrequente details in de textuurkaarten die essentieel zijn voor het onderscheiden van objecten. Bovendien kunnen transformer-architecturen leiden tot over-gladdening (over-smoothing) van classificatieresultaten wanneer globale context wordt geïntegreerd via kruis-attention (cross-attention), waardoor fijne lokale details verloren gaan.

Methodologie

De auteurs stellen een nieuwe, unificerende transformer-architectuur voor die direct leert van ruwe pixeldata geassocieerd met elk mesh-driehoekje (face), gecombineerd met geometrische eigenschappen. De kern van de methode bestaat uit drie componenten:

1. Feature Extraction Branch (Functie-extractie):

   • Geometrie-branch: Gebruikt handgemaakte geometrische beschrijvers (coördinaten, normaalvectoren, oppervlakte, hoeken) die worden geprojecteerd naar een vector.
   • Textuur-branch: Dit is een innovatief onderdeel. In plaats van statistieken te gebruiken, worden alle ruwe pixels van de textuur die bij een specifieke mesh-face horen, verwerkt door een transformer-branch. Een "leerbaar token" (texture token) wordt toegevoegd aan de pixelreeks. Via self-attention binnen deze branch wordt een compacte, leerbare textuurvector gegenereerd die de volledige textuurinformatie van die face vastlegt.
   • De geometrische en textuurvectors worden samengevoegd tot één representatie per face.

2. Two-Stage Transformer Blocks (TSTB):
   Om de computationele complexiteit van self-attention op grote meshes te beheersen en over-gladdening te voorkomen, wordt een hiërarchisch lokaal-globaal strategie gebruikt:

   • Clustering: De mesh-vertices worden geklusterd (via K-means) in groepen. Elke face wordt toegewezen aan een cluster.
   • Lokale Block (Stage 1): Self-attention vindt plaats binnen elke cluster. Face-tokens wisselen informatie uit met hun buren en een "cluster-token". Dit behoudt lokale details.
   • Cross-Cluster Block (Stage 2): In plaats van dat elke face direct interactie heeft met alle andere faces (zoals bij standaard cross-attention), wisselen alleen de cluster-tokens onderling informatie uit via self-attention.
   • Bidirectionele Stroom: De verrijkte cluster-tokens worden teruggevoerd naar de lokale faces in de volgende laag. Dit zorgt voor een efficiënte uitwisseling van globale context zonder de fijne lokale details te vervagen (vermijding van over-gladdening).

3. Classificatie:
   De uiteindelijke face-representaties worden gebruikt om per face een klasse te voorspellen via een classificatiehoofd.

Belangrijkste Bijdragen

• Directe Textuurverwerking: De eerste methode die ruwe pixelinformatie van textuurkaarten direct integreert met geometrische features op driehoek-niveau, zonder te vertrouwen op ruwe statistieken of projecties op een vlak.
• Verbeterde Attention-Mechanisme: Een nieuwe "Cross-Cluster" self-attention strategie die globale context modelleert via cluster-tokens. Dit lost het probleem van over-gladdening op dat voorkomt bij traditionele cross-attention mechanismen in 3D-mesh transformers.
• Robuustheid voor Niet-Manifold Meshes: De architectuur is specifiek ontworpen om te werken met de irreguliere structuren die typisch zijn voor real-world fotogrammetrische data.

Resultaten

De methode is geëvalueerd op twee datasets:

1. SUM (Semantic Urban Meshes): Een benchmark voor stedelijke classificatie.
   • Resultaten: 81,9% mF1 (mean F1-score) en 94,3% Overall Accuracy (OA).
   • Vergelijking: Significant beter dan bestaande baselines zoals NoMeFormer (+15,3% mF1) en DiffusionNet. Ook beter dan state-of-the-art methoden zoals KPConv en RF-MRF, zelfs onder area-gewogen evaluatieprotocollen.
2. CH (Cultural Heritage Damage Detection): Een nieuwe dataset met getextureerde dakpannen van een historisch gebouw, met annotaties voor schade (zoals biologische kolonisatie, zoutefflorescentie).
   • Resultaten: 49,7% mF1 en 72,8% OA.
   • Vergelijking: Een aanzienlijke verbetering ten opzichte van NoMeFormer (+15,6% mF1). De methode presteert goed op dominante klassen (onbeschadigd) en toont potentieel voor zeldzamere schadeklassen, hoewel de extreme onbalans in de dataset een uitdaging blijft.

Ablatiestudies bevestigden dat:

• Het combineren van geometrie en ruwe textuur essentieel is (alleen geometrie of alleen textuur presteert slechter).
• De nieuwe Cross-Cluster self-attention (S-A) beter presteert dan de oude Cross-Attention (C-A) methode, vooral op de CH-dataset waar lokale details cruciaal zijn.

Betekenis en Toekomst

Deze studie toont aan dat het direct verwerken van ruwe textuurinformatie in combinatie met een hiërarchische transformer-architectuur de prestaties van semantische segmentatie op 3D-meshes aanzienlijk verbetert. Dit is van groot belang voor toepassingen waar zowel geometrie als uiterlijk (kleur, patroon, materiaal) cruciaal zijn, zoals bij het inspecteren van cultureel erfgoed op schade of het classificeren van complexe stedelijke omgevingen.

Toekomstige werk richt zich op het toevoegen van expliciete positionele encoding in de textuur-branch, het oplossen van geheugenbeperkingen voor grotere datasets, en het integreren van self-supervised pre-training en andere modaliteiten (zoals thermische data).