Enhancing Floor Plan Recognition: A Hybrid Mix-Transformer and U-Net Approach for Precise Wall Segmentation

Probleemstelling

De automatische reconstructie van 3D-gebouwmodellen vanuit 2D-vloerplannen is een cruciale uitdaging in de computer vision. Hoewel vloerplannen essentiële ruimtelijke informatie bevatten, is de conversie naar 3D-modellen via handmatige verwerking tijdrovend en kostbaar. Bestaande softwaretools (zoals Revit of AutoCAD) vereisen professionele expertise en zijn niet geschikt voor volledige automatisering.

Het specifieke probleem dat dit paper adresseert, is de semantische segmentatie van muren met hoge precisie. Bestaande methoden hebben vaak moeite met:

• Het detecteren van dunne structuren (muren).
• Het behouden van geometrische precisie en scherpe randen.
• Het onderscheiden van structurele muren van decoratieve elementen (zoals meubels, tekst en afmetingen) en specifieke hatching-patronen (die in regionale architectuur, zoals in Rusland en de GOS-regio, vaak voorkomen).
• Artefacten die later leiden tot topologische inconsistenties in de 3D-generatie.

Methodologie: MitUNet

De auteurs stellen MitUNet voor, een hybride neurale netwerkarchitectuur die de sterke punten van twee paradigma's combineert:

1. Encoder (Mix-Transformer):

   • Gebaseerd op de MiT-b4 backbone van SegFormer (voorvertrouwd op ImageNet).
   • In tegenstelling tot standaard Vision Transformers (ViT) die één schaal genereren, gebruikt MiT een hiërarchisch ontwerp dat multi-schaal features produceert ({1/4, 1/8, 1/16, 1/32}).
   • Dit zorgt voor een groot effectief receptief veld om de globale semantische context van het gebouw te begrijpen.
   • Het gebruik van overlappende patch-merging behoudt lokale continuïteit, wat essentieel is voor het traceren van continue muurgeometrie.

2. Decoder (U-Net met Attention):

   • In plaats van de lichte MLP-decoder van SegFormer (die vaak leidt tot aliasing en verlies van randdetails), gebruikt MitUNet een volledige U-Net decoder.
   • Deze decoder voert stapsgewijze upscaling uit en fuseert features via skip-connections met de hoge-resolutie features van de encoder.
   • scSE (Spatial and Channel Squeeze & Excitation) blokken worden geïntegreerd na elke convolutielaag. Deze blokken passen de feature maps adaptief aan door achtergrondruis te onderdrukken en relevante semantische informatie (zoals textuur vs. vorm) te benadrukken.

3. Data Voorverwerking:

   • Een kritieke stap is het verfijnen van de ground-truth annotaties. Omdat openbare datasets vaak overlappingen bevatten tussen muren en openingen (deuren/ramen), wordt een procedure toegepast waarbij de maskers van openingen worden gedilateerd en vervolgens van het muurmasker worden afgetrokken. Dit zorgt voor een strikt solide geometrie.

4. Verliesfunctie Strategie (Tversky Loss):

   • Voor het segmenteren van dunne objecten is de balans tussen precisie (Precision) en recall cruciaal.
   • De auteurs evalueren Dice Loss, Focal Loss, Lovasz-Softmax en Tversky Loss.
   • Ze kiezen voor Tversky Loss met asymmetrische straffen ($\alpha > \beta$). Door $\alpha$ (straf voor False Positives) hoger te maken dan $\beta$ (straf voor False Negatives), wordt ruis en "verdikking" van muren effectief onderdrukt, wat essentieel is voor vectorisatie.

Belangrijkste Bijdragen

• Hybride Architectuur: De introductie van MitUNet, die de globale context van Transformers combineert met de detailherstelcapaciteit van U-Net, specifiek geoptimaliseerd voor dunne structuren.
• Regionale Dataset: Het publiceren van een nieuw dataset van 500 vloerplannen uit de Russische Federatie en de GOS-regio. Deze dataset vertoont significante domeinverschuivingen ten opzichte van westerse datasets (zoals CubiCasa5k), waaronder complexe hatching-patronen en niet-Manhattan geometrieën.
• Optimalisatie voor Vectorisatie: Het aantonen dat de keuze van de verliesfunctie (asymmetrische Tversky) direct invloed heeft op de kwaliteit van de downstream vectorisatie, door scherpe, niet-verdikte randen te garanderen.
• Transfer Learning: Een effectieve twee-stappen strategie: pre-training op de grote, diverse CubiCasa5k dataset gevolgd door fine-tuning op de specifieke regionale dataset.

Resultaten

Experimenten zijn uitgevoerd op de CubiCasa5k dataset en de nieuwe regionale dataset.

• Prestaties: MitUNet met Tversky Loss ($\alpha=0.6, \beta=0.4$) behaalde de hoogste mIoU (87,91%) en Precision (94,82%) op de regionale dataset.
• Randkwaliteit (Boundary IoU): Met de Boundary IoU (B-IoU) metric scoorde MitUNet 85,01%, wat significant hoger is dan pure Transformer-modellen (zoals SegFormer, die slechts 81,31% haalde met Tversky) en CNN-modellen. Dit bevestigt dat de U-Net decoder essentieel is voor het herstel van scherpe randen.
• Efficiëntie: MitUNet is efficiënter dan vergelijkbare CNN-modellen (zoals UNet++), met een VRAM-gebruik van 1751 MiB versus 3311 MiB voor UNet++, terwijl het betere resultaten levert.
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat MitUNet ruis (zoals meubels en tekst) effectief onderdrukt en geen "trapsgewijze" artefacten introduceert, in tegenstelling tot modellen getraind met symmetrische loss-functies zoals Dice.

Betekenis en Toekomstperspectief

Dit onderzoek biedt een robuuste basis voor automatische Scan-to-BIM-pipelines. Door de geometrische precisie van muursegmentatie te verbeteren, wordt de kwaliteit van de daaropvolgende 3D-reconstructie en vectorisatie aanzienlijk verhoogd. Dit kan de handmatige inspanning bij 3D-modellering voor vastgoed en projectplanning drastisch verminderen.

De broncode en de regionale dataset zijn openbaar beschikbaar gesteld, wat de reproduceerbaarheid en verdere onderzoek in domeinadaptatie en vectorisatie faciliteert. Toekomstig werk richt zich op het uitbreiden van deze module tot een end-to-end vectorisatieframework dat direct topologische grafen kan genereren vanuit rasterafbeeldingen.