PolyBuild: An End-to-End Method for Polygonal Building Contour Extraction from High-Resolution Remote Sensing Images

Technische Samenvatting: PolyBuild

Probleemstelling
Het extraheren van gevectoriseerde contouren van gebouwpolygonen uit hogeresolutie remote sensing-beelden is cruciaal voor cartografie, stedelijke modellering en reconstructie. Deze taak wordt echter bemoeilijkt door variërende beeldomstandigheden, complexe gebouwtfellen en obstructies zoals bomen en schaduwen. De gangbare benaderingen vertrouwen doorgaans op pixel-niveau semantische segmentatie gevolgd door post-processing vectorisatie. Deze methoden produceren vaak ruwe, grillige contouren, hebben moeite met occlusies en slagen er niet in om directe vectorinformatie te leveren. Hoewel contour-gebaseerde methoden een directere aanpak bieden door contourvertices te regresseren, lijden bestaande oplossingen onder beperkingen: sommige gebruiken te eenvoudige initiële contouren (bijv. bounding boxes of ellipsen) die ver verwijderd zijn van het werkelijke doel, terwijl andere vertrouwen op beperkte centrumpunt-kenmerken, wat leidt tot foutaccumulatie naarmate de regressieafstand toeneemt. Bovendien missen veel methoden het vermogen om globale ruimtelijke relaties tussen contourvertices vast te leggen, wat resulteert in onnauwkeurige regressie-offsets.

Methodologie
Het artikel stelt PolyBuild voor, een end-to-end framework dat direct gebouwvectorpolygonen extraheert zonder dat post-processing vereist is. De architectuur bestaat uit twee primaire modules:

1. Initial Contour Generation Module (ICGM):

   • In plaats van te vertrouwen op een enkel gebouwcentrum, voorspelt de ICGM eerst een bounding box (bbox) voor elk gebouwinstantiatie en verdeelt deze in vier subregio's (linksboven, rechtsboven, linksonder, rechtsonder).
   • Het extraheert kenmerken uit de centra van deze vier subregio's en concateneert deze.
   • Deze gekoppelde kenmerken worden gebruikt om een set vertex-offsets te regresseren. De offsets worden toegevoegd aan de respectievelijke subregio-centra om de initiële contour te genereren.
   • Deze aanpak benut rijkere gebouwinformatie en vermindert de regressieafstand vergeleken met single-center methoden, wat resulteert in een stabielere en preciezere initiële omtrek.
   • De module maakt gebruik van een DLA-34 backbone, een center prediction head (getraind met Focal Loss), een bbox parameter prediction head (getraind met Smooth L1 Loss) en een offsets prediction head.

2. Contour Optimization Module (COM):

   • De door de ICGM gegenereerde initiële contouren zijn vaak ruw en vereisen verfijning. De COM hanteert een hybride CNN-Transformer architectuur om de contour iteratief over drie iteraties te optimaliseren.
   • Coarse Adjustment: Een voorlopige globale aanpassing wordt uitgevoerd met geconcateneerde kenmerken van contourvertices en subregio-centra.
   • Fine Optimization: De kern van de COM gebruikt een Transformer decoder. Deze neemt lokale contourkenmerken (geëxtraheerd via circulaire convolutie) en vertex positie-informatie als input. Het self-attention mechanisme van de Transformer stelt het model in staat om globale vertices te bevragen en afhankelijkheden tussen vertices op verschillende posities vast te leggen, waardoor zowel lokale als globale ruimtelijke relaties worden gevangen.
   • Loss Functions: De eerste twee optimalisatie-iteraties worden gesuperviseerd met Smooth L1 loss. De derde iteratie maakt gebruik van Dynamic Matching Loss (DML), die voorspelde vertices uitlijnt met de dichtstbijzijnde grondwaarheid boundary-punten en specifiek gericht is op corner vertices om topologische nauwkeurigheid te waarborgen.

Belangrijkste Bijdragen

• End-to-End Framework: PolyBuild maakt parallelle implementatie van gebouwdetectie en contourextractie mogelijk, waardoor de noodzaak voor aparte post-processing stappen vervalt.
• Nieuwe Initial Contour Generation: Het artikel introduceert de ICGM, die gekoppelde subregio-centrumkenmerken gebruikt in plaats van een enkel centrumpunt. Deze strategie biedt rijkere contourinformatie en vermindert de complexiteit van de daaropvolgende optimalisatie aanzienlijk.
• CNN-Transformer Integratie: De Contour Optimization Module (COM) integreert innovatief CNN's voor lokale kenmerkextractie en Transformers voor globale afhankelijkheidsmodellering. Dit stelt het netwerk in staat om automatisch geassocieerde vertices te bevragen en te indexeren, waardoor contourfouten nauwkeuriger worden gecorrigeerd dan methoden die uitsluitend vertrouwen op vaste convolutiekernels of RNN's.
• State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat PolyBuild bestaande masker-gebaseerde en contour-gebaseerde methoden op meerdere datasets overtreft.

Experimentele Resultaten
De auteurs evalueerden PolyBuild op drie datasets: de WHU aerial building dataset, de WHU-Mix (Vector) building dataset en de Crowd AI dataset.

• WHU Aerial Dataset: PolyBuild bereikte een Average Precision (AP) van 74,0% en een Average Recall (AR) van 80,7%, waarmee het de op één na beste contour-gebaseerde methode (Line2Poly, 73,8% AP) overtrof en de mask-gebaseerde methoden zoals Mask R-CNN (65,3% AP) aanzienlijk versloeg.
• WHU-Mix Dataset: Op de uitdagende, diverse WHU-Mix dataset behaalde PolyBuild 53,5 mAP en 62,2 mAR, waarmee het de beste masker-gebaseerde methode met 0,6 AP en de beste contour-gebaseerde methode met 0,9 mAP versloeg. Het behield een hoge nauwkeurigheid op Test Set II (geografisch gescheiden van de training), wat een sterke generalisatie aantoont.
• Crowd AI Dataset: PolyBuild behaalde 60,6% AP, waarmee het andere methoden, waaronder PolyMapper (55,7% AP), overtrof.
• Ablatie-studies: De resultaten bevestigden dat de ICGM-strategie (het concateneren van vier subregio-kenmerken) de meest nauwkeurige initiële contouren oplevert. Bovendien verbeterde de inclusie van de COM-module de uiteindelijke contournauwkeurigheid aanzienlijk, waarbij het volledige model een toename van 2,0% in AP liet zien ten opzichte van de baseline.
• Efficiëntie: Ondanks de complexe architectuur heeft PolyBuild slechts 30,3M parameters en bereikt het een inferentiesnelheid van 30,46 FPS op 512×512 afbeeldingen met een RTX 2080 Ti GPU.

Betekenis en Claims
Het artikel claimt dat PolyBuild de fundamentele beperkingen van huidige gebouwextractiemethoden aanpakt door een directe, end-to-end oplossing te bieden voor de generatie van vectorpolygonen. Door af te stappen van pixel-niveau segmentatie en single-point regressie, bereikt de methode een hogere precisie en robuustheid, met name bij het afhandelen van complexe gebouwvormen en occlusies. De auteurs benadrukken dat de integratie van CNN- en Transformer-architecturen zorgt voor een beter begrip van vertexposities en hun onderlinge afhankelijkheden, wat leidt tot hoogwaardige begrenzing. De methode wordt gepresenteerd als een significante vooruitgang voor downstream surveyings- en mappingtoepassingen die nauwkeurige, instance-niveau gebouwcontouren vereisen. De auteurs erkennen dat hoewel PolyBuild robuust is, de prestaties nog steeds afhankelijk zijn van de initiële objectdetectiefase, en toekomstig werk kan de integratie van RNN's met Transformers verkennen om de reconstructie van zwaar geoccludeerde regio's met complexe topologieën verder te verbeteren.