Align and Segment: Unsupervised Learning for Building Segmentation From Misaligned Labels

Technische Samenvatting: Align and Segment (AnS)

Probleemstelling
Supervised learning voor beeldsegmentatie vereist doorgaans ruimtelijk uitgelijnde afbeeldingen en labelsets. Echter, in de remote sensing en andere domeinen, komen labels vaak van andere bronnen (bijv. OpenStreetMap, crowd-sourced data) dan de beelden zelf (bijv. satelliet- of dronebeelden), wat resulteert in significante ruimtelijke misalignement (verspringing). Deze misalignement fungeert als een vorm van labelruis die de prestaties van modellen ernstig kan verslechteren.

Een kritieke uitdaging die in dit werk wordt geïdentificeerd, is systematische misalignement (gebiaste ruis), zoals consistente translatiefouten veroorzaakt door foutieve ortorectificatie of onnauwkeurigheden in landregisters. Standaard segmentatienetwerken beschikken over voldoende capaciteit om deze misalignte labels simpelweg te leren (het zogenaamde "shortcut learning"), waarbij ze de misalignte labels direct voorspellen in plaats van de werkelijke onderliggende segmentatie te leren. Bestaande benaderingen voor dit probleem gaan vaak uit van kleine, onbevoordeelde misalignements of vereisen "golden" (schone, grondwaarheid) labels voor supervisie, die in veel real-world scenario's schaars zijn, met name in regio's waar hoogwaardige gebouwdata ontbreekt.

Methodologie: Align and Segment (AnS)
De auteurs stellen Align and Segment (AnS) voor, een model-agnostisch, unsupervised framework dat gelijktijdig label alignment en semantische segmentatie leert zonder dat er golden labels nodig zijn. De architectuur bestaat uit twee primaire componenten:

1. Segmentatienetwerk (SNet): Een canoniek semantisch segmentatienetwerk (bijv. U-Net met een ConvNeXt encoder) dat inputbeelden in kaart brengt naar probabilistische segmentatiemaskers.
2. Transformatienetwerk (TNet): Een lichtgewicht module geïnspireerd door Spatial Transformer Networks (STN). Het neemt het misalignte labelmasker en het voorspelde segmentatiemasker van de SNet als input om de parameters van een affine transformatie ($\hat{\theta}$) te voorspellen. Deze transformatie wordt toegepast op het misalignte label om een heruitgelijnd masker ($I_{\hat{y}a}$) te produceren.

Om te voorkomen dat de SNet de misalignte labels direct leert (shortcut learning) en om ervoor te zorgen dat de TNet de correcte transformatie leert, introduceren de auteurs twee belangrijke mechanismen:

• Consistentieverlies ($L_{Con}$): Een self-supervised regularisatieterm. Het systeem past een bekende willekeurige transformatie toe op het misalignte label en voert deze aan de TNet. De TNet wordt gestraft als deze niet in staat is de inverse van deze bekende transformatie te voorspellen. Cruciaal is dat deze loss onafhankelijk is van de output van de SNet, waardoor de TNet wordt gedwongen om alignment te leren op basis van de relatie tussen de twee segmentatiemaskers, in plaats van te vertrouwen op de potentieel ruizige voorspellingen van de SNet.
• Data Augmentatie: Om systematische biases (bijv. een constante verschuiving van 50 pixels) tegen te gaan, passen de auteurs geometrische augmentaties (flips, rotaties) toe op zowel de beeld- als de misalignte labelparen. Dit zorgt ervoor dat, in verwachting, de translatiebias wordt verwijderd, waardoor wordt voorkomen dat het model vastloopt in een lokaal optimum waar het de bias leert in plaats van de ware alignment.

De totale trainingsdoelstelling combineert de standaard cross-entropy loss tussen de heruitgelijnde labels en de SNet-voorspelling met de consistentie loss.

Belangrijkste Bijdragen

1. Nieuwe Methodologie: De voorstel van AnS, een plug-and-play benadering die direct leren van misalignte labels mogelijk maakt met elk bestaand semantisch segmentatienetwerk, zonder dat daar golden labels of de aanname van onbevoordeelde transformaties voor nodig zijn.
2. Ontkoppelingstrategie: De demonstratie dat het combineren van een self-consistency loss met specifieke data augmentaties effectief shortcut learning tegengaat, waardoor het netwerk in staat is om alignment-correctie te ontkoppelen van segmentatievoorspelling.
3. Empirische Validatie: Uitgebreide experimenten op synthetische en real-world datasets (Las Vegas, Parijs, Khartoum, San Juan, en een multi-city ReBO dataset) tonen aan dat AnS generaliseert over verschillende steden, gebouwdichtheden en ruisniveaus (zowel random als systematisch).

Resultaten

• Prestaties: Op synthetische datasets met systematische bias ($D_{bias}$) presteerde AnS aanzienlijk beter dan unsupervised baselines (Map Alignment, AutoCorrect, Spatial Correction) en behaalde competitieve resultaten ten opzien van supervised baselines (MapRepair, Alignment Correction Network) die doorgaans schone labels of specifieke trainingscondities vereisen.
• Robuustheid: De methode bleef robuust voor misalignement-groottes tot 100 pixels in scenario's met random ruis en ongeveer 70 pixels in scenario's met systematische bias.
• Ablatiestudies: Experimenten bevestigden dat zowel de consistency loss als data augmentatie complementair zijn; het verwijderen van één van beide leidde tot prestatieverslechtering, met name in systematisch gebiaste settings.
• Real-World Toepassing: Wanneer toegepast op OpenStreetMap gebouwvoetafdrukken gekoppeld aan WorldView-3 beelden, slaagde AnS erin misalignements te corrigeren. Hoewel de resulterende segmentatiemaskers enige onscherpte vertoonden (toe te schrijven aan inherente labelfouten en het gebrek aan een gespecialiseerde boundary loss), werden de alignment-transformaties nauwkeurig geschat.

Betekenis
Het artikel betoogt dat de misalignement tussen onafhankelijke beelden en bestaande voetafdrukgegevens (zoals OpenStreetMap of Google Open Buildings) een grote flessenhals vormt die het grootschalig gebruik van deze waardevolle, handmatig samengestelde datasets voor het trainen van deep learning-modellen belemmert. Door aan te tonen dat hoogwaardige gebouwsegmentatie en precieze label-beeld alignment gelijktijdig kunnen worden geleerd zonder "golden" labels, biedt AnS een pad om goedkope, hoogwaardige gebouwvoetafdrukgegevens met uitgebreide dekking te genereren. Dit is bijzonder significant voor toepassingen in stedelijke planning en risicobeoordeling in informele nederzettingen waar gecureerde data schaars is. Het werk stelt vast dat het gezamenlijk leren van alignment en segmentatie niet alleen haalbaar is, maar essentieel is voor het benutten van de enorme hoeveelheden bestaande, zij het misalignte, geospatiale data.