Generalizable Multiscale Segmentation of Heterogeneous Map Collections

Dit artikel introduceert Semap, een nieuw open benchmarkdataset, en een veelzijdig segmentatiekader dat procedurale datasynthese combineert met multischaalintegratie om robuuste en generaliseerbare semantische segmentatie van heterogene historische kaartcollecties mogelijk te maken.

De kern

Stel je voor dat je een enorme bibliotheek binnenloopt, maar dan niet met boeken, maar met oude kaarten. Sommige kaarten zijn van Parijs, andere van een klein dorpje in Turkije. Sommige zijn gekleurd, andere zwart-wit. De ene toont straten, de andere bossen, en weer andere zijn vol met vreemde symbolen en tekens.

Vroeger waren computerprogramma's die deze kaarten konden "lezen" (zodat een computer weet wat een gebouw is en wat een rivier), heel erg gespecialiseerd. Het was alsof je een sleutel had die alleen paste bij één specifiek slot. Als je een kaart van Parijs wilde analyseren, werkte je sleutel perfect. Maar als je diezelfde sleutel probeerde te gebruiken op een kaart van een dorp in Zwitserland, paste hij niet meer. Je moest voor elke nieuwe kaartstijl een nieuwe, speciale sleutel maken. Dat kostte veel tijd en geld.

Wat doen de onderzoekers in dit artikel?

Deze onderzoekers zeggen: "Waarom maken we duizenden speciale sleutels, als we één meestersleutel kunnen maken die bij alle sloten past?"

Ze hebben een nieuwe manier bedacht om computers te leren om oude kaarten te begrijpen, ongeacht hoe vreemd of verschillend ze eruitzien. Hier is hoe ze dat hebben gedaan, vertaald in alledaagse termen:

1. De "Super-Lesboek" (Het Semap-dataset)

Om een computer slim te maken, moet je hem duizenden voorbeelden laten zien. De onderzoekers hebben een nieuwe verzameling gemaakt genaamd Semap.

• Het probleem: Vroeger hadden ze alleen voorbeelden van heel gelijke kaarten (zoals een hele serie van dezelfde stad).
• De oplossing: Ze hebben 1.439 stukjes kaart verzameld die alles omvatten: van oude verzekeringsplannen tot wereldkaarten, van strakke lijnen tot schilderachtige tekeningen.
• De analogie: Stel je voor dat je iemand wilt leren wat een "hond" is. Als je alleen foto's van Golden Retrievers laat zien, denkt die persoon dat alle honden er zo uitzien. Maar als je foto's laat zien van een Chihuahua, een Duitse Herder, een hond in de sneeuw en een hond in de zon, leert die persoon pas echt wat een hond echt is. Dat is wat ze met deze kaarten hebben gedaan.

2. De "Kunstmatige Werkplaats" (Procedurale Data Synthesis)

Het is heel lastig om duizenden oude kaarten met de hand te markeren (waar zit een huis? waar is een rivier?). Dat is als het schilderen van duizenden schilderijen met de hand.

• De truc: De onderzoekers hebben een computerprogramma gemaakt dat nieuwe, nep-kaarten tekent.
• Hoe werkt het? Ze nemen echte gegevens (zoals waar straten liggen) en laten de computer die "omtoveren" naar oude stijlen. Ze voegen willekeurig patronen toe, veranderen de kleuren, en maken het eruitzien alsof het een oud document is.
• De analogie: Het is alsof je een kok bent die een nieuw gerecht wil leren koken. In plaats van alleen te koken met ingrediënten die je in de supermarkt vindt, laat je een robot duizenden variaties van het gerecht maken: met meer zout, minder peper, met een andere vorm. Zo leert de kok (de computer) dat het gerecht er op veel manieren uit kan zien, en niet alleen op één manier.

3. De "Bril met verschillende sterktes" (Multiscale Inference)

Oude kaarten zijn vaak heel groot en gedetailleerd. Als je door een vergrootglas kijkt, zie je de details van één huis, maar je mist het grote plaatje. Kijk je door een telescoop, zie je de hele stad, maar zijn de huizen te klein om te zien.

• De oplossing: Het computerprogramma kijkt naar de kaart op twee manieren tegelijk:
  1. Van dichtbij (voor de details).
  2. Van veraf (voor het grote plaatje).
• De analogie: Het is alsof je een puzzel maakt. Je kijkt naar één stukje om te zien of het een stukje van een boom is, maar je kijkt ook naar de hele puzzel om te zien of die boom wel op de plek past waar hij hoort. Door beide perspectieven te combineren, maakt de computer veel minder fouten.

Wat is het resultaat?

Het resultaat is een algemene "meestersleutel".

• Het werkt niet alleen goed op de kaarten waarvoor het is getraind, maar ook op kaarten die het nog nooit heeft gezien.
• Het maakt weinig verschil of de kaart uit Frankrijk komt of uit Amerika, of dat hij uit 1800 of 1900 komt. De computer begrijpt ze allemaal.
• Het is zelfs beter dan de oude, speciale methoden, vooral bij de "moeilijke" kaarten die er heel anders uitzien.

Waarom is dit belangrijk?

Vroeger konden historici alleen de "bekende" kaarten gebruiken (zoals grote stadsatlassen). Maar er liggen honderdduizenden andere kaarten in archieven die niemand heeft gebruikt omdat ze te moeilijk of te verschillend waren. Dit is de "lange staart" van de geschiedenis.

Met deze nieuwe methode kunnen we nu alle die oude kaarten automatisch laten lezen. We kunnen plotseling zien hoe bossen zijn verdwenen, hoe steden zijn gegroeid, of hoe wegen zijn veranderd, niet alleen in één stad, maar over de hele wereld en door de eeuwen heen.

Kortom: Ze hebben een computer getraind om niet te kijken naar de stijl van de kaart, maar naar de inhoud, zodat we eindelijk de volledige geschiedenis van onze wereld op kaarten kunnen lezen.

Technische samenvatting

Probleemstelling

Historische kaartcollecties zijn extreem divers wat betreft stijl, schaal en geografische focus, en bestaan vaak uit duizenden losse documenten. Bestaand onderzoek op het gebied van kaartherkenning richt zich echter voornamelijk op gespecialiseerde modellen die zijn getraind op homogene kaartseries (zoals topografische kaarten of stadsatlassen). Deze aanpak heeft twee grote beperkingen:

1. Gebrek aan generaliseerbaarheid: Modellen die op één specifieke serie zijn getraind, presteren vaak slecht op andere collecties met verschillende grafische stijlen of schalen.
2. Data-schaarste: Er is een tekort aan grote, geannoteerde datasets die de volledige diversiteit van historische kaarten weerspiegelen. Bestaande open datasets zijn vaak beperkt tot specifieke regio's of stijlen, wat de ontwikkeling van robuuste, algemene modellen belemmert.

Het doel van dit artikel is om een oplossing te bieden voor het segmenteren van de "lange staart" van cartografische archieven: de enorme hoeveelheid diverse, ongebruikte kaarten die niet tot uniforme series behoren.

Methodologie

De auteurs presenteren een framework dat bestaat uit drie pijlers: een nieuw dataset, procedurale data-synthese en een multiscale inferentiestrategie.

1. De Semap Dataset
Er is een nieuwe, open benchmark-dataset ontwikkeld genaamd Semap.

• Omvang: Bevat 1.439 handmatig geannoteerde kaartfragmenten (patches van 768x768 pixels).
• Diversiteit: De dataset is samengesteld om de variatie in de ADHOC-database (Aggregated Database on the History of Cartography) te weerspiegelen, inclusief verzekeringsplannen, wereldkaarten en kadasters uit verschillende landen en periodes.
• Klassen: Er zijn zes semantische klassen gedefinieerd: background (achtergrond), boundary (grenzen), built (bebouwing), non-built (landbouw/natuur), water (water) en road network (wegennet). De toevoeging van de boundary-klasse maakt het mogelijk om individuele objecten (zoals perceelsgrenzen) te vectoriseren.

2. Procedurale Data Synthese
Om het tekort aan realistische trainingsdata op te vullen en de robuustheid te vergroten, wordt gebruikgemaakt van procedueel gegenereerde synthetische kaarten.

• Bron: Gegevens worden gehaald uit moderne geodata (MapTiler Planet) en aangepast aan de schaalverdeling van historische kaarten.
• Stylisatie: In plaats van complexe generatieve AI-modellen (zoals GANs) te gebruiken, worden grafische processen (kleuren, patronen, hachures, textuurmaskers) probabilistisch toegepast op de synthetische kaarten. Dit biedt meer controle over de variatie in texturen en visuele kenmerken.
• Doel: Het creëren van visueel geloofwaardige kaarten die de model laten leren op basis van morfologische cues in plaats van specifieke stijlen, zonder het risico van "style collapse".

3. Model Architectuur en Training

• Architectuur: Er wordt gebruikgemaakt van Mask2Former met een Swin-L backbone (een Transformer-architectuur). Deze keuze is gemaakt vanwege het vermogen van Swin-Transformers om hiërarchisch en multiscale beeldobjecten te verwerken.
• Training: Het model wordt getraind met een combinatie van Semap-data en synthetische data (90,9% van de trainingsset bestaat uit synthetische data). Er wordt gebruikgemaakt van een multi-scale loss-functie en een "early stopping" beleid om overfitting te beperken.
• Inferentie (Multiscale Integratie): Omdat historische kaarten vaak zeer groot zijn, worden ze opgesplitst in patches. Tijdens de inferentie wordt het model tweemaal toegepast: op de originele resolutie en op de helft van de resolutie. De resultaten worden gemiddeld om de herkenning van grote objecten die over meerdere patches strekken te verbeteren en contextuele fouten aan de randen te minimaliseren.

Kernbijdragen

1. Semap Dataset: De introductie van een divers, open benchmark-dataset dat de variatie in historische kaarten beter weerspiegelt dan bestaande datasets.
2. Generaliseerbaar Framework: Het bewijs dat een "diversity-driven" aanpak (trainen op zeer diverse data) superieur is aan het trainen van gespecialiseerde modellen op homogene series.
3. Procedurale Synthese: Een effectieve methode om synthetische trainingsdata te genereren die de robuustheid van het model verhoogt zonder de nadelen van pure generatieve AI.
4. Multiscale Inference: Een strategie die de prestaties verbetert voor grote objecten en de consistentie van de segmentatie over verschillende schalen garandeert.

Resultaten

De prestaties zijn geëvalueerd op de Semap-testset en bestaande benchmarks (HCMSSD-Paris en HCMSSD-World).

• Algemene Prestaties: Het model bereikte een gemiddelde Intersection over Union (mIoU) van 74,2% op de Semap-testset. De prestaties per klasse waren: built (79,8%), non-built (81,8%), water (72,2%) en road network (62,9%).
• Vergelijking met State-of-the-Art: Het model overtreft bestaande methoden (zoals UNet-ResNet, SCGCN en HRNet) aanzienlijk. Op de HCMSSD-World dataset (zeer divers) verbeterde de prestatie met 31 procentpunten ten opzichte van eerdere UNet-basismodellen.
• Generalisatie: De analyse toont aan dat de prestaties stabiel blijven ongeacht de verzameling, het land, de schaal of het publicatiejaar. Er is geen significant systeematisch bias gedetecteerd, wat aantoont dat het model echt generaliseert.
• Ablatie-studie: Het verwijderen van synthetische data of multiscale integratie leidde tot een daling van de mIoU met 4 tot 5 procentpunten, wat aantoont dat beide componenten cruciaal zijn.
• Beperkingen: De boundary-klasse (grenzen) en zeer dunne lineaire objecten worden minder goed herkend. Dit is echter een bekende uitdaging en niet de primaire focus van dit specifieke onderzoek.

Betekenis en Conclusie

Dit onderzoek bewijst dat het mogelijk is om robuuste, algemene modellen te bouwen voor de analyse van historische kaarten, in plaats van afhankelijk te zijn van gespecialiseerde modellen per kaartserie.

• Toegang tot de "Lange Staart": Door modellen te ontwikkelen die werken op heterogene collecties, wordt de deur geopend naar het analyseren van de enorme hoeveelheid "lange staart"-kaarten die tot nu toe ongebruikt zijn gebleven in historische geografische studies.
• Data-rijke Leerproces: De studie toont aan dat diversiteit in trainingsdata, gecombineerd met geschikte architecturen (Transformers) en procedurale synthese, een katalysator is voor robuust leren in plaats van een obstakel.
• Toekomstperspectief: Deze methoden maken het mogelijk om op schaal historische ruimtelijke dynamieken (zoals stedelijke groei of landgebruikswijzigingen) te modelleren met een granulariteit die voorheen niet haalbaar was.

Kortom, de auteurs bieden een schaalbare, reproduceerbare oplossing om de digitale erfenis van wereldwijde kaartcollecties te ontsluiten voor wetenschappelijk onderzoek.