GeoFormer: A Lightweight Swin Transformer for Joint Building Height and Footprint Estimation from Sentinel Imagery

Dit paper introduceert GeoFormer, een lichtgewicht Swin Transformer-model dat Sentinel- en DEM-gegevens gebruikt om nauwkeurig en efficiënt gebouwhoogte en -oppervlak te schatten, waarbij het presteert boven bestaande CNN-baselines en wereldwijd toepasbaar is zonder specifieke aanpassingen.

De kern

Stadsbouw in 3D: Hoe een slimme AI de hoogte van gebouwen wereldwijd meet

Stel je voor dat je een enorme, driedimensionale kaart van de hele wereld wilt maken, waarop je precies kunt zien hoe hoog elk gebouw is en hoe groot de voetprint ervan is. Dat klinkt als een droom, toch? Voor stedenbouwers, klimaatwetenschappers en hulpverleners bij rampen is dit echter geen droom, maar een harde noodzaak. Maar tot nu toe was deze informatie vaak onvolledig, te duur of alleen beschikbaar voor rijke landen.

In dit artikel stellen de onderzoekers GeoFormer voor. Dit is een slim computerprogramma dat als een "digitale architect" werkt. Het kan de hoogte en de oppervlakte van gebouwen schatten op basis van gratis satellietbeelden, zonder dat er dure apparatuur of menselijke metingen nodig zijn.

Hier is hoe het werkt, vertaald in begrijpelijke taal:

1. De Uitdaging: Een puzzel met te kleine stukjes

Stel je voor dat je probeert een gebouw te meten door naar één enkele tegel op de grond te kijken. Als die tegel maar 10 bij 10 meter groot is, zit hij vaak precies op de grens tussen twee gebouwen, een boom en een weg. Het is een rommeltje. De satelliet ziet dan niet één gebouw, maar een "soep" van verschillende dingen.

De onderzoekers hebben een slimme oplossing bedacht: in plaats van naar één kleine tegel te kijken, kijken ze naar een groot blok van 100 bij 100 meter.

• De Analogie: In plaats van te proberen één boom in een bos te tellen door door een kiertje te kijken, stappen ze op een heuvel en kijken ze naar het hele bos. Zo zien ze het grote plaatje: hoeveel ruimte nemen gebouwen in beslag en hoe hoog is het gemiddelde dak in dat blok? Dit maakt de meting veel stabieler en betrouwbaarder.

2. De Superkracht: Een "Slimme Kijker" (De Transformer)

Vroeger gebruikten computers voor dit soort taken "Convolutional Neural Networks" (CNN's). Die werken als een oude camera met een statische lens: ze kijken naar kleine details en proberen die stap voor stap samen te voegen.

GeoFormer gebruikt echter een nieuwere technologie, een Swin Transformer.

• De Analogie: Stel je voor dat een CNN een detective is die door een stad loopt en elke deur één voor één open doet om te kijken wat erin zit. Dat is traag en mist het grotere verband.
• GeoFormer is als een vliegend ufo dat boven de stad zweeft. Het kan in één oogopslag zien hoe gebouwen met elkaar verbonden zijn, hoe straten lopen en hoe de stad als geheel eruitziet. Het ziet niet alleen de bakstenen, maar ook de "sfeer" van de wijk. Dit maakt het veel beter in het schatten van gebouwen in complexe steden.

3. De Ingrediënten: Wat eet de AI?

Om zijn voorspellingen te doen, "voert" GeoFormer drie soorten gratis data in:

1. Sentinel-1 (Radar): Dit is als een nachtkijker. Het kan door wolken en in het donker kijken. Het ziet de structuur van gebouwen (zoals muren en daken) heel goed, zelfs als het bewolkt is.
2. Sentinel-2 (Kleur): Dit is als een gewone camera. Het ziet de kleuren en texturen. Is het een glazen kantoorgebouw of een oud bakstenen huis? Dit helpt de AI om het type gebouw te herkennen.
3. DEM (Hoge Kaart): Dit is een digitale kaart van het landschap zelf. Het vertelt de AI of het terrein vlak is of heuvelachtig.
   • Belangrijk: De onderzoekers ontdekten dat zonder deze "landschapskaart" de AI de hoogte van gebouwen niet goed kon schatten. Het is alsof je de hoogte van een berg probeert te meten zonder te weten hoe hoog de basis is.

4. De Resultaten: Klein maar Krachtig

Het meest verbazingwekkende aan GeoFormer is dat het klein is.

• De Analogie: Veel andere AI-modellen zijn als een zware vrachtwagen: ze hebben enorme rekenkracht nodig en zijn traag. GeoFormer is als een elektrische fiets. Hij is licht (slechts 0,32 miljoen parameters), snel en doet precies hetzelfde werk, maar dan veel efficiënter.
• Het is zelfs 7,5% nauwkeuriger dan de beste oude modellen (zoals UNet), terwijl het veel minder rekenkracht nodig heeft.

5. Waarom is dit belangrijk voor jou?

Je vraagt je misschien af: "Wat heb ik hieraan?"

• Bij Rampen: Als er een aardbeving is (zoals in Turkije), kan deze AI snel een kaart maken van welke gebouwen zijn ingestort, zelfs als er geen mens ter plaatse kan komen.
• Klimaat: Steden worden warmer door de "hitte-eilanden". Om dit te bestrijden, moeten we weten hoe gebouwen de wind en zon blokkeren. GeoFormer geeft die data voor de hele wereld.
• Bevolkingskaarten: Het helpt om te schatten hoeveel mensen er in een bepaald gebied wonen, wat cruciaal is voor hulp bij hongersnood of ziektes.

Conclusie

De onderzoekers hebben een "magische bril" gemaakt (de code is zelfs gratis beschikbaar!) die de hele wereld in 3D kan scannen. Ze hoeven geen dure satellieten te huren of dure kaarten te kopen. Ze gebruiken gewoon wat er al gratis beschikbaar is, verpakt in een slim, lichtgewicht computerprogramma dat de wereld een stuk veiliger en beter begripbaar maakt.

Kortom: Ze hebben de wereld een digitale 3D-kaart gegeven die voor iedereen toegankelijk is.

Technische samenvatting

Probleemstelling

Gebouwhoogte (Building Height, BH) en gebouwenoppervlak (Building Footprint, BF) zijn fundamentele parameters voor stadsplanning, klimaatmodellerings, risicobeoordeling bij rampen en bevolkingsmapping. Ondanks hun belang ontbreekt er wereldwijd consistente, hoogwaardige 3D-urbane data, vooral in het "Global South". Bestaande methoden hebben te maken met een compromis:

• Hoge nauwkeurigheid: Methoden die gebruikmaken van zeer hoge resolutie (VHR) optische beelden, LiDAR of commerciële SAR-data zijn nauwkeurig (RMSE < 2 m), maar zijn te duur, hebben beperkte dekking en worden niet frequent bijgewerkt.
• Open data beperkingen: Methoden die gebruikmaken van gratis Sentinel-data (SAR en optisch) zijn vaak beperkt tot specifieke steden, vereisen hulpdata (zoals kadastrale lijnen) die niet overal beschikbaar is, of behandelen BH en BF als gescheiden taken zonder rekening te houden met hun fysieke koppeling.
• Resolutie-uitdaging: Een pixel-resolutie van 10 m (Sentinel-niveau) is vaak te fijn voor betrouwbare schattingen omdat één pixel meerdere gebouwen, vegetatie en schaduwen kan bevatten ("mixed pixels"). Aggregatie naar een groter raster is noodzakelijk voor robuustheid.

Methodologie: GeoFormer

De auteurs introduceren GeoFormer, een lichtgewicht multi-task learning framework gebaseerd op de Swin Transformer architectuur.

1. Data en Resolutie:

   • Het model werkt op een 100 m raster (in plaats van 10 m). Dit vermindert sub-pixel ruis en is compatibel met bestaande wereldwijde producten (zoals GHS-POP) en klimaatmodellen.
   • Input: Exclusief open-access data: Sentinel-1 SAR (VV, VH), Sentinel-2 multispectraal (R, G, B, NIR) en SRTM DEM (Digitale Hoogtemodel).
   • Referentie: Gebruik van het SHAFTS-dataset (v2022.3), waarbij vector-gebouwinventarisaties zijn omgezet naar 100 m grid-cellen met gemiddelde hoogte en footprint-ratio.

2. Architectuur:

   • Backbone: Een Swin Transformer die lokale en globale ruimtelijke afhankelijkheden efficiënt vangt via "windowed local attention".
   • Multi-task Learning: Het model schat gelijktijdig BH en BF via twee aparte hoofdmodules (MLP's) die de centrale patch van de contextvensters verwerken.
   • Context Vensters: Het model gebruikt een contextvenster (bijv. 5x5 patches = 500 m) om de stedelijke morfologie van een blok te begrijpen, in plaats van alleen de centrale pixel.
   • Verliesfunctie: Een multi-task loss functie met adaptieve Huber Loss en onzekerheidsgebaseerde weging om uitbijters te minimaliseren en de schaalverschillen tussen BH en BF te balanceren.

3. Data Splitting Strategie (GeoSplit):

   • Om data-lekkage te voorkomen (waarbij trainings- en testdata overlappen door contextvensters), gebruiken de auteurs een geo-blocked strategie. Steden worden verdeeld in radiale sectoren rond het stadscentrum, die vervolgens worden toegewezen aan trainings-, validatie- en testsets. Dit garandeert strikte ruimtelijke onafhankelijkheid.

Belangrijkste Bijdragen

1. Ontwikkeling van GeoFormer: Een compact model (slechts 0,32 miljoen parameters) dat BH en BF gelijktijdig schat op 100 m resolutie zonder proprietary data.
2. Superioriteit van Attention: Bewijs dat windowed local attention (Swin Transformer) effectiever is dan convolutie (CNN) voor het terugwinnen van scene-level gebouwparameters.
3. Ablatie-onderzoek: Systematische analyse van contextvenstergrootte, modelcapaciteit en input-modi, wat leidt tot de conclusie dat een 500 m (5x5) venster optimaal is en dat DEM essentieel is voor hoogteschatting.
4. Open Science: Publicatie van alle code, modelgewichten en het gegenereerde globale product.

Resultaten

Het model is getest op 54 steden over vier continenten en vergeleken met CNN-baselines (ResNet, UNet, SENet).

• Nauwkeurigheid: GeoFormer bereikte een BH RMSE van 3,19 m en een BF RMSE van 0,050.
  • Dit is 7,5% nauwkeuriger dan de beste CNN-baseline (UNet, RMSE 3,45 m).
  • Het model heeft 35 keer minder parameters dan ResNet-18 en 87 keer minder dan ConvNeXt-T, terwijl het vergelijkbare of betere prestaties levert.
• Optimale Configuratie: Een 5x5 contextvenster (500 m) bleek het beste compromis tussen nauwkeurigheid en generalisatie. Grotere vensters (9x9) leidden tot over-smoothing en lagere prestaties.
• Ablatie-Resultaten:
  • DEM: Verwijdering van DEM resulteerde in een sterke daling in BH-nauwkeurigheid (+15% RMSE), wat aantoont dat topografische data cruciaal is voor hoogte.
  • Optisch: Verwijdering van Sentinel-2 (optisch) veroorzaakte de grootste prestatiedaling (+37,9% BH RMSE), wat aangeeft dat multispectrale reflectie de dominante voorspellende signaalbron is.
  • SAR: Verwijdering van SAR had een gematigd effect (+6% BH RMSE), maar voegt waarde toe voor structurele dichtheid.
• Generalisatie:
  • Suwon (Zuid-Korea): Toepassing op een volledig onbekende stad leverde een BH RMSE van 3,57 m op, wat bewijst dat het model goed generaliseert naar nieuwe stedelijke morfologieën zonder fine-tuning.
  • Kahramanmaraş (Turkije): Een "zero-shot" toepassing op een stad getroffen door de aardbevingen van 2023 toonde visueel correcte afnames in gebouwhoogte en -oppervlak na de ramp, zonder specifieke ramp-data voor training.

Betekenis en Impact

GeoFormer biedt een wereldwijd reproduceerbare, kostenefficiënte oplossing voor het genereren van 3D-stadsdata.

• Toegankelijkheid: Door uitsluitend open data te gebruiken, is het model toepasbaar in regio's waar geen dure VHR-data of kadastrale registers beschikbaar zijn.
• Efficiëntie: De lage parametercount maakt het mogelijk om het model op grote schaal in te zetten voor wereldwijde monitoring met beperkte rekenkracht.
• Toepassingen: De gegenereerde data ondersteunt direct klimaatmodellen (stadsverwarmingseilanden), overstromingsrisico-analyses, bevolkingsmapping en snelle schadebeoordeling na rampen.

Samenvattend bewijst dit werk dat moderne Transformer-architecturen, gecombineerd met slimme data-aggregatie en multi-task learning, de staat van de kunst kunnen verbeteren voor globale stedelijke 3D-mapping, zelfs met beperkte en open data.