Exploring the potential of AlphaEarth and TESSERA embeddings for Fine-scale Local Climate Zone Mapping: A case study across five cities in Switzerland

Stel je voor dat je een kaart van een stad probeert te tekenen, maar in plaats van alleen te laten zien waar de parken en gebouwen zijn, wil je precies laten zien hoe de stad "voelt" voor het weer. Voelt een straat als een hete oven vanwege hoge, nauwe gebouwen? Of voelt het als een koele bries door verspreide bomen? In de wetenschappelijke wereld wordt dit het in kaart brengen van Local Climate Zones (LCZ) genoemd.

Al een tijdje hebben wetenschappers een "conceptversie" van deze kaarten. Denk aan een foto met een lage resolutie waarbij elke pixel zo groot is als een voetbalveld (100 meter). Het is nuttig voor het grote plaatje, maar als je het klimaat van een specifieke buurt of een enkele straat wilt begrijpen, is die foto te wazig.

Dit artikel is als een team wetenschappers dat probeert die wazige, voetbalveld-grote foto te veranderen in een scherpe, high-definition afbeelding (10 meter per pixel) voor vijf grote Zwitserse steden: Bern, Basel, Genève, Lausanne en Zürich.

Hier is hoe ze het deden, met behulp van enkele creatieve analogieën:

1. De drie "ogen" die naar de stad kijken

Om deze high-definition kaarten te maken, keken de onderzoekers niet naar de stad met slechts één paar ogen. Ze testten drie verschillende "supervisie"-tools om te zien welke het beste een wazige referentiekaart kon vertalen naar een scherpe kaart:

• Het Klassieke Oog (S1S2): Dit is de traditionele methode. Het kijkt naar de stad met behulp van standaard satellietfoto's (Sentinel-1 en Sentinel-2). Het is alsof je naar een stad kijkt door een helder raam, maar je moet veel schoonmaken (wolken verwijderen, kleuren aanpassen) voordat je ook maar iets duidelijk kunt zien.
• Het "Patchwork" Oog (AlphaEarth): Dit is een nieuwe AI-tool van Google. Stel je voor dat het niet de stad pixel voor pixel bekijkt, maar in plaats daarvan naar kleine "patches" of buurten tegelijk kijkt, waarbij het de textuur van een heel blok leert begrijpen. Het is als een kwiltmaker die het patroon van een heel stuk stof begrijpt in plaats van slechts één draad.
• Het "Tijdreizende" Oog (TESSERA): Dit is een andere nieuwe AI-tool. In plaats van alleen naar een momentopname te kijken, kijkt het naar de "film" van de stad over het hele jaar. Het begrijpt hoe de stad verandert met de seizoenen—wanneer bomen groen worden, wanneer sneeuw smelt en hoe de grond er in de zomer versus de winter uitziet. Het creëert een "tijdscapsule" van gegevens.

2. De "Slimme Schilder" (Het AI-model)

De onderzoekers gebruikten een speciaal type AI genaamd een Attention U-Net. Denk aan deze AI als een zeer slimme schilder die een wazige, laag-resolutie schets (de referentiekaart) krijgt en de opdracht krijgt om een high-definition meesterwerk te schilderen.

Het "Attention"-gedeelte (de aandacht) is alsof de schilder een speciale bril draagt die hem helpt zich te concentreren op de belangrijkste details. Als de schilder een cluster van hoge gebouwen ziet, zegt de bril: "Let hier extra op; dit is een dicht stedelijk gebied." Als hij een rivier ziet, zegt de bril: "Focus hier; dit is water."

3. De drie experimenten

Het team voerde drie verschillende tests uit om te zien hoe goed hun "Slimme Schilder" werkte:

• Experiment 1: De Multi-Stad Uitdaging. Ze trainden de schilder om alle vijf de steden tegelijk te herkennen met behulp van de "voetbalveld" (100m) referentiekaarten.
  • Resultaat: Het Tijdreizende Oog (TESSERA) was de beste schilder. Het produceerde de scherpste kaarten. Het Klassieke Oog was oké, maar het Patchwork Oog (AlphaEarth) had iets meer moeite met de variëteit van de verschillende steden.
• Experiment 2: De High-Resolution Test. Ze richtten zich alleen op Bern, waar ze een iets scherpere referentiekaart hadden (78m in plaats van 100m).
  • Resultaat: Met een betere schets om mee te beginnen, werden alle schilders beter. Het Tijdreizende Oog (TESSERA) won nog steeds, maar het Patchwork Oog (AlphaEarth) haalde het in en deed bijna even goed. Het Klassieke Oog was nog steeds het zwakst.
• Experiment 3: De Tijdreis Test. Ze trainden de schilder op 2024-gegevens en vroegen hem om de stad van 2025 te schilderen zonder opnieuw te trainen.
  • Resultaat: Dit was lastig. De stad verandert elk jaar een beetje (bomen groeien, het weer verschuift). Het Klassieke Oog (S1S2) was het meest stabiel; het raakte niet in paniek wanneer het jaar veranderde. Het Tijdreizende Oog (TESSERA) deed het goed, maar was iets gevoeliger voor de veranderingen. Het Patchwork Oog (AlphaEarth) raakte het meest in de war wanneer het jaar veranderde.

4. De Belangrijkste Conclusies

• De Magie van "Embeddings": De studie toonde aan dat het gebruik van deze nieuwe AI-tools (TESSERA en AlphaEarth) is als het hebben van een kant-en-klare "slimme kit". Je hoeft niet wekenlang zelf de ruwe satellietfoto's te poetsen en voor te bereiden. De AI heeft het harde werk van het begrijpen van de gegevens al gedaan.
• TESSERA is de Ster: De tool die naar de "seizoensgebonden film" van de stad kijkt (TESSERA), creëerde consequent de meest nauwkeurige kaarten, vooral bij het kijken naar verschillende soorten steden.
• De Flessehals: Zelfs met de beste tools hangt de kwaliteit van de uiteindelijke kaart sterk af van de kwaliteit van de "schets" (de referentiedata) waarmee ze begonnen. Als de referentiekaart wazig is, heeft de uiteindelijke schildering beperkingen. De onderzoekers ontdekten dat het hebben van een scherpere referentiekaart (zoals de 78m kaart voor Bern) een groot verschil maakte.
• Tijd is Tricky: Hoewel de nieuwe AI-tools krachtig zijn, zijn ze gevoelig voor het jaargetijde. Een model dat getraind is op een zomerse stad, kan in de war raken als het een winterse stad krijgt te zien, tenzij het specifiek is geleerd om met deze veranderingen om te gaan.

Samenvattend

Dit artikel bewijst dat we geavanceerde AI "superogen" kunnen gebruiken om wazige, oude klimaatkaarten te veranderen in scherpe, gedetailleerde gidsen op straatniveau. De beste tool tot nu toe is TESSERA, die de seizoensgebonden veranderingen van de stad begrijpt. Hoewel er nog steeds uitdagingen zijn met de manier waarop de kaarten omgaan met verschillende jaren of zeldzame stadstypes, opent deze aanpak de deur naar het maken van gedetailleerde klimaatkaarten voor steden over de hele wereld zonder dat er mensen uitgezonden hoeven te worden om elke individuele straat te meten.