Inferring Height from Earth Embeddings: First insights using Google AlphaEarth

Deze studie toont aan dat AlphaEarth-embeddings, wanneer gekoppeld aan U-Net++-architecturen, veelbelovende resultaten opleveren voor het afleiden van oppervlaktehoogte, hoewel generalisatieproblemen door verdelingsverschillen nog aandacht vereisen.

De kern

Hoe Google's "Aarde-geheugen" ons helpt om bergen en dalen te zien zonder ze te meten

Stel je voor dat je een enorme, wereldwijde fotoalbum hebt van de Aarde. Dit album bevat niet alleen foto's, maar ook geluiden, weersdata en zelfs metingen van bomen en gebouwen. Google heeft een slimme kunstmatige intelligentie (AI) ontwikkeld, genaamd AlphaEarth, die door al deze miljoenen gegevens heen leest en er een soort "samenvatting" van maakt.

In deze studie kijken onderzoekers of ze met die samenvattingen de hoogte van het landschap kunnen voorspellen. Ze doen dit alsof ze een recept gebruiken om een taart te bakken, maar dan voor een digitale kaart van de aarde.

Hier is hoe het werkt, in simpele taal:

1. De "Aarde-Embeddings": De samenvatting van de wereld

Stel je voor dat je elke plek op aarde (een stukje van 10 bij 10 meter) een unieke ID-kaart geeft. Deze ID-kaart is geen gewone foto, maar een lijst met getallen die vertellen: "Hier is het bosrijk, hier is het regenachtig, hier staat een berg en hier is het vlak."

Google noemt deze ID-kaarten Earth Embeddings. Ze zijn als een samenvatting van een heel boek: je hoeft niet het hele boek te lezen om te weten waar het over gaat; de samenvatting geeft je de belangrijkste feiten direct.

2. Het probleem: De "recept" is nog niet gevonden

De onderzoekers wilden weten: Kunnen we met alleen deze ID-kaarten (de samenvattingen) precies voorspellen hoe hoog een berg of een vallei is?

Normaal gesproken moet je voor zo'n kaart duizenden metingen doen met dure apparatuur (zoals lasers van vliegtuigen). Dat is duur en tijdrovend. De onderzoekers wilden weten of ze een slimme AI kunnen trainen die zegt: "Ah, deze ID-kaart hoort bij een heuvel van 100 meter," zonder dat ze de heuvel zelf hoeven te meten.

3. De proef: Twee verschillende bakkers

Ze gebruikten twee verschillende soorten "bakkers" (AI-modellen) om te zien wie de beste taart (de hoogtekaart) kon maken:

• De eenvoudige bakker (U-Net): Een slimme, maar standaard AI.
• De meester-bakker (U-Net++): Een iets complexere AI die beter kan kijken naar de details en de context (bijvoorbeeld: "Als hier een bos is, is de grond eronder waarschijnlijk niet zomaar een gat").

Ze gaven ze de "ID-kaarten" (de data) en vroegen ze om de hoogte te raden. Als antwoord kregen ze een kaart die ze konden vergelijken met een echte, zeer nauwkeurige kaart (de "gouden standaard").

4. Wat kwam er uit?

• De eenvoudige bakker deed het goed, maar de meester-bakker was beter.
  De AI kon de hoogte van het landschap heel goed raden op de plekken waar ze het hadden getraind. Het was alsof de AI de "stijl" van het landschap had geleerd.
• Het echte test: Toen ze de AI naar een nieuw, onbekend gebied stuurden (een ander stukje Frankrijk), werd het iets moeilijker. De AI raakte een beetje in de war omdat het landschap er anders uitzag dan waar ze voor waren getraind (meer hoge heuvels, minder vlakke velden).
• De winnaar: De meester-bakker (U-Net++) bleef het rustigst en gaf de beste schattingen, zelfs in het nieuwe gebied. De eenvoudige bakker maakte meer fouten, vooral bij de uitersten (te hoge of te lage schattingen).

5. Waarom is dit belangrijk? (De "Waarom"-vraag)

Vroeger moest je voor elke nieuwe berg of vallei nieuwe metingen doen. Nu kunnen we misschien gewoon de "ID-kaart" van die plek ophalen en de AI laten zeggen hoe hoog het is.

• Het is snel en goedkoop: Je hoeft geen vliegtuigen te sturen.
• Het werkt overal: Zelfs als het landschap er anders uitziet dan waar de AI voor is getraind, kan hij nog steeds een heel redelijke schatting maken.
• Niet perfect, maar veelbelovend: De AI maakt nog wel fouten (soms een paar meter naast de waarheid), maar het is een enorme stap voorwaarts. Het is alsof je van een ruwe schets bent gegaan naar een gedetailleerde tekening, zonder dat je de hele tijd met een liniaal hebt gemeten.

Conclusie

Deze studie laat zien dat Google's slimme "Aarde-geheugen" (AlphaEarth) genoeg informatie bevat om de hoogte van het landschap te voorspellen. Het is als het hebben van een magische kompasnaald die niet alleen de richting aangeeft, maar ook vertelt hoe hoog je bent, puur op basis van de omgeving.

Hoewel de AI nog niet 100% perfect is (er is nog een beetje "ruis" in de meting), bewijst het dat we in de toekomst veel minder dure metingen nodig zullen hebben om prachtige, gedetailleerde 3D-kaarten van onze planeet te maken.

Technische samenvatting

Titel: Afleiden van Hoogte uit Aarde-Embeddings: Eerste inzichten met Google AlphaEarth

Auteurs: Alireza Hamoudzadeh, Valeria Belloni, Roberta Ravanelli
Publicatie: arXiv (2026)

---

1. Probleemstelling

De aardobservatie (Earth Observation - EO) heeft te maken met een groeiende kloof tussen de overvloed aan ruwe data en het gebrek aan hoogwaardige gelabelde data voor toezicht en modellering. Traditionele methoden voor het maken van digitale oppervlaktmodellen (DSM) vereisen vaak dure in-situ metingen of complexe, rekenintensieve deep learning-modellen die specifiek getraind moeten worden op grote datasets.

Er is een toenemende interesse in Geospatiale Fundamentmodellen (GeoFMs), zoals AlphaEarth, die vooraf getraind zijn op diverse multimodale data (satellietbeelden, radar, LiDAR, etc.) om compacte vectorvoorstellingen te genereren, zogenaamde Earth Embeddings. Hoewel deze embeddings succesvol zijn gebruikt voor classificatie en segmentatie, is het nog onzeker of ze voldoende informatie bevatten om topografische hoogte (terreinhoogte) direct af te leiden via regressiemodellen, zonder dat er zware, end-to-end training nodig is.

2. Methodologie

De studie onderzoekt of de geospatiale en multimodale features in AlphaEarth Embeddings (10m resolutie) kunnen dienen als input voor deep learning-regressiemodellen om een hoogwaardig DSM te voorspellen.

• Data:
  • Input: AlphaEarth Embeddings (64 kanalen, 10m resolutie) voor het jaar 2020, afkomstig van Google Earth Engine/Source Cooperative. Deze embeddings bevatten data van Sentinel-1/2, GEDI, GRACE en Copernicus DEM.
  • Doelvariabele (Ground Truth): Een hoogwaardig Digitaal Oppervlaktmodel (DSM) van 5x5m resolutie, geleverd door het Franse IGN (Institut national de l'information géographique et forestière) voor de regio Nouvelle-Aquitaine (Frankrijk).
  • Gebied: Ongeveer 7865 km², verdeeld in een trainings/validatiegebied (70%) en een onafhankelijk testgebied (30%).
• Pre-processing:
  • De embeddings (opgeslagen als 8-bit integers) werden genormaliseerd naar het bereik [0, 1].
  • Het DSM werd hersampled naar 10m resolutie om te matchen met de embeddings.
• Modellen:
  • Twee lichtgewicht convolutionele encoder-decoder architecturen werden getraind als regressiemodellen: U-Net en U-Net++.
  • Deze modellen gebruiken een ResNet-18 encoder (vooraf getraind op ImageNet) om de embeddings naar hoogtewaarden te vertalen.
  • Als baseline werd een Ridge-regressie (lineair model) gebruikt.
• Training:
  • Trainingsstrategie: AdamW optimizer, MSE-verliesfunctie, early stopping en patch-grootte van 512x512 pixels.
  • Doel: Beoordelen hoe goed de embeddings de relatie tussen geospatiale features en terreinhoogte kunnen leren.

3. Belangrijkste Bijdragen

1. Eerste systematische evaluatie: Dit is het eerste onderzoek dat AlphaEarth Embeddings toepast op de taak van regionale oppervlaktehoogte-inferentie (DSM-generatie) in plaats van alleen classificatie of canopy-height schatting voor bomen.
2. Schalbaarheid: De studie demonstreert dat het verwerken van embeddings in het raster-domein (10m) over een groot gebied (7865 km²) haalbaar is, in tegenstelling tot eerdere studies die beperkt bleven tot kleine gebieden of punt-data.
3. Architecturale vergelijking: Het biedt een gedetailleerde vergelijking tussen standaard U-Net en de meer geavanceerde U-Net++ voor deze specifieke regressietaak, waarbij de impact van ruimtelijke context op de generalisatie wordt onderzocht.

4. Resultaten

De resultaten tonen aan dat Earth Embeddings waardevolle informatie bevatten voor hoogtemapping, maar dat de prestaties afhankelijk zijn van de modelarchitectuur en de verdelingsverschillen tussen trainings- en testdata.

• Trainingsprestaties:
  • Beide deep learning-modellen (U-Net en U-Net++) behaalden uitstekende resultaten op de trainingsdata ($R^2 = 0.97$), wat aantoont dat de embeddings decodeerbare hoogte-informatie bevatten.
  • De lineaire Ridge-regressie presteerde aanzienlijk slechter ($R^2 = 0.64$) en produceerde fysisch onwaarschijnlijke negatieve hoogtes.
• Testprestaties (Generalisatie):
  • Er was een prestatiedaling op de testset door een verschuiving in de frequentieverdeling van de hoogtes tussen de trainings- en testgebieden.
  • U-Net++ bleek superieur in generalisatie:
    • $R^2 = 0.84$ (tegenover $0.78$ voor U-Net).
    • RMSE (Root Mean Square Error) van ongeveer 16,4 m.
    • Mediaan verschil van -2,62 m (tegenover -7,22 m voor U-Net).
  • U-Net++ toonde minder gevoeligheid voor outliers en een meer stabiele foutverdeling.
• Fysische consistentie: In tegenstelling tot de lineaire baseline, produceerden de U-Net-modellen geen extreme negatieve hoogtes, wat wijst op een betere fysische plausibiliteit van de voorspellingen.

5. Betekenis en Conclusie

De studie concludeert dat AlphaEarth Embeddings een veelbelovende basis vormen voor het sturen van deep learning-workflows voor regionale hoogtemapping.

• Kerninzicht: De embeddings bevatten transfererbare topografische patronen die door ruimtelijk bewuste convolutionele netwerken (zoals U-Net++) effectief kunnen worden gedecodeerd.
• Beperkingen: De prestaties op de testset werden beperkt door een distributiemismatch (verschil in hoogteverdeling tussen trainings- en testgebied) en mogelijk een tijdsverschil tussen de data-acquisitie van de embeddings en het referentie-DSM. Dit resulteerde in een residual bias.
• Toekomstperspectief: Hoewel de RMSE van ~16m nog ruimte laat voor verbetering, bewijst de studie dat het gebruik van vooraf berekende embeddings in combinatie met lichte decoders een rekenkundig efficiënt alternatief is voor traditionele, zware modellen. Voor verdere verbetering is het noodzakelijk om de trainingsdatasets uit te breiden met meer geografische diversiteit en de bias door tijdsverschillen aan te pakken.

Samenvattend biedt deze paper een cruciale stap in het gebruik van Geospatiale Fundamentmodellen voor praktische toepassingen in de topografie, waarbij wordt aangetoond dat "embeddings-first" benaderingen potentieel hebben voor schaalbare en kosteneffectieve hoogtemapping.