What's in an Earth Embedding? An Explainability Analysis of Location Encoders

Technische Samenvatting: Wat zit er in een Earth Embedding? Een verklarende analyse van locatie-encoders

Probleemstelling
Geografische Impliciete Neurale Representaties (INRs) leren om elke aardse coördinaat te mappen naar een "locatie-embedding", waarbij enorme hoeveelheden geospatiale data impliciet worden gecodeerd in de gewichten van een neuraal netwerk. Deze embeddings dienen als compacte, algemene representaties voor downstream-taken zoals temperatuurmapping, luchtkwaliteitsvoorspelling en soortidentificatie. Er bestaat echter een kritische kloof: er zijn geen principiële instrumenten om te auditeren welke specifieke geografische of semantische informatie deze embeddings vastleggen. In tegenstelling tot traditionele beeldmodellen, waarbij inputs corresponderen met een enkele afbeelding, corresponderen locatie-embeddings met breedtegraad/lengtegraad coördinaten, wat de interne informatiewerking opaak maakt. De huidige evaluatie leunt uitsluitend op voorspellende prestaties op benchmarks, wat tekortschiet in het verklaren van waarom embeddings slagen of wanneer ze kunnen falen door de afhankelijkheid van spurieuze proxies (bijv. infrastructuur in plaats van armoedegicators).

Methodologie
De auteurs stellen een framework voor om locatie-embeddings te deconstrueren in drie complementaire, menselijk interpreteerbare feature-sets: sparse latente concepten, natuurlijke taalconcepten en visuele kenmerken.

1. Sparse Latente Concepten (Ongesuperviseerd):

   • Aanpak: De auteurs maken gebruik van Sparse Autoencoders (SAEs), specifiek de BatchTopK-methode, om locatie-embeddings te ontrafelen in een sparse dictionary van concepten.
   • Mechanisme: Een SAE projecteert de embeddings naar een hoger-dimensionale ruimte onder een sparsity-restrictie, waarbij slechts een klein aantal neuronen ($k=20$) per sample wordt geactiveerd.
   • Metrieken: Om deze neuronen te interpreteren, introduceren zij twee metrieken:
     • Visuele Monosemanticiteit (MS): Meet of een neuron activeert voor afbeeldingen met vergelijkbare visuele kenmerken (gebruikmakend van correlatie tussen activatie en visuele gelijkenis).
     • Geografische Monosemanticiteit (GeoMS): Meet of een neuron activeert over een lokale of globale geografische regio (gebruikmakend van inverse Haversine-afstand).
   • Datasets: SAE's werden getraind op twee distributies: Uniformly At Random (UAR) over landmassa's (voor SatCLIP, Climplicit) en menselijk bezochte gebieden uit de Geo-YFCC dataset (voor GeoCLIP).

2. Natuurlijke Taalconcepten (Gesuperviseerd/Dictionary-gebaseerd):

   • Aanpak: De auteurs passen het Sparse Linear Concept Embeddings (SpLiCE) framework aan om embeddings te deconstrueren in een vooraf gedefinieerde dictionary van 2.000 geospatiale tekstconcepten (bijv. "stad", "bos").
   • Alignment: Omdat SpLiCE een gedeelde semantische ruimte vereist tussen locatie en tekst, hebben de auteurs ofwel modellen gebruikt die gepre-traind zijn met CLIP-alignment (GeoCLIP), of de andere encoders handmatig uitgelijnd door de locatie-encoder te bevriezen en een tekst-encoder (OpenCLIP ViT-L) te finetunen op de Git-10M dataset.
   • Optimalisatie: Ze passen $\ell_1$-regularisatie toe om sparsity te stimuleren, met als doel 5–20 actieve concepten per voorbeeld, en meten reconstructie via cosinus-gelijkenis en Mean Squared Error (MSE).

3. Visuele Kenmerken (Feature Attribution):

   • Aanpak: De auteurs gebruiken CLIP Surgery om saliency maps te genereren, die identificeren welke regio's van de input-imagery (natuurlijk of satelliet) de voorspelling van het model het meest beïnvloeden.
   • Adaptatie: Omdat locatie-encoders geen "null class" missen (in tegen tegenstelling tot taalmodellen), gebruiken de auteurs de Noordpool als een heuristische "null" embedding om ruis te benaderen.
   • Pipeline: Voor satellietbeelden berekenden ze saliency maps, thresholdden ze deze tot binaire maskers, sneden ze de saillante regio's uit en clusterden deze crops met behulp van t-SNE en DBSCAN om terugkerende visuele patronen (bijv. wegen, rotondes) te identificeren.

Belangrijkste Resultaten

• Sparse Latente Concepten:

  • Reconstructie: SatCLIP en Climplicit embeddings werden gereconstrueerd met bijna perfecte $R^2$-scores (>0.92) door de SAE, terwijl GeoCLIP lagere scores behaalde (~0.52–0.65).
  • Interpreteerbaarheid: Neuronen met een hoge monosemanticiteit legden onderscheidende geografische patronen vast. Voorbeelden zijn neuronen die specifiek activeren voor het Amazoneregenwoud, de Australische woestijnen en archeologische locaties in het Midden-Oosten.
  • Artefacten: De analyse identificeerde succesvol visuele artefacten in de pretraining-data, zoals specifieke anomalieën in Sentinel-2 beelden rond Groenland.

• Natuurlijke Taalconcepten (SpLiCE):

  • Structuurbehoud: SpLiCE behield de directionele structuur in de embedding-ruimte (cosinus-gelijkenis > 0.29) terwijl het aanzienlijk minder actieve concepten gebruikte dan de oorspronkelijke embedding-dimensie.
  • Verschillen tussen Encoders:
    • GeoCLIP: Toonde fijnmazige, specifieke signalen in sterk gefotografeerde gebieden (bijv. Parijs), maar had moeite met minder gefotografeerde regio's (bijv. Siberië).
    • SatCLIP: Legde bredere landbedekkings-trends vast (bijv. "toendra", "woestijn") consistenter over verschillende regio's heen.
    • Climplicit: Toonde een gemengde interpreteerbaarheid; het presteerde goed op grove landbedekkingssignalen (Sahara), maar was minder coherent op andere.

• Visuele Kenmerken (Saliency Maps):

  • Natuurlijke Beelden (GeoCLIP): Aandacht richtte zich op kenmerkende architectonische monumenten, natuurlijke kenmerken (bomen, lucht) en tekstuele aanwijzingen (straatnaamborden).
  • Satellietbeelden (SatCLIP): Aandacht concentreerde zich op structurele grenzen, waaronder wegenpatronen (bijv. rotondes in Europese steden versus suburbane clusters in de VS), land-watergrenzen en grote stedelijke structuren zoals stadions.
  • Consistentie: De visuele kenmerken die door saliency maps werden gehighlight, stemden overeen met de semantische concepten gevonden in de tekstuele deconstructie (bijv. stedelijke structuren versus natuurlijke biomen).

Betekenis en Claims
Het artikel claimt de eerste stap te zijn richting interpreteerbare geospatiale representaties voor geografische INRs. Door aan te tonen dat locatie-embeddings kunnen worden gedeconstrueerd in menselijk interpreteerbare representaties (latent, tekstueel en visueel) met behoud van een hoge reconstructiecapaciteit, onthullen de auteurs dat deze "black box" encoders systematische geografische structuren zoals bossen, woestijnen, stedelijke kenmerken en klimaat-signalen coderen.

De auteurs benadrukken dat deze methoden complementaire inzichten bieden:

• Voor Gebruikers: Het vermogen om te auditeren welke encoder specifieke signalen vastlegt (bijv. stedelijke infrastructuur versus brede biomen) helpt bij het selecteren van het juiste model voor downstream-taken.
• Voor Ontwikkelaars: Het framework maakt debugging mogelijk door het identificeren van conceptuele hiaten, irrelevante visuele kenmerken of kwalitatief slechte data-artefacten (zoals de Greenland-anomalie).

Het paper blijft bescheiden en erkent dat de huidige interpreteerbaarheid handmatige inspanning vereist (bijv. inspectie van neuron-activaties, alignment van ruimtes) en dat toekomstig werk zich moet richten op "interpretable-by-design" frameworks of diepere afstemming van deze methoden specifiek voor geospatiale modellen.