Earth Embeddings as Products: Taxonomy, Ecosystem, and Standardized Access

Dieses Papier adressiert die Fragmentierung von Geospatial-Foundation-Model-Embeddings durch die Einführung einer dreistufigen Taxonomie und die Erweiterung von TorchGeo um eine standardisierte API, die den Zugang zu diesen Daten als eigenständige Geodatenprodukte vereinheitlicht und so Vergleichbarkeit sowie Reproduzierbarkeit fördert.

Das Wesentliche

Stellen Sie sich die Erde als ein riesiges, komplexes Buch vor, das aus Milliarden von Fotos besteht. In den letzten Jahren haben Wissenschaftler eine Art „Super-Leser" entwickelt (die sogenannten Geospatial Foundation Models). Dieser Super-Leser kann jedes Foto der Erde ansehen und sofort verstehen, was darauf zu sehen ist: Ist es ein Wald? Eine Stadt? Ein trockenes Feld?

Das Problem ist: Dieser Super-Leser ist wie ein riesiger, stromfressender Roboter. Um ihn zu nutzen, braucht man teure Computer und viel technisches Know-how. Das ist für die meisten Menschen zu kompliziert.

Die Lösung: Die „Zusammenfassungen" (Embeddings)
Statt den ganzen Roboter zu mieten, haben Forscher begonnen, die Ergebnisse des Lesens vorab zu speichern. Sie nennen diese Ergebnisse „Earth Embeddings".

• Die Analogie: Stellen Sie sich vor, statt jedes Buch im Regal selbst lesen zu müssen, gibt es für jedes Buch bereits eine fertige, kurze Zusammenfassung auf einer Karteikarte. Diese Karteikarte enthält alle wichtigen Informationen, ist aber klein, leicht und sofort verfügbar.
• Das Problem: Bisher war das Regal mit diesen Karteikarten ein Chaos. Manche Karten waren auf Englisch, manche auf Französisch. Manche waren riesige Blätter, andere winzige Zettel. Es gab keine einheitliche Form. Wenn man eine Karteikarte von einem Anbieter hatte, passte sie nicht in den Ordner des anderen. Das machte es unmöglich, die verschiedenen Zusammenfassungen fair zu vergleichen oder sie einfach zu nutzen.

Was diese neue Arbeit leistet:
Die Autoren dieses Papiers haben sich vorgenommen, dieses Chaos zu ordnen. Sie haben drei Dinge getan:

1. Ein neues Ordnungssystem (Taxonomie):
   Sie haben das Chaos in drei Kategorien sortiert, wie ein gut organisiertes Werkzeugset:

   • Die Daten (Die Karteikarten selbst): Sie haben herausgefunden, dass es verschiedene Arten von Zusammenfassungen gibt. Manche fassen ein ganzes Bild zusammen (wie ein Stichwort für ein ganzes Dorf), andere beschreiben jedes einzelne Pixel (wie eine detaillierte Beschreibung jedes einzelnen Baumes).
   • Die Werkzeuge (Die Ordner): Sie haben erkannt, dass es an einheitlichen Ordnern fehlt, um diese Karten zu sortieren und zu finden.
   • Der Nutzen (Was man damit macht): Sie zeigen, wofür man diese Karten nutzen kann: Um ähnliche Orte zu finden (z. B. „Zeig mir alle Felder, die wie dieses hier aussehen") oder um detaillierte Karten zu erstellen.

2. Ein einheitlicher Schlüssel (TorchGeo):
   Das Team hat eine Art „Universal-Adapter" gebaut (eine Software namens TorchGeo).

   • Die Analogie: Stellen Sie sich vor, Sie haben viele verschiedene Steckdosen (die verschiedenen Datenformate). Früher musste man für jede Steckdose einen anderen Adapter kaufen und selbst basteln. Jetzt haben die Autoren einen einzigen, universellen Adapter gebaut. Egal ob die Karteikarte von „Google", „Clay" oder „Tessera" kommt – man steckt sie einfach in den Adapter, und plötzlich funktioniert alles. Man muss nicht mehr wissen, wie die Karteikarte im Inneren aufgebaut ist, man kann sie einfach nutzen.

3. Ein Leitfaden für die Zukunft:
   Sie geben Tipps, wie man in Zukunft bessere Karteikarten macht:

   • Machen Sie sie einheitlich (Standardformate).
   • Machen Sie sie verständlich (Warum sieht diese Karte so aus?).
   • Nutzen Sie Cloud-Formate, damit sie leicht zu laden sind.

Warum ist das wichtig?
Früher war es wie ein Puzzle, bei dem jeder Spieler seine eigenen Teile hatte, die nicht zusammenpassten. Niemand konnte gewinnen, weil man nicht vergleichen konnte, wer das beste Bild hat.
Mit diesem neuen System können nun Forscher, Landwirte oder Stadtplaner einfach ihre „Karteikarten" nehmen, sie in den Universal-Adapter stecken und sofort sehen: „Ah, dieses Feld hier sieht genau so aus wie jenes dort, vielleicht brauchen wir die gleiche Bewässerung!"

Kurz gesagt: Die Autoren haben das Chaos der Erd-Daten in ein gut sortiertes, benutzerfreundliches Regal verwandelt, damit jeder die Macht dieser KI-Modelle nutzen kann, ohne ein Computer-Experte zu sein.

Technische Zusammenfassung

1. Problemstellung

Der Bereich der Geospatial Foundation Models (GFMs) hat in den letzten Jahren einen starken Aufschwung erlebt. Diese Modelle erzeugen niedrigdimensionale Vektoren (Embeddings), die semantische, räumliche und zeitliche Informationen aus Fernerkundungsdaten extrahieren. Trotz des Potenzials dieser Modelle ist die praktische Nutzung der daraus resultierenden Earth Embeddings (vorab berechnete Embedding-Datenprodukte) durch erhebliche Hindernisse blockiert:

• Fragmentierung des Ökosystems: Es existieren etwa 20–25 verschiedene Embedding-Produkte, die jedoch in einem unstrukturierten Umfeld operieren.
• Mangelnde Standardisierung: Die Produkte unterscheiden sich stark in Dateiformaten (z. B. GeoParquet vs. GeoTIFF vs. rohe NumPy/PyTorch-Dateien), räumlichen und zeitlichen Auflösungen sowie Lizenzbedingungen.
• Engineering-Bottleneck: Da es keine einheitliche Schnittstelle gibt, müssen Forscher und Praktiker für jedes neue Produkt individuelle Daten-Loader und Vorverarbeitungsschritte entwickeln. Dies verhindert einen fairen Modellvergleich, die Reproduzierbarkeit von Ergebnissen und eine effiziente Nutzung in Downstream-Anwendungen.
• Verwechslungsgefahr: Es besteht oft eine Unklarheit zwischen dynamischen Foundation Models (die eine aktive Inferenzpipeline erfordern) und statischen Embedding-Produkten („frozen" Assets), was zu falschen Leistungsannahmen führen kann.

2. Methodik und Taxonomie

Die Autoren entwickeln einen systematischen Rahmen, um das Landschaftsbild der Earth Embeddings zu strukturieren und die Interoperabilitätsbarrieren zu identifizieren.

A. Drei-Schichten-Taxonomie (Abbildung 1)
Das Ökosystem wird in drei funktionale Ebenen unterteilt:

1. Daten (Embeddings): Klassifizierung nach räumlicher Granularität:
   • Location Embeddings: Kodieren von Koordinaten {x, y, t} ohne Bildkontext (z. B. für Klimazonen).
   • Patch-Level Embeddings: Ein Vektor pro Bildausschnitt (z. B. 256x256 Pixel), optimiert für Such- und Retrieval-Aufgaben.
   • Pixel-Level Embeddings: Vektoren pro Pixel, die lokale Strukturen erhalten und für feinkörnige Aufgaben wie Segmentierung geeignet sind.
2. Tools (Analyse-Frameworks): Benchmarking-Umgebungen (z. B. NeuCo-Bench) und Herausforderungen (z. B. Embed2Scale), die die Qualität der Embeddings evaluieren.
3. Value (Downstream-Anwendungen): Praktische Nutzung in Aufgaben wie Landbedeckungskartierung, Armutsermittlung oder Retrieval.

B. Systematische Analyse (Section III)
Die Autoren analysieren sieben bekannte Embedding-Produkte (Stand Dezember 2025), darunter Clay, Major TOM, Google Satellite Embedding und Tessera. Sie vergleichen diese hinsichtlich:

• Räumlicher und zeitlicher Abdeckung.
• Kompression und Datentypen (z. B. float32 vs. quantisierte int8).
• Lizenzierung (Open Source vs. proprietär).
• Reproduzierbarkeit (Verfügbarkeit von Code, Gewichten und Trainingsdaten).

C. Identifizierte Barrieren
Die Analyse deckt drei Hauptprobleme auf:

1. Verteilung: Inkonsistente Speicherorte (GitHub, Hugging Face, Google Earth Engine, private Server) und Formate.
2. Reproduzierbarkeit: Viele Repositories sind nicht gewartet, fehlen Unit-Tests, und die ursprünglichen Trainingsdaten sind oft nicht mehr exakt verfügbar.
3. Generierung neuer Embeddings: Der Prozess, neue Daten mit existierenden Modellen zu embedden, ist aufgrund der dezentralen Verfügbarkeit der Modelle zeitaufwendig und komplex.

3. Schlüsselbeiträge

Das Paper liefert drei wesentliche Beiträge zur Lösung dieser Probleme:

1. Umfassende Übersicht und Taxonomie:
   Die Autoren erstellen eine strukturierte Taxonomie und einen detaillierten Metadaten-Atlas für existierende Produkte, der technische Spezifikationen (Auflösung, Lizenz, Dimensionen) und Reproduzierbarkeitsstatus zusammenfasst.

2. Einheitliche Integration in TorchGeo:
   Als Kernlösung erweitern sie die Bibliothek TorchGeo um standardisierte Daten-Loader für diverse Embedding-Produkte.

   • Ziel: Embeddings werden als „First-Class-Geospatial-Datasets" behandelt.
   • Funktion: Nutzer können über eine einzige API auf heterogene Embeddings zugreifen, unabhängig davon, ob sie für Suchaufgaben (Patch-basiert) oder dichte Vorhersagen (Pixel-basiert) gedacht sind.
   • Ergebnis: Komplexe Workflows, die zuvor das Zusammenfügen mehrerer Repositories erforderten, lassen sich nun in wenigen Zeilen Code (ca. 20 Zeilen) implementieren.

3. Entwurf von Design-Prinzipien für die Zukunft:
   Basierend auf den Erkenntnissen werden Richtlinien für zukünftige Embedding-Produkte abgeleitet, darunter die Nutzung cloud-nativer Formate (COG, GeoZarr), die Verbesserung der Erklärbarkeit (xAI) und die Standardisierung von Benchmarks.

4. Ergebnisse und Demonstration

Die Autoren demonstrieren die Wirksamkeit ihrer Lösung durch zwei konkrete Anwendungsfälle in TorchGeo:

• Suche und Retrieval: Ein Beispiel zeigt, wie ein Sentinel-2-Bild in einen Embedding-Vektor umgewandelt wird, um ähnliche Standorte in einem globalen Embedding-Datensatz (Earth Index) zu finden. Dies erfolgt durch Berechnung der Kosinus-Ähnlichkeit über die standardisierte Schnittstelle.
• Landbedeckungskartierung: Ein Beispiel nutzt Google Satellite Embeddings und den EuroCrops-Datensatz. Durch die automatische Rasterisierung und das Überlagern der Daten (Spatiotemporal Intersection) wird ein k-NN-Classifier (k-Nearest Neighbors) trainiert, um Landnutzungsklassen vorherzusagen.

Die Integration ermöglicht es, verschiedene Embedding-Modelle direkt auf denselben Downstream-Aufgaben fair zu vergleichen, was bisher aufgrund der technischen Hürden kaum möglich war.

5. Bedeutung und Ausblick

Die Arbeit ist von großer Bedeutung für die Fernerkundungs-Community, da sie den Übergang von theoretischen Foundation Models zu praktisch nutzbaren Datenprodukten erleichtert.

• Demokratisierung: Durch die Entkopplung der Analyse von modell-spezifischem Engineering wird der Einstieg für Praktiker deutlich einfacher.
• Reproduzierbarkeit: Die Standardisierung fördert transparente und vergleichbare Forschungsergebnisse.
• Zukunftsperspektive: Die Autoren planen, die Benchmark-Vergleiche weiter auszubauen, insbesondere für Zeitreihen-Anwendungen, und weitere aufkommende Modelle in die einheitliche Schnittstelle zu integrieren.

Zusammenfassend bietet das Paper einen kritischen Baustein für die Reifung des Earth-Embedding-Ökosystems, indem es die technische Fragmentierung durch eine standardisierte Software-Architektur (TorchGeo) und eine klare taxonomische Struktur überwindet.