Measuring the Intrinsic Dimension of Earth Representations

Diese Studie untersucht erstmals die intrinsische Dimensionalität geografischer Impliziter Neuronaler Repräsentationen (INRs) und zeigt, dass deren effektive Komplexität deutlich niedriger ist als die Eingabedimension, wobei diese Metrik als label-freies Werkzeug zur Bewertung von Modellleistung, zur Erkennung von Artefakten und zur Optimierung des Vor-Trainings dient.

Das Wesentliche

Stell dir vor, die Erde ist ein riesiges, unendliches Buch, das jede Information über unseren Planeten enthält: wo Berge sind, wie das Wetter ist, welche Pflanzen wachsen und wie dicht Menschen leben.

In der Welt der Künstlichen Intelligenz (KI) versuchen Forscher, dieses riesige Buch in einen kompakten, handlichen „Gedächtnis-Speicher" zu verwandeln. Diese Speicher nennt man geografische INRs (Intrinsische Neuronale Repräsentationen). Sie nehmen einen ganz einfachen Input – nur die Koordinaten eines Ortes (Längengrad und Breitengrad) – und wandeln sie in einen komplexen, hochdimensionalen Vektor (eine Art digitaler Fingerabdruck) um.

Das Problem bisher: Wir wussten nicht wirklich, wie viel echte Information in diesen digitalen Fingerabdrücken steckt. Sind sie voller redundanter Daten (wie ein Buch, das auf jeder Seite das Gleiche wiederholt)? Oder sind sie dicht gepackt mit einzigartigen Informationen?

Genau hier kommt diese neue Studie ins Spiel. Die Autoren haben eine neue Methode entwickelt, um den „intrinsischen Dimension" dieser Speicher zu messen.

Die Analogie: Der gefaltete Papierfächer

Stell dir einen riesigen, aufgeklappten Papierfächer vor.

• Die Umgebung (Ambient Dimension): Der Fächer liegt auf einem großen Tisch und nimmt viel Platz ein (vielleicht 512 Zentimeter Breite). Das ist die Größe des Datenspeichers, den die KI nutzt.
• Die intrinsische Dimension: Wenn du den Fächer aber genau ansiehst, stellst du fest, dass er eigentlich nur aus einem einzigen, dünnen Papierstreifen besteht, der gefaltet ist. Die eigentliche „Komplexität" oder die Anzahl der unabhängigen Informationen, die er trägt, ist viel kleiner als der Platz, den er einnimmt.

Die Studie sagt uns: Diese KI-Speicher für die Erde sind wie dieser gefaltete Fächer. Obwohl sie technisch riesig sind (512 Dimensionen), enthalten sie die eigentliche Information nur in einem viel kleineren Bereich (oft nur zwischen 2 und 10 Dimensionen).

Was haben die Forscher herausgefunden?

Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

1. Weniger ist mehr (aber nicht zu wenig)
Die Forscher haben festgestellt, dass die „echte" Komplexität der Erd-Daten viel geringer ist als die Größe der KI-Modelle. Das ist gut! Es bedeutet, dass die KI die Erde effizient versteht. Aber: Wenn die Komplexität zu niedrig ist (nahe bei 2), fehlt ihr vielleicht zu viel Detail. Wenn sie zu hoch ist, ist das Modell vielleicht verwirrt oder ineffizient. Die „Goldene Mitte" liegt irgendwo dazwischen.

2. Je mehr Sinne, desto komplexer die Karte
Stell dir vor, du beschreibst einen Apfel.

• Nur mit dem Auge (Farbe): Das ist einfach.
• Mit Auge, Tastsinn (glatt/rau) und Geruch: Das wird komplexer.
  Die Studie zeigt: Wenn die KI nicht nur Bilder, sondern auch Radar-Daten, Höhenmodelle und andere Sensoren gleichzeitig lernt, steigt die „intrinsische Dimension". Das bedeutet: Das Modell wird reicher und detaillierter, weil es mehr Aspekte der Realität erfasst.

3. Die „Fehler-Karte" (Lokale Dimension)
Die Forscher haben nicht nur die ganze Erde gemessen, sondern auch kleine Flecken. Dabei entdeckten sie „Kunstfehler" (Artifacts).

• Beispiel: Ein Modell, das nur mit Fotos aus den USA und Europa trainiert wurde, zeigt in diesen Regionen eine hohe Komplexität (es weiß viel). Aber in Afrika oder Asien ist die Komplexität plötzlich sehr niedrig oder verzerrt. Das ist wie eine Landkarte, die Europa detailliert zeigt, aber Afrika nur als leere, verzerrte Fläche darstellt.
• Warum ist das wichtig? Wenn du ein KI-Modell für eine Region verwenden willst, wo es wenig Trainingsdaten gab, wirst du Probleme bekommen. Diese Messung hilft, solche „blinden Flecken" zu finden, bevor das Modell eingesetzt wird.

4. Der Zusammenhang mit der Leistung
Es gibt einen interessanten Zusammenhang:

• Wenn das Modell vorgebildet ist (es hat die Welt „gelernt"), ist eine höhere intrinsische Dimension besser. Es bedeutet, es hat eine reiche, vielfältige Weltkarte im Kopf.
• Wenn das Modell dann eine spezifische Aufgabe löst (z. B. „Wo sind Bäume?"), wird die Dimension in der aktiven Schicht des Modells niedriger. Das ist wie ein Spezialist, der sich auf das Wesentliche konzentriert und den Rest ignoriert. Das ist ein Zeichen dafür, dass das Modell die Aufgabe gut versteht.

Warum ist das für uns alle wichtig?

Bisher haben wir KI-Modelle für die Erde oft nur danach bewertet, ob sie bei einer spezifischen Aufgabe (wie „Erkennung von Waldbränden") gut funktionieren. Das ist wie ein Auto zu testen, indem man nur sieht, ob es auf der Rennstrecke schnell ist.

Diese Studie bietet einen neuen, label-freien Test (ohne dass man die Antworten schon kennen muss). Man kann einfach die „intrinsische Dimension" messen und sofort sagen:

• „Dieses Modell ist gut trainiert und hat eine reiche Weltvorstellung."
• „Dieses Modell hat Lücken in seiner Ausbildung (z. B. keine Daten aus dem Amazonas)."
• „Dieses Modell ist für die Aufgabe zu kompliziert oder zu simpel."

Zusammenfassend:
Die Forscher haben ein neues Maßband entwickelt, um zu messen, wie „dicht" und „reich" die digitale Vorstellung der Erde in einer KI ist. Es hilft dabei, bessere Modelle zu bauen, Fehler in den Trainingsdaten zu finden und sicherzustellen, dass unsere KI die Welt so genau und fair versteht, wie wir es brauchen.

Technische Zusammenfassung

Titel: Messung der intrinsischen Dimension von Erd-Representationen (Earth Representations)

Veröffentlicht bei: ICLR 2026
Autoren: Arjun Rao, Marc Rußwurm, Konstantin Klemmer, Esther Rolf

---

1. Problemstellung

Im Bereich des Representation Learning für die Erdbeobachtung (Earth Observation) werden geografische Implicit Neural Representations (INRs) eingesetzt. Diese Modelle codieren niedrigdimensionale Eingaben (Längengrad, Breitengrad) in hochdimensionale Embeddings, indem sie auf geo-referenzierten Satelliten-, Bild- oder Textdaten trainiert werden.

Das zentrale Problem besteht darin, dass zwar das Ziel dieser Modelle darin liegt, die Daten der Erde in kompakte, lernfreundliche Repräsentationen zu verdichten, jedoch ein tiefes Verständnis fehlt:

• Wie viel Information ist tatsächlich in diesen Erd-Repräsentationen enthalten?
• Wo konzentriert sich diese Information?
• Wie lässt sich die Qualität dieser Repräsentationen unabhängig von spezifischen Downstream-Aufgaben (task-agnostisch) bewerten?

Bisherige Evaluierungen basieren fast ausschließlich auf überwachtem Lernen für spezifische Aufgaben (z. B. Landbedeckung, Objekterkennung). Es fehlt eine Metrik, die den Informationsgehalt und die strukturelle Komplexität der Repräsentationen selbst misst.

2. Methodik

Die Autoren führen die erste systematische Studie zur intrinsischen Dimension (Intrinsic Dimension, ID) geografischer INRs durch. Die ID misst die Anzahl der Freiheitsgrade, die erforderlich sind, um die lokale Variabilität eines Datensatzes zu erfassen, unabhängig vom umgebenden hochdimensionalen Raum.

Die Methodik gliedert sich in zwei Hauptaspekte, die in Abbildung 1 des Papers visualisiert werden:

1. Messung der Repräsentativität (Representativeness) im Embedding-Raum:

   • Es werden eingefrorene (frozen), vortrainierte Location-Encoder verwendet.
   • Für geografische Koordinaten (über Landmassen) werden Embeddings generiert.
   • Die globale und lokale ID dieser Embeddings wird berechnet.
   • Schätzer: Hier wird primär der FisherS-Schätzer (winkelbasiert) verwendet, da er robust gegenüber räumlicher Heterogenität ist und globale Muster auf der Erdoberfläche besser erfasst.

2. Messung der Aufgaben-Ausrichtung (Task-Alignment) im Aktivierungsraum:

   • Ein einfacher, aufgabenspezifischer Klassifikator/Regressor (z. B. MLP) wird auf den Embeddings trainiert.
   • Die ID wird im Aktivierungsraum der vorletzten Schicht dieses Downstream-Modells gemessen.
   • Schätzer: Hier wird der TwoNN-Schätzer (distanzbasiert) verwendet, um zu prüfen, wie stark die Repräsentation durch das überwachtes Lernen auf einen niedrigdimensionalen, aufgabenrelevanten Manifold komprimiert wird.

Datensätze und Modelle:
Die Studie analysiert diverse geografische INRs (z. B. SatCLIP, GeoCLIP, CSP, Sphere2Vec) und vergleicht sie mit herkömmlichen Bild-Encodern (ResNet, ViT, CROMA, DOFA). Es werden verschiedene Schätzer (MLE, MOM, TLE, FisherS, TwoNN) und Sampling-Strategien (Land, Fibonacci, Kugelfläche) getestet.

3. Wichtige Beiträge

• Erste ID-Studie für geografische INRs: Dies ist die erste Arbeit, die die intrinsische Dimension von Implicit Neural Representations für geografische Daten quantifiziert.
• Entdeckung von zwei Schlüsseleigenschaften:
  1. Repräsentativität: Die Menge an unabhängiger, nicht-redundanter Variation der INRs (gemessen im Embedding-Raum).
  2. Aufgaben-Ausrichtung: Wie gut Downstream-Predictoren die INRs auf einen niedrigdimensionalen Manifold komprimieren können (gemessen im Aktivierungsraum).
• Label-freue Evaluierung: Die Autoren stellen eine architektur- und aufgabenunabhängige Metrik vor, die zur Modellauswahl, Pre-Training-Design und Diagnose von Modellen genutzt werden kann, ohne auf teure Downstream-Benchmarks angewiesen zu sein.
• Analyse von Artefakten: Die Methode deckt räumliche Verzerrungen (Artifacts) auf, die durch Bias im Pre-Training-Datensatz oder Architektur-Eigenschaften entstehen.

4. Ergebnisse

A. Globale und lokale ID-Werte:

• Die intrinsische Dimension geografischer INRs liegt deutlich unter ihrer ambienten Dimension (z. B. Embedding-Dimension 256 oder 512).
• Die geschätzte ID liegt typischerweise zwischen 2 und 10.
• Modelle wie GeoCLIP (ID ~11–13) weisen eine höhere ID auf als SatCLIP (ID ~2–2,5), was auf unterschiedliche Informationsdichten hinweist.
• Die ID von reinen Location-Encodern (nur Koordinaten) ist vergleichbar mit der von großen multimodalen Bild-Encodern (z. B. DOFA, CROMA), was zeigt, dass reine Koordinaten-Encoder bereits einen signifikanten Informationsgehalt über die Erde kodieren können.

B. Korrelation mit Downstream-Leistung:

• Positiver Zusammenhang (Embedding-Raum): Eine höhere globale ID im vortrainierten, eingefrorenen Embedding-Raum korreliert positiv mit der Leistung bei Downstream-Aufgaben. Eine höhere ID bedeutet eine reichhaltigere Abdeckung geografischer Variabilität, die für das Lernen genutzt werden kann.
• Negativer Zusammenhang (Aktivierungsraum): Eine niedrigere ID im Aktivierungsraum eines trainierten Downstream-Modells korreliert positiv mit der Leistung. Dies bestätigt, dass erfolgreiches überwachtes Lernen die Repräsentation auf einen kompakten, aufgaben-spezifischen Manifold komprimiert (bessere Generalisierung).

C. Einfluss von Auflösung und Modalitäten:

• Räumliche Auflösung: Eine Erhöhung der räumlichen Auflösung des Encoders (z. B. mehr Legendre-Polynome bei SatCLIP, höhere Frequenzen bei GeoCLIP) führt zu einer Erhöhung der ID. Dies zeigt, dass feinere Details mehr unabhängige Richtungen im Repräsentationsraum benötigen.
• Input-Modalitäten: Das Hinzufügen weiterer Modalitäten während des Pre-Trainings (z. B. SAR-Daten, Geländehöhen, Landbedeckung neben optischen Bildern) erhöht sowohl die ID als auch die Downstream-Leistung. Die ID erfasst somit den Zuwachs an spektraler und räumlicher Repräsentativität.

D. Räumliche Artefakte:

• Lokale ID-Karten decken Verzerrungen auf. Beispielsweise zeigt GeoCLIP hohe ID-Werte in den USA und Westeuropa (entsprechend der Verteilung der Trainingsdaten aus sozialen Medien).
• CSP-Modelle zeigen ein Gittermuster in der lokalen ID, verursacht durch wiederholende Positional Encodings.
• Diese Artefakte können als Diagnosewerkzeug für Bias in Trainingsdaten oder Modellarchitekturen genutzt werden.

5. Bedeutung und Ausblick

Diese Arbeit bietet einen fundamental neuen Blickwinkel auf die Evaluierung von Erd-Representationen:

• Effiziente Modellauswahl: Die globale ID kann als Proxy für die Downstream-Leistung dienen, was teure Fine-Tuning-Experimente reduziert, um neue Architekturen oder Pre-Training-Strategien zu vergleichen.
• Diagnose und Auditierung: Lokale ID-Karten ermöglichen es, räumliche Verzerrungen und Bias in Modellen zu identifizieren, was für den Einsatz in sensiblen geografischen Anwendungen entscheidend ist.
• Theoretisches Verständnis: Die Arbeit klärt den Zusammenhang zwischen der Komplexität der Repräsentation (ID) und ihrer Nützlichkeit für verschiedene Lernparadigmen (Selbstüberwachtes Lernen vs. Überwachtes Lernen).

Zusammenfassend etabliert die intrinsische Dimension ein leistungsfähiges, label-freies Werkzeug, um den Informationsgehalt und die Qualität von Modellen für die Erdbeobachtung zu quantifizieren, zu vergleichen und zu verbessern. Der Code ist öffentlich verfügbar unter https://github.com/arjunarao619/GeoINRID.