LEPA: Learning Geometric Equivariance in Satellite Remote Sensing Data with a Predictive Architecture

Die Arbeit stellt LEPA vor, eine Architektur, die durch das direkte Vorhersagen transformierter Embeddings unter Berücksichtigung geometrischer Augmentierungen die Unzuverlässigkeit herkömmlicher Interpolationsverfahren in Geospatial-Grundmodellen überwindet und so präzise geometrische Anpassungen ohne Neu-Encoding ermöglicht.

Das Wesentliche

Stell dir vor, du hast eine riesige, hochauflösende Landkarte der Erde, die von einer super-intelligen KI (einem „Grundlagenmodell") bereits analysiert und in eine Art digitaler Stecker (einem „Embedding") verwandelt wurde. Dieser Stecker fasst die wichtigsten Informationen eines Bildes zusammen, ist klein, schnell zu übertragen und spart enorm viel Rechenleistung.

Das Problem ist jedoch: Die Stecker passen nicht immer in die Steckdose.

Das Problem: Der starre Raster

Die KI hat die Erde in ein starres Gitter aus quadratischen Kacheln unterteilt und für jede Kachel einen Stecker berechnet. Aber was passiert, wenn du als Nutzer nur einen kleinen, schiefen Ausschnitt einer Stadt brauchst, der genau zwischen diesen Kacheln liegt? Oder wenn du das Bild drehen willst?

• Der alte Weg (Interpolation): Früher haben Leute versucht, die Stecker einfach zu „mischen", ähnlich wie man zwei Farben von Farbe zusammenrührt, um eine neue Farbe zu bekommen.
• Das Ergebnis: Das funktioniert bei Bildern gut, aber bei diesen digitalen Steckern ist es katastrophal. Es ist, als würdest du versuchen, ein Foto zu drehen, indem du die Pixel einfach verschiebst und die Lücken mit einer Durchschnittsfarbe füllst. Das Ergebnis sieht aus wie ein verwaschener, surrealer Albtraum. Die KI erkennt die Objekte nicht mehr. Die mathematische Struktur dieser Stecker ist zu komplex, als dass man sie einfach mitteln könnte.

Die Lösung: LEPA – Der „Geometrie-Prophet"

Die Autoren des Papers haben eine neue Methode namens LEPA entwickelt. Stell dir LEPA nicht als Mischmaschine vor, sondern als einen Propheten oder einen Übersetzer.

Statt die Stecker zu mischen, sagt LEPA: „Okay, du willst das Bild um 30 Grad drehen? Ich weiß genau, wie sich der digitale Stecker verändern muss, um dieser Drehung zu entsprechen, ohne dass wir das riesige Originalbild neu analysieren müssen."

Wie funktioniert das im Alltag?
Stell dir vor, du hast eine Anleitung (den Encoder), die ein Haus beschreibt.

1. Das alte Problem: Wenn du das Haus drehen willst, müsstest du die ganze Anleitung neu schreiben (das wäre das teure „Neu-Scannen" des Originalbildes). Oder du versuchst, die Sätze einfach umzustellen (Interpolation), was zu Unsinn führt.
2. Die LEPA-Methode: Du hast einen Assistenten (den Predictor), der die Anleitung kennt. Du sagst ihm: „Dreh das Haus um 90 Grad." Der Assistent weiß genau, welche Wörter in der Anleitung sich ändern müssen, um die neue Perspektive zu beschreiben. Er schreibt die neue Anleitung sofort, ohne das Haus jemals gesehen zu haben.

Die Ergebnisse: Ein riesiger Erfolg

Die Forscher haben das getestet:

• Der alte Weg (Mischen): Hatte eine Erfolgsrate von weniger als 20 %. Das ist wie ein blindes Raten.
• Der neue Weg (LEPA): Hat eine Erfolgsrate von über 80 %. Das ist fast so gut, als hättest du das Originalbild neu gescannt.

Warum ist das wichtig?

1. Geschwindigkeit & Kosten: Man muss nicht jedes Mal die riesige KI neu starten, nur weil man einen kleinen Ausschnitt anders schneidet oder dreht. Man nutzt einfach den kleinen, schnellen „Propheten".
2. Präzision: Satellitenbilder können jetzt flexibel genutzt werden, egal wie die Nutzer ihre Bereiche definieren.
3. Zukunftssicherheit: Diese Methode zeigt, wie man KI-Modelle „geometrisch intelligent" macht, sodass sie verstehen, wie sich Dinge im Raum verändern, statt nur statische Bilder zu erkennen.

Zusammenfassend:
Das Paper sagt im Grunde: „Hört auf, die digitalen Fingerabdrücke von Satellitenbildern einfach zu mischen. Das funktioniert nicht. Baut stattdessen einen kleinen, schlauen Assistenten, der weiß, wie sich diese Fingerabdrücke bei Drehungen oder Verschiebungen verhalten müssen. Das spart Zeit, Geld und liefert viel bessere Ergebnisse."

Technische Zusammenfassung

1. Problemstellung

In der Erdbeobachtung (Earth Observation, EO) werden zunehmend Geospatial-Foundation-Modelle eingesetzt, um vorab berechnete Embeddings (Vektorrepräsentationen) für Satellitenbilder zu generieren. Diese Embeddings dienen als kompakte Feature-Vektoren, die Datenübertragungsengpässe und Rechenkosten reduzieren.

Das zentrale Problem liegt jedoch in der geometrischen Diskrepanz:

• Benutzerdefinierte Gebiete von Interesse (Areas of Interest, AOIs) stimmen oft nicht mit dem festen Raster der vorab berechneten Embeddings überein.
• Um diese Gebiete anzupassen, müssten normalerweise teure Encoder-Inferenzläufe wiederholt werden.
• Der naive Ansatz, Embeddings durch lineare Interpolation (z. B. bilineare Interpolation) im latenten Raum zu transformieren, versagt. Da die Embedding-Mannigfaltigkeit hochgradig nicht-konvex ist, führen solche Interpolationen zu Vektoren, die keinen realistischen Eingabedaten entsprechen und keine sinnvollen geometrischen Transformationen abbilden.

2. Methodik: LEPA (Learned Equivariance-Predicting Architecture)

Die Autoren schlagen LEPA vor, eine Architektur, die auf dem Joint-Embedding Predictive Architecture (JEPA)-Paradigma basiert, um geometrische Äquivarianz zu lernen, ohne den Encoder neu durchlaufen zu müssen.

• Grundprinzip: Anstatt Embeddings zu mitteln, trainiert LEPA einen Prädiktor, der auf geometrische Augmentierungen (Rotation, Skalierung, Translation) konditioniert ist, um das transformierte Embedding direkt vorherzusagen.
• Architektur:
  • Encoder: Ein ViT-basierter Encoder (basierend auf I-JEPA) erzeugt Patch-Embeddings.
  • Prädiktor: Ein Modell, das die fehlenden oder transformierten Embeddings vorhersagt. Es erhält als Input die Patch-Embeddings des Kontexts sowie Parameter der geometrischen Transformation (z. B. Rotationswinkel, Skalierungsfaktor).
  • Training: Das Modell wird im Rahmen eines „World Model"-Ansatzes trainiert. Ein „Teacher"-Encoder verarbeitet das transformierte Bild (Ziel), während der „Student"-Encoder das ursprüngliche Bild verarbeitet. Der Prädiktor lernt, die Embeddings des Student-Encoders so zu transformieren, dass sie den Embeddings des Teacher-Encoders entsprechen.
• Besonderheiten:
  • Es werden konditionierte Positionscodierungen verwendet, die den Bildmittelpunkt als Referenz nutzen, um die Verschiebung von Patches unter Transformationen besser abzubilden.
  • Im Gegensatz zu herkömmlichem I-JEPA, das oft nur fehlende Blöcke (Inpainting) vorhersagt, sagt LEPA das gesamte Zielbild (oder die gesamte Transformation) voraus, um die geometrische Konsistenz zu erzwingen.

3. Schlüsselbeiträge

1. Nachweis des Scheiterns linearer Methoden: Die Autoren zeigen experimentell, dass traditionelle Interpolations- und Downsampling-Methoden bei Patch-Embeddings versagen, da sie die nicht-konvexe Struktur des Embedding-Raums ignorieren.
2. Effiziente Anpassung ohne Re-Inferenz: LEPA ermöglicht die geometrische Ausrichtung von Embeddings an Benutzerdaten durch einen zusätzlichen Prädiktor, wodurch teure Inferenzläufe großer Foundation-Modelle vermieden werden.
3. Leistungsstarke I-JEPA-Modelle: Es wurden I-JEPA-Modelle auf ImageNet-1k und HLS-Daten (Harmonized Landsat-Sentinel) trainiert, die auf dem PANGAEA-Benchmark wettbewerbsfähige Ergebnisse erzielen.
4. Einführung von LEPA: Eine neue Architektur, die geometrische Äquivarianz durch konditioniertes Vorhersagen erreicht und die Mean Reciprocal Rank (MRR) drastisch verbessert.

4. Ergebnisse

Die Evaluation erfolgte auf dem PANGAEA-Benchmark (für semantische Segmentierung) und mittels Mean Reciprocal Rank (MRR) zur Messung der geometrischen Äquivarianz.

• Äquivarianz (MRR):
  • Standard-Interpolation (nahe Nachbarn oder bilinear) erreicht einen MRR von unter 0,2.
  • LEPA steigert den MRR auf über 0,8 (nach Feinabstimmung des Prädiktors).
  • Dies beweist, dass LEPA die Embeddings korrekt transformiert, sodass sie den tatsächlichen transformierten Eingabebildern entsprechen.
• Repräsentationsqualität:
  • Die I-JEPA-Modelle, die auf ImageNet oder HLS trainiert wurden, erzielen auf PANGAEA konkurrenzfähige Ergebnisse im Vergleich zu etablierten Modellen wie Prithvi-EO-2.0, TerraMind und RemoteCLIP.
  • Modelle, die auf ImageNet trainiert wurden, schneiden bei spezifischen Aufgaben (z. B. Ölverschmutzung) überraschend gut ab, obwohl sie außerhalb der Verteilung der Erdbeobachtungsdaten liegen.
• Einfluss der CLS-Token:
  • Bei ImageNet-Modellen reduziert ein CLS-Token (Classification Token) Rauschen im Hintergrund und verbessert die Interpolationsäquivarianz.
  • Bei HLS-Modellen (offene Landschaften ohne zentrales Subjekt) ist der Effekt weniger konsistent; ein CLS-Token kann die Äquivarianz bei LEPA sogar verschlechtern, da sich globale Informationen nicht gut in einem einzigen Token konzentrieren lassen.

5. Bedeutung und Ausblick

Die Arbeit adressiert ein kritisches Hindernis für den praktischen Einsatz von Foundation-Modellen in der Erdbeobachtung: die Unfähigkeit, vorab berechnete Embeddings flexibel geometrisch anzupassen.

• Praktische Relevanz: LEPA ermöglicht es, große Mengen an vorverarbeiteten Daten effizient für beliebige, benutzerdefinierte Regionen zu nutzen, ohne die teuren Encoder neu ausführen zu müssen.
• Forschungsbeitrag: Die Studie zeigt, dass geometrische Äquivarianz im latenten Raum nicht durch lineare Operationen, sondern durch gelernte Prädiktionsmodelle erreicht werden muss.
• Zukünftige Richtungen: Die Autoren schlagen vor, die Konditionierung des Prädiktors weiter zu verbessern (z. B. durch relative Positionscodierungen wie ALiBi oder RoPE) und zu untersuchen, ob die Anzahl der Klassen in den Trainingsdaten das beobachtete Rauschen beeinflusst.

Zusammenfassend stellt LEPA einen Paradigmenwechsel dar: Statt zu versuchen, die Geometrie im latenten Raum durch Interpolation zu erzwingen, lernt das Modell, wie es die Transformationen vorhersagt, was zu einer signifikanten Steigerung der Genauigkeit und Zuverlässigkeit führt.