LEPA: Learning Geometric Equivariance in Satellite Remote Sensing Data with a Predictive Architecture

Het paper introduceert LEPA, een architectuur die de onbetrouwbare latent-space interpolatie vervangt door het direct voorspellen van getransformeerde embeddings op basis van geometrische augmentaties, waardoor de nauwkeurigheid van geometrische aanpassingen in satellietremote sensing-data aanzienlijk wordt verbeterd.

De kern

Stel je voor dat je een enorme bibliotheek hebt met foto's van de aarde, gemaakt door satellieten. Deze foto's zijn zo groot en talrijk dat het onmogelijk is om ze allemaal direct op je computer te laden. Daarom hebben wetenschappers "samenvattingen" gemaakt: kleine, slimme vectoren (een soort digitale vingerafdrukken) die de essentie van elke foto bevatten. Dit noemen ze embeddings.

Het probleem? Deze samenvattingen zijn vastgelegd in een rooster, net als de vakjes op een schaakbord.

Het Probleem: De Vaste Schaal

Stel je voor dat je die schaakborden hebt, maar jij wilt alleen kijken naar een specifiek vakje dat net tussen twee bestaande vakjes in ligt, of je wilt de hele kaart iets draaien.

• De oude manier (Interpolatie): Je probeert de twee naastliggende vakjes te middelen om het nieuwe vakje te maken. In de echte wereld werkt dit prima. Maar in deze digitale "samenvattingen" is het heel anders. De ruimte waarin deze samenvattingen leven, is niet rond en glad, maar vol met gaten en pieken (ze noemen het een niet-convex manifold). Als je twee punten middelt, krijg je vaak een resultaat dat in de echte wereld niet bestaat. Het is alsof je probeert de smaak van een appel en een steen te mengen om een nieuwe vrucht te krijgen; het resultaat is onsmakelijk en onzin.
• De consequentie: Als je de satellietbeelden wilt aanpassen aan jouw specifieke vraag (bijvoorbeeld: "Laat me alleen die ene boerderij zien" of "Draai de kaart"), moet je de hele dure computer opnieuw laten rekenen om de foto's te vertalen. Dat kost tijd en geld.

De Oplossing: LEPA (De Slimme Voorspeller)

De auteurs van dit paper, Erik en zijn team, hebben een nieuwe manier bedacht die ze LEPA noemen.

In plaats van te proberen de vakjes te middelen, bouwen ze een slimme voorspeller (een predictor) die de regels van de ruimte begrijpt.

De Analogie: De Kunstenaar en de Drukpers

• De oude methode is alsof je twee foto's in een kopieermachine stopt en hoopt dat de machine een perfecte derde foto maakt door de inkt te mengen. Dat werkt niet goed.
• LEPA is alsof je een kunstenaar hebt die de originele foto's al kent. Je zegt tegen de kunstenaar: "Ik heb deze foto, maar ik wil hem 15 graden gedraaid zien." De kunstenaar (de voorspeller) hoeft de originele foto niet opnieuw te scannen of te tekenen. Hij weet al hoe de "digitale vingerafdruk" eruitziet als je hem draait, en hij tekent direct de nieuwe, juiste vingerafdruk.

Hoe werkt het precies?

1. Leren van de regels: Ze trainen een model (op basis van een bestaande architectuur genaamd I-JEPA) om niet alleen de beelden te begrijpen, maar ook om te voorspellen wat er gebeurt met die samenvattingen als je ze roteert, schalen of verplaatst.
2. Geen herberekening: Zodra het model dit heeft geleerd, kun je de "digitale vingerafdruk" van een satellietbeeld direct aanpassen aan jouw wensen, zonder de zware computer opnieuw te hoeven gebruiken.
3. Resultaat: Ze hebben getest of dit werkt. De oude manier (middelen) gaf een zeer slechte score (minder dan 0.2). Met LEPA springt de score omhoog naar boven de 0.8. Dat betekent dat de voorspelling bijna perfect is.

Waarom is dit belangrijk?

Voor mensen die met satellietbeelden werken (bijvoorbeeld voor het monitoren van overstromingen, landbouw of milieuschade) is dit een game-changer.

• Snelheid: Je hoeft niet te wachten op zware berekeningen.
• Kosten: Je bespaart enorme hoeveelheden rekenkracht.
• Flexibiliteit: Je kunt de data direct aanpassen aan jouw specifieke interessegebied, zelfs als dat niet perfect past op het vaste rooster van de satelliet.

Kortom: LEPA is een slimme "tussenpersoon" die de taal van de satellietdata spreekt. In plaats van de hele taal opnieuw te leren (de foto's opnieuw te scannen), vertaalt hij direct wat er gebeurt als je de kaart draait of inzoomt, zodat je direct het juiste antwoord krijgt.

Technische samenvatting

Probleemstelling

Geospatiale fundamentele modellen (foundation models) worden steeds vaker gebruikt om vooraf berekende inbeddingen (embeddings) te genereren voor aardobservatie-data. Deze embeddings fungeren als compacte feature-vectors die de data-overdracht en rekenkosten verminderen. Echter, er ontstaat een fundamenteel probleem bij het gebruik van deze embeddings:

• Geometrische mismatches: Gebruikersdefiniëerde gebieden van belang (Areas of Interest) komen vaak niet exact overeen met het vaste raster van de vooraf berekende embeddings.
• Onbetrouwbaarheid van interpolatie: Standaard methoden om embeddings aan te passen (zoals lineaire interpolatie of bilineaire downsampling in de latent space) falen. De manifold van de embeddings is sterk niet-convex. Het lineair combineren van vectoriële representaties levert vaak irreële representaties op die niet corresponderen met realistische inputs.
• Inefficiëntie: Het herhaaldelijk uitvoeren van de dure encoder-inferentie om de embeddings exact af te stemmen op de gebruikersdata is computatief zwaar en onpraktisch.

Methodologie: LEPA

De auteurs stellen LEPA (Learned Equivariance-Predicting Architecture) voor als oplossing. In plaats van embeddings te interpoleren, leert LEPA om geometrische transformaties direct in de embedding-ruimte te voorspellen.

1. Architectuur: LEPA is gebaseerd op I-JEPA (Image Joint-Embedding Predictive Architecture). Het bestaat uit een student-encoder, een teacher-encoder (een EMA van de student) en een predictor.
2. Trainingsdoel: Het model wordt getraind om de embeddings van een getransformeerd beeld (bijv. geroteerd, geschaald of verschoven) te voorspellen, gebaseerd op de context van het originele beeld en de parameters van de transformatie.
   • De predictor ontvangt de patch-embeddings van het originele beeld (context) en de transformatieparameters (bijv. rotatiehoek, schaal).
   • Het doel is om de embeddings van het getransformeerde beeld te genereren zonder het beeld opnieuw door de encoder te voeren.
3. Geometrische Equivariantie: Het model streeft naar equivariantie: als $T$ een transformatie is in de beeldruimte en $E$ de encoder, dan moet gelden dat $t(E(x)) \approx E(T(x))$, waarbij $t$ de voorspelde transformatie in de embedding-ruimte is.
4. Verbeteringen:
   • In plaats van alleen ontbrekende blokken in te vullen (zoals bij standaard I-JEPA), voorspelt LEPA het volledige getransformeerde beeld.
   • Er worden nieuwe geconditioneerde positionele encodingen getest om de verandering in positie van patches onder transformatie beter te modelleren.
   • Het model wordt getraind op zowel ImageNet-1k als HLS (Harmonized Landsat-Sentinel) data.

Belangrijkste Bijdragen

1. Validatie van het probleem: De auteurs bewijzen empirisch dat traditionele interpolatie- en downsampling-methoden falen bij patch-embeddings, wat leidt tot informatieverlies en irreële reconstructies.
2. Efficiënte uitlijning: LEPA biedt een methode om embeddings direct aan te passen aan gebruikersdata zonder herhaalde inferentie-passes van grote fundamentele modellen.
3. Nieuw model: Introductie van een I-JEPA-variant getraind op aardobservatie- en ImageNet-data, met prestaties die concurreren met bestaande state-of-the-art modellen (zoals Prithvi-EO-2.0, TerraMind, RemoteCLIP).
4. Architecturale inzichten: Analyse van de impact van CLS-tokens en positionele encodingen op de kwaliteit en equivariantie van embeddings in verschillende domeinen (ImageNet vs. HLS).

Resultaten

De prestaties worden gemeten met de Mean Reciprocal Rank (MRR), een metriek die aangeeft hoe goed het model de juiste getransformeerde embedding kan identificeren tussen een reeks augmentaties.

• Interpolatie vs. LEPA: Standaard interpolatie op patch-embeddings resulteert in een zeer lage MRR (< 0,2). LEPA verhoogt deze score aanzienlijk tot > 0,8.
• Finetuning: Door de predictor specifiek te finetunen om alleen transformaties te voorspellen (zonder inpainting), stijgt de MRR verder naar bijna 0,8.
• Kwaliteit van Embeddings: De LEPA-modellen presteren concurrerend op de PANGAEA-benchmark voor semantische segmentatie, vergeleken met geavanceerde modellen zoals TerraMind en Prithvi-EO-2.0.
• Dataset-invloed: Modellen getraind op ImageNet presteren goed op specifieke taken (zoals het detecteren van olielakken en afval), terwijl HLS-getrainde modellen beter presteren op diverse landschappen.
• CLS-token: Voor ImageNet-modellen verbetert een CLS-token de equivariantie, maar voor HLS-modellen (die geen centraal onderwerp hebben) heeft dit een minder duidelijk effect of zelfs een negatief effect op de MRR.

Betekenis en Conclusie

Dit paper adresseert een kritieke beperking in het gebruik van fundamentele modellen voor aardobservatie: de rigiditeit van vooraf berekende embeddings.

• Praktische impact: LEPA maakt het mogelijk om embeddings dynamisch aan te passen aan willekeurige geometrische verzoeken van gebruikers, wat de noodzaak om teruggrijpen naar de originele ruwe data of dure encoder-inferentie elimineert.
• Wetenschappelijke bijdrage: Het paper toont aan dat het leren van een "wereldmodel" (world model) voor geometrische transformaties in de latent space superieur is aan lineaire interpolatie. Dit opent de deur voor efficiëntere, schaalbare en flexibele systemen voor remote sensing-toepassingen.
• Toekomstperspectief: De auteurs suggereren dat verdere verbeteringen mogelijk zijn door betere conditionering (bijv. relatieve positionele encodingen zoals RoPE of ALiBi) en het testen van kleinere predictors om de inferentiekosten verder te verlagen.