Technische Samenvatting: Het uitzicht vanuit de ruimte: Navigeren door verschillen in instrumentatie met EOFM's

Probleemstelling

Earth Observation Foundation Models (EOFMs) zijn veelgebruikte instrumenten geworden voor het verwerken van enorme volumes aan remote sensing-data, waarbij vaak gebruik wordt gemaakt van vooraf getrainde outputs als embeddings voor taken zoals gelijkeniszoekopdrachten (similarity search) en inhoudspecifieke queries. Er bestaat echter een kritische kloof in het begrip van hoe diverse sensorarchitecturen de interne representaties van deze modellen beïnvloeden.

Hoewel traditionele computer vision opereert in een relatief uniforme ruimte (consistente RGB-banden en standaard kwantisatie), zijn gegevens uit aardobservatie zeer niet-uniform. Sensoren bezitten diverse architecturen, observatiecondities en complexe verwerkingsstacks (radiometrische/geometrische kalibratie, atmosferische correctie, bewolkingmaskering). Bestaand werk traint modellen vaak op enkelvoudige modaliteiten en benchmarkt deze door simpelweg spectrale banden over verschillende sensoren heen te matchen (bijvoorbeeld door ervan uit te gaan dat een model getraind op Landsat-8 naadloos moet generaliseren naar Harmonized Landsat and Sentinel (HLS) of Sentinel-2). Het blijft onduidelijk of kleine verschillen in instrumentmetingen en sensorarchitecturen resulteren in significante varianties in de embedding-ruimtes van EOFM's, wat het nut voor downstream-taken zoals few-shot learning of gelijkeniszoekopdrachten potentieel ondermijnt.

Methodologie

Om de gevoeligheid van de representatieruimte van EOFM's voor sensorarchitectuur te evalueren, construeerden de auteurs een nieuwe dataset en gebruikten zij een unsupervised analyse-aanpak met bevroren modelgewichten.

Constructie van de dataset:

• Locatie: 600 willekeurig gesamplede punten in Indiana, VS.
• Resolutie: 30 meter ruimtelijke resolutie, 224x224 pixel 2-maanden mosaic composieten.
• Modaliteiten: Vier optische datasets (HLS, Landsat-8, Landsat-9, Sentinel-2) en één SAR-dataset (Sentinel-1, VV/VH-polarisaties).
• Preprocessing: Optische data werd gemaskeerd voor >20% bewolkingsoverdekking met behulp van QA-pixels. De USDA Crop Data Layer werd uitgelijnd als semantische referentie.

Geëvalueerde modellen:

• Prithvi: Een model dat uitsluitend is voorgetraind op HLS-data met een vaste zes-banden input. Het vertegenwoordigt het archetype van modellen die vereisen dat spectrale banden worden gematcht op basis van golflengte en extra banden worden verwijderd.
• DOFA: Een model dat gebruikmaakt van een dynamische netwerkembedding-laag die convolutiegewichten genereert op basis van de centrale golflengten van de inputs. Het is getraind op diverse modaliteiten (van luchtfoto RGB tot satelliet) en kan elke bandconfiguratie accepteren, waarbij inputs uitsluitend worden gekarakteriseerd door de centrale golflengte.

Evaluatietechnieken:

1. Visualisatie van de Embedding Ruimte: Gebruik van t-SNE om de 768-dimensionale latente ruimte te reduceren naar 2D, waarbij geclusterd werd op basis van de bronmodaliteit. Het doel was om te bepalen of data clustert op basis van sensortype in plaats van semantische kenmerken (bijv. landbedekking).
2. Lokale Nabijheidsanalyse (Local Neighborhood Analysis):
   • CLS Tokens: Het overlappercentage van de dichtstbijzijnde buren (5, 10, 20) tussen modaliteiten gemeten om de globale beeldgelijkenis te beoordelen.
   • Patch Embeddings: Vergelijking van de 10 dichtstbijzijnde buren van beeldpatches met behulp van cosinus-gelijkenis. Semantische gelijkenis werd geproxieerd door het percentage buren dat dezelfde USDA Crop Data Layer-klasse deelt.
   • Modaliteitsclassificatie: Eenvoudige classifiers (Random Forest en 5-NN) getraind om de inputmodaliteit van een patch embedding te voorspellen, om te testen hoe gemakkelijk de embedding-ruimte kan worden gepartitioneerd door de sensorbron.

Belangrijkste Resultaten

De studie toont aan dat de representatieruimtes van EOFM's zeer gevoelig zijn voor de sensorarchitectuur, wat leidt tot significante distributieverschuivingen, zelfs wanneer spectrale banden nominaal overeenkomen.

• Visuele Clustering: t-SNE plots (Figuren 1 & 2) onthulden duidelijke, onderscheidende clusters gebaseerd op de bronmodaliteit voor zowel Prithvi als DOFA. Dit geeft aan dat de data in de hoog-dimensionale ruimte hoofdzakelijk verdeeld is volgens de sensorbron in plaats van de semantische inhoud. Hoewel DOFA een iets grotere veerkracht vertoonde tegen modaliteitsveranderingen vergeleken met Prithvi, bleven er in de meeste paargewijze gevallen duidelijke scheidingen bestaan.
• Lage Nabijheidsoverlap: In de lokale nabijheidsanalyse van CLS-tokens lag het gemiddelde percentage overeenkomstige buren tussen verschillende modaliteiten zelden boven de 30%. Zo was bijvoorbeeld tussen Landsat-8 en Sentinel-2 slechts ~18-20% van de buren een match. Dit suggereert dat in contexten van gelijkeniszoekopdrachten de inputmodaliteit de primaire determinant wordt van "gelijkaardige" kandidaten, wat semantische gelijkenis potentieel overschaduwt.
• Semantische Drift: Bij de analyse van patch embeddings varieerde het percentage buren dat dezelfde gewasklasse deelt met wel 4% afhankelijk van de modaliteit. Dit bevestigt dat wijzigingen in de modaliteit niet alleen de buurtstructuur veranderen, maar ook de semantische gelijkenis van lokale beeldpatches.
• Hoge Voorspelbaarheid van Modaliteit: Eenvoudige classifiers konden de bronmodaliteit van een patch embedding met een hoge nauwkeurigheid voorspellen (90,7% voor Prithvi en 88,7% voor DOFA) met behulp van een Random Forest. Dit impliceert dat de embedding-ruimtes gemakkelijk te partitioneren zijn op basis van de sensorbron, wat het moeilijk maakt om modaliteits-invariante representaties te bereiken.

Betekenis en Claims

Het artikel stelt dat het huidige ontwerp en gebruik van EOFM's significante valkuilen kennen door een gebrek aan overweging voor de diversiteit in sensorarchitectuur.

• Beperkingen van Huidige Praktijken: De auteurs betogen dat het simpelweg matchen van spectrale banden op golflengte en trainen op enkelvoudige modaliteiten onvoldoende is. Deze benaderingen houden geen rekening met de subtielere onderliggende distributieverschuivingen veroorzaakt door verschillende sensortechnologieën en verwerkingsstacks.
• Implicaties voor Gebruikers: Gebruikers van EOFM's moeten hun gegevensverzameling zorgvuldig afstemmen op de pretraining-data van het gekozen model. Het vertrouwen op embeddings van een model dat getraind is op één sensor voor data van een andere sensor zonder rigoureuze validatie, brengt het risico op significante prestatievermindering met zich mee in downstream-taken.
• Toekomstige Richtingen: De bevindingen motiveren de ontwikkeling van modellen die expliciet rekening houden met diverse sensormodaliteiten en de complexiteit van spectrale captatietechnologie. De auteurs pleiten voor de creatie van hoogst multimodale, multi-input stream datasets (zoals de dataset die in deze studie is geconstrueerd) om de cross-modaliteitscapaciteiten van nieuwe modellen rigoureus te testen.

Het artikel concludeert dat het begrijpen van deze instrumentatieverschillen essentieel is voor de gemeenschap om vooruit te komen naar robuuste remote-sensing wetenschap, waarbij wordt gewaarborgd dat EOFM's een betrouwbare impact leveren over het diverse landschap van aardobservatiegegevens.