TimeSenCLIP: A Time Series Vision-Language Model for Remote Sensing

Probleemstelling

Bestaande Vision-Language Models (VLMs) voor aardobservatie, zoals GeoRSCLIP en SenCLIP, kampen met enkele fundamentele beperkingen:

1. Afhankelijkheid van tekstsupervisie: Veel modellen vereisen uitgebreide, handmatig gecurateerde datasets met beeld-tekstparen (captions). Deze zijn kostbaar om te produceren, vertonen vaak een woordenschatbias en dekken niet de fijne ecologische nuances die nodig zijn voor habitat- of landschapsmapping.
2. Focus op ruimtelijke context: Traditionele VLMs zijn vaak afgeleid van modellen voor zeer hoge resolutie en gebruiken grote ruimtelijke patches (bijv. 224x224 of 512x512 pixels). Voor medium-resolutie data (zoals Sentinel-2) kan een grote ruimtelijke context onbetrouwbaar zijn in gefragmenteerde landschappen of door wolkenvervuiling, en negeert dit vaak de cruciale spectrale en temporele dynamiek.
3. Onderschatting van temporele en spectrale signalen: Veel modellen behandelen satellietbeelden als statische RGB-afbeeldingen, waardoor de unieke informatie in multispectrale tijdsreeksen (seizoensgebonden veranderingen, fenologie) onbenut blijft.

Het paper stelt de vraag of een enkel pixel van een Sentinel-2 tijdsreeks, puur gebaseerd op zijn spectrale-temporele signatuur, voldoende semantische informatie bevat voor nauwkeurige classificatie, zonder de noodzaak van grote ruimtelijke context of tekstuele annotaties.

Methodologie: TimeSenCLIP

TimeSenCLIP is een lichtgewicht Vision-Language Model dat een cross-view learning paradigma toepast. In plaats van tekstlabels te gebruiken, aligneert het model satellietobservaties met geotagged grondniveau-afbeeldingen.

Architectuur en Training:

• Ground-Level Encoder: Een bevroren CLIP-beeldencoder (ViT-B/32) verwerkt geotagged grondniveau-afbeeldingen (uit de LUCAS-dataset). Deze fungeren als semantische ankers die rijke, tekst-gealigneerde representaties bieden zonder dat er expliciete tekstlabels nodig zijn voor de training.
• Satelliet Encoder: Een trainbare, transformer-gebaseerde encoder verwerkt de Sentinel-2 tijdsreeksen. Het model neemt als input een spectrale-temporele kubus (T tijdstappen × C spectrale banden × H × W ruimtelijke dimensies).
  • Voor de hoofdvariant wordt een enkel pixel (1x1) tijdsreeks gebruikt.
  • De encoder gebruikt een CLS-token en learnable positiële embeddings om de volledige spectrale-temporele trajecten te modelleren.
• Contrastief Leren: Het model wordt getraind met een InfoNCE-verliesfunctie. Het doel is om de embedding van een satelliet-tijdsreeks dicht bij de embedding van de bijbehorende grondniveau-afbeelding (positief paar) te brengen, en weg van embeddings van andere locaties (negatieve paren, opgeslagen in een MoCo-stijl memory queue).
• Data-Augmentatie: Om robuustheid tegen wolken en onregelmatige metingen te garanderen, worden tijdens het training stochastische temporele augmentaties toegepast, zoals willekeurige kwartaal-maskering en median pooling.

Inference:
Tijdens inferentie wordt alleen de getrainde satelliet-encoder gebruikt. Deze kan worden vergeleken met tekstuele prompts (via de CLIP tekstencoder) voor zero-shot classificatie, of met grondniveau-embeddings voor cross-modale retrieval.

Belangrijkste Bijdragen

1. Nieuw Paradigma: Introductie van TimeSenCLIP, een cross-view leerbenadering die satellietobservaties aligneert met grondniveau-semantiek, waardoor de afhankelijkheid van kostbare caption-datasets wordt verwijderd.
2. Focus op Temporeel-Spectrale Dynamiek: Het paper demonstreert dat temporele en spectrale signalen (zelfs van één pixel) cruciaal zijn voor fijnmazig ecologisch begrip en vaak belangrijker zijn dan grote ruimtelijke context.
3. Uitgebreide Evaluatie: Een grondige evaluatie over diverse taken: Land Use/Land Cover (LULC), habitatmapping, bioregion mapping, gewasclassificatie en zelfs subjectieve "scenicness" (landschappelijke schoonheid) voorspelling.
4. Efficiëntie: Het model is extreem lichtgewicht en computerefficiënt, wat schaalbaarheid voor grote datasets mogelijk maakt.

Resultaten

TimeSenCLIP presteert consistent beter dan bestaande CLIP-gebaseerde modellen (zoals GeoRSCLIP, SenCLIP, SkyCLIP) op alle geteste taken.

• Zero-shot Classificatie:
  • De variant TimeSenCLIP-P1-MS (enkel pixel, multispectraal, 12 tijdstappen) behaalde de beste resultaten in het algemeen.
  • Opmerkelijk is dat de enkel-pixel RGB-variant (P1-RGB) al beter presteerde dan bestaande modellen die werken met grote ruimtelijke patches, wat aantoont dat temporele modellering op zichzelf al discriminatief vermogen heeft.
  • Voor gewassen (Crops) en bioregio's (Bioregions) was de prestatieverbetering het grootst, aangezien deze sterk afhankelijk zijn van seizoensgebonden patronen.
• Cross-Modale Retrieval:
  • Het model toonde een sterke en gebalanceerde prestatie in zowel Satellite-to-Ground (S2G) als Ground-to-Satellite (G2S) retrieval.
  • Het slaagde erin om abstracte beschrijvingen (bijv. "traditionele olijvenlandschappen") te koppelen aan de juiste satellietbeelden.
• Scenicness Predictie:
  • Het model kon succesvol worden toegepast op regressietaken (voorspellen van landschappelijke schoonheid), waarbij temporele diepte (maandelijkse data) essentieel bleek voor nauwkeurige perceptie.
• Ablatie Studies:
  • Ruimtelijke Context: Enkel-pixel input was vaak concurrerend met of zelfs beter dan grotere patches (64x64), vooral bij temporeel rijke taken.
  • Architectuur: De transformer-architectuur presteerde beter dan traditionele tijdsreeksmodellen (zoals TempCNN of MLP) voor zero-shot generalisatie.
  • Computatie: TimeSenCLIP reduceerde de FLOPs met 97-98% en het aantal parameters met 94% ten opzichte van standaard CLIP, terwijl de doorvoer (throughput) meer dan 33x hoger was.

Betekenis en Impact

TimeSenCLIP biedt een nieuwe richting voor aardobservatie door te bewijzen dat temporele en spectrale dynamiek de beperkingen van beperkte ruimtelijke context kunnen compenseren.

• Schalbaarheid: Door te werken met enkel-pixel data en zonder tekstsupervisie, wordt het mogelijk om modellen te trainen op enorme datasets van geotagged foto's en satellietbeelden, wat ideaal is voor grootschalig monitoring.
• Ecologisch Inzicht: Het model kan ecologische systemen beter begrijpen door te focussen op fenologische patronen (groeicyclus) in plaats van alleen statische ruimtelijke patronen.
• Toekomstperspectief: Hoewel het model momenteel beperkt is tot Sentinel-2 en Europese data, opent het de deur voor schaalbare, data-gedreven ecosystemmodellen die minder afhankelijk zijn van dure annotaties en beter kunnen omgaan met de complexiteit van het aardoppervlak.

Kortom, TimeSenCLIP bewijst dat een "kleine" input (één pixel over tijd) in combinatie met slimme cross-view learning, kan leiden tot superieure prestaties ten opzichte van traditionele "grote" ruimtelijke benaderingen in de remote sensing.