GNSS-FM: A Self-Supervised Foundation Model for Daily GNSS Displacement Time Series

Technische Samenvatting van GNSS-FM: Een Zelfgesuperviseerd Foundation Model voor Dagelijkse GNSS-verplaatsings-tijdreeksen

Probleemstelling
Global Navigation Satellite System (GNSS)-netwerken leveren continue, hoogprecisie metingen van de aardoppervlakte-verplaatsing, wat essentieel is voor het monitoren van tektonische deformaties en aardbevingcycli. Hoewel datasets nu tienduizenden stations beslaan die decennia beslaan, zijn de meeste bestaande machine learning-benaderingen voor GNSS-tijdreeksen volledig gesuperviseerd en taakspecifiek (bijv. detectie van discontinuïteiten of forecasting). Dit creëert een bottleneck omdat gelabelde data voor geofysisch relevante taken (zoals slow slip events of specifieke seismische stappen) schaars, incompleet of afhankelijk zijn van externe catalogi zijn. Daartegenover staat dat enorme hoeveelheden ongelabelde GNSS-data vrij beschikbaar zijn. De uitdaging ligt in het aanpassen van zelfgesuperviseerd leren — succesvol in spraak en visie — aan GNSS-data, die niet-stationair zijn over meerjarige vensters, waarbij langzame tektonische drift wordt gecombineerd met abrupte seismische stappen en seizoensgebonden belasting, en die gemeenschappelijke datagaten en meetruis bevatten.

Methodologie
De auteurs presenteren GNSS-FM, een zelfgesuperviseerd foundation model aangepast van het wav2vec 2.0-framework en de SeisLM-architectuur, specifiek herontworpen voor dagelijkse geodetische tijdreeksen.

• Data en Preprocessing: Het model wordt voorgetraind op dagelijkse verplaatsingstijdreeksen (Oost, Noord, Omhoog componenten) van 17.652 wereldwijd verspreide stations geleverd door het Nevada Geodetic Laboratory. Preprocessing omvat het verwijderen van uitschieters, het maskeren van apparatuur-gerelateerde offsets en het opvullen van gaten met behulp van lineaire interpolatie (korte gaten) of bootstrap-gebaseerde synthese (lange gaten). Elke dag krijgt een betrouwbaarheidslabel (observatie, interpolatie, synthese of padding) om de trainingsverlies te wegen en het model te conditioneren.
• Dual-Stream Input: Het model verwerkt twee parallelle stromen:
  1. Verplaatsingsstroom (Displacement Stream): Behoudt absolute verplaatsingsniveaus en langetermijncontext (tektonische drift, seizoenspatronen).
  2. Snelheidsstroom (Velocity Stream): Afgeleid van eerste-orde verschillen van verplaatsing, wat lokale dynamiek benadrukt en niet-stationariteit vermindert.
     Beide stromen worden genormaliseerd en getransformeerd via inverse hyperbolische sinus om grote waarden te comprimeren.
• Architectuur:
  • Encoders: Afzonderlijke strided 1D-convolutionele encoders verwerken de twee stromen en downsamplen de 512-daagse inputvensters naar 120 feature-stappen.
  • Transformer: Een dual-stream transformer encoder (12 lagen, 768 verborgen dimensie) verwerkt de features. Deze bevat bidirectionele cross-attention blokken om informatie-uitwisseling tussen de stromen mogelijk te maken.
  • Conditionering: Station-metadata (breedtegraad, lengtegraad, hoogte) en betrouwbaarheidslabels worden in de transformer-lagen geïnjecteerd via FiLM (Feature-wise Linear Modulation) om de representaties te moduleren.
  • Vector Quantization: Targets worden gegenereerd door convolutionele features te discretiseren met een vector-quantizer met 4 groepen van 320 codevectoren. De snelheidsstroom voedt de eerste twee groepen, en de verplaatsingsstroom de laatste twee.
• Pretraining Doelstelling: Het model maakt gebruik van een gemaskeerde latente voorspellingsdoelstelling. Continue sub-vensters van features worden gemaskeerd, en het model voorspelt de vector-gekwantiseerde targets voor deze posities met behulp van een InfoNCE contrastieve loss. Het trainingscurriculum verhoogt geleidelijk de maskeringwaarschijnlijkheid en de spanlengte. Aanvullende regularisatietermen voorkomen codebook-instorting en stimuleren divers gebruik.
• Downstream Adaptatie: Na de pretraining wordt de encoder gefinetuned voor twee taken:
  1. 90-daagse Verplaatsingsvoorspelling (Forecasting): Gebruikt een cross-attention decoder om toekomstige trajecten te voorspellen, met een tweede fase die Patch-TST-stijl residuele takken toevoegt voor onzekerheidsschatting.
  2. Lokalisatie van Seismische Stappen (Seismic Step Localization): Gebruikt een temporele DETR (Detection Transformer) head om event-waarschijnlijkheden te voorspellen en de datum van de stap binnen het venster te lokaliseren.

Kernbijdragen

1. Dual-Stream Representatie: Een nieuw inputformaat dat verplaatsing (voor langetermijncontext) en snelheid-achtige incrementen (voor lokale dynamiek) combineert, wat de trade-off aanpakt tussen het leren van lokale veranderingen en het behouden van deformatiecontext.
2. Aangepast Pretraining Framework: Een framework voor gemaskeerde latente voorspelling met betrouwbaarheidsbewuste masking en loss-weging, station-metadata conditionering, en een groepsvormige sferische quantizer die bestand is tegen instorting en afgestemd is op niet-stationaire geodetische data.
3. Prestaties van het Foundation Model: Demonstratie dat een enkel voorgetraind backbone effectief kan worden gefinetuned voor verschillende downstream-taken (forecasting en event lokalisatie), waarbij het sterke taakspecifieke supervised baselines overtreft.

Resultaten

• Pretraining Analyse: Validatieprobes tonen een gestage verbetering in reconstructiekwaliteit, waarbij de cosine similarity tussen voorspelde en target representaties toeneemt van ~0.85 naar ~0.90. Codebook-analyse onthult dat geleerde representaties specialiseren in verschillende signaaltypen, waaronder seismische offsets, tektonische drift en seizoenspatronen. Ablatie-studies bevestigen dat de dual-stream aanpak superieur is aan single-stream modellen, waarbij de snelheidsstroom cruciaal is voor extrapolatie.
• Verplaatsingsvoorspelling: Op de testset bereikte GNSS-FM Stage 1 een RMSE van 6.78 mm, wat de supervised Patch-TST baseline (58.77 mm) en de Calibrated Base Forecast (77.05 mm) aanzienlijk overtreft. Hoewel de MAE iets hoger was voor het foundation model, duidt de lagere RMSE op een superieur beheer van zeldzame, grote fouten veroorzaakt door seismische gebeurtenissen. Het model vertoonde ook een betere stabiliteit in generalisatie tussen validatie- en testsplits vergeleken met supervised baselines.
• Lokalisatie van Seismische Stappen: Het GNSS-FM model behaalde een end-to-end lokalisatie F1-score van 0.429, een substantiële verbetering ten opzichte van de hybride baseline (0.035). Het primaire voordeel van het model ligt in de nauwkeurige datumlokalisatie in plaats van alleen window-level event detectie. De conditionele lokalisatiesuccesratio (gegeven een positieve detectie) was 0.769, met een mediane absolute fout van twee dagen voor correct geïdentificeerde gebeurtenissen.

Significantie en Claims
Het artikel claimt dat zelfgesuperviseerde pretraining een veelbelovende aanpak is voor GNSS-tijdreeksanalyse, omdat het de kloof overbrugt tussen de overvloed aan ongelabelde data en de schaarste aan labels. De resultaten suggereren dat het model een betekenend latent vocabulaire leert dat de klassieke decompositie van geodetische signalen (trend, periodiek, offset, ruis) impliciet vastlegt. Door zowel de forecasting als de lokalisatie van gebeurtenissen te overtreffen met de supervised baselines, demonstreert GNSS-FM dat een enkel voorgetraind backbone verschillende downstream-toepassingen kan ondersteunen, de afhankelijkheid van gelabelde data vermindert en goed generaliseert naar stations die tijdens de training niet zijn gezien. De auteurs merken op dat hoewel het model momenteel stations onafhankelijk verwerkt, de foundation model-architectuur een pad biedt voor toekomstige integratie van ruimtelijke context en bredere geodetische databronnen.