GNSS-FM: A Self-Supervised Foundation Model for Daily GNSS Displacement Time Series

Resumen Técnico de GNSS-FM: Un Modelo Fundacional de Aprendizaje Auto-supervisado para Series Temporales de Desplazamiento de GNSS Diarias

Planteamiento del Problema
Las redes de Sistemas Globales de Navegación por Satélite (GNSS) proporcionan mediciones continuas y de alta precisión del desplazamiento de la superficie terrestre, esenciales para monitorear las deformaciones tectónicas y los ciclos sísmicos. Si bien los conjuntos de datos actuales abarcan decenas de miles de estaciones durante décadas, la mayoría de los enfoques de aprendizaje automático existentes para series temporales de GNSS son totalmente supervisados y específicos para una tarea (por ejemplo, detección de discontinuidades o pronóstico). Esto crea un cuello de botella porque los datos etiquetados para tareas geofísicamente relevantes (como eventos de deslizamiento lento o escalones sísmicos específicos) son escasos, incompletos o dependen de catálogos externos. Por el contrario, existen vastas cantidades de datos de GNSS no etiquetados que están disponibles libremente. El desafío radica en adaptar el aprendizaje auto-supervisado —exitoso en el habla y la visión— a los datos de GNSS, que no son estacionarios en ventanas de varios años, combinan la deriva tectónica lenta con escalones sísmicos abruptos y la carga estacional, y contienen huecos comunes de datos y ruido de medición.

Metodología
Los autores presentan GNSS-FM, un modelo fundacional auto-supervisado adaptado del marco de trabajo wav2vec 2.0 y la arquitectura SeisLM, rediseñado específicamente para series temporales geodésicas diarias.

• Datos y Preprocesamiento: El modelo es preentrenado en series temporales de desplazamiento diario (componentes Este, Norte, Arriba) de 17.652 estaciones distribuidas globalmente proporcionadas por el Nevada Geodetic Laboratory. El preprocesamiento implica la eliminación de valores atípicos, el enmascaramiento de desfases relacionados con el equipo y el llenado de huecos mediante interpolación lineal (huecos cortos) o síntesis basada en bootstrap (huecos largos). A cada día se le asigna una etiqueta de confiabilidad (observación, interpolación, síntesis o relleno) para ponderar la pérdida de entrenamiento y condicionar el modelo.
• Entrada de Doble Flujo (Dual-Stream): El modelo procesa dos flujos paralelos:
  1. Flujo de Desplazamiento: Mantiene los niveles de desplazamiento absoluto y el contexto de largo alcance (deriva tectónica, patrones estacionales).
  2. Flujo de Velocidad: Derivado de las diferencias de primer orden del desplazamiento, resaltando la dinámica local y reduciendo la no estacionariedad.
     Ambos flujos son normalizados y transformados mediante el seno hiperbólico inverso para comprimir valores grandes.
• Arquitectura:
  • Codificadores (Encoders): Codificadores convolucionales 1D con paso (strided) procesan cada flujo, reduciendo la escala de las ventanas de entrada de 512 días a 120 pasos de características.
  • Transformer: Un codificador transformer de doble flujo (12 capas, dimensión oculta de 768) procesa las características. Incluye bloques de atención cruzada bidireccional para permitir el intercambio de información entre los flujos.
  • Condicionamiento: Los metadatos de la estación (latitud, longitud, altura) y las etiquetas de confiabilidad se inyectan en las capas del transformer mediante FiLM (Modulación Lineal por Características) para modular las representaciones.
  • Cuantización Vectorial: Los objetivos se generan discretizando las características convolucionales utilizando un cuantizador vectorial con 4 grupos de 320 vectores de código. El flujo de velocidad alimenta los dos primeros grupos y el de desplazamiento los dos últimos.
• Objetivo de Preentrenamiento: El modelo emplea un objetivo de predicción de latente enmascarado. Las subventanas continuas de características son enmascaradas, y el modelo predice los objetivos cuantificados vectorialmente para estas posiciones utilizando una pérdida contrastiva InfoNCE. El currículo de entrenamiento aumenta gradualmente la probabilidad de enmascaramiento y la longitud del intervalo. Términos de regularización adicionales previenen el colapso del libro de códigos y fomentan un uso diverso.
• Adaptación de Tareas Posteriores (Downstream): Tras el preentrenamiento, el codificador se ajusta (fine-tuning) para dos tareas:
  1. Pronóstico de Desplazamiento a 90 días: Utiliza un decodificador de atención cruzada para predecir trayectorias futuras, con una segunda etapa que añade ramas residuales de estilo Patch-TST para la estimación de la incertidumbre.
  2. Localización de Escalones Sísmicos: Utiliza una cabeza temporal DETR (Detection Transformer) para predecir probabilidades de eventos y localizar las fechas de los escalones dentro de la ventana.

Contribuciones Clave

1. Representación de Doble Flujo: Un formato de entrada novedoso que combina desplazamiento (para contexto de largo alcance) y diferenciales tipo velocidad (para dinámica local), abordando el compromiso entre aprender cambios locales y mantener el contexto de deformación.
2. Marco de Preentrenamiento Adaptado: Un marco de predicción de latente enmascarado que presenta enmascaramiento consciente de la confiabilidad, ponderación de pérdida, condicionamiento por metadatos de la estación y un cuantizador esférico agrupado resistente al colapso, diseñado para datos geodésicos no estacionarios.
3. Desempeño de Modelo Fundacional: Demostración de que un único esqueleto (backbone) preentrenado puede ajustarse para distintas tareas de seguimiento, superando a bases de comparación específicas de la tarea.

Resultos

• Análisis de Preentrenamiento: Las sondas de validación muestran una mejora constante en la calidad de la reconstrucción, con la similitud de coseno entre las representaciones predichas y el objetivo aumentando de ~0.85 a ~0.90. El análisis del libro de códigos revela que las representaciones aprendidas se especializan en distintos tipos de señales, incluyendo escalones sísmicos, deriva tectónica y patrones estacionales. Los estudios de ablación confirman que el enfoque de doble flujo es superior al de un solo flujo, siendo el flujo de velocidad crítico para la extrapolación.
• Pronóstico de Desplazamiento: En el conjunto de prueba, la Etapa 1 de GNSS-FM logró un Error Cuadrático Medio (RMSE) de 6.78 mm, superando significativamente al baseline supervisado Patch-TST (58.77 mm) y al Pronóstico Base Calibrado (77.05 mm). Aunque el Error Absoluto Medio (MAE) fue ligeramente mayor para el modelo fundacional, el menor RMSE indica un manejo superior de errores grandes y raros causados por eventos sísmicos. El modelo también demostró una mejor estabilidad de generalización entre las divisiones de validación y prueba en comparación con los baselines supervisados.
• Localización de Escalones Sísmicos: El modelo GNSS-FM alcanzó una puntuación F1 de localización de extremo a extremo de 0.429, una mejora sustancial sobre el baseline híbrido (0.035). La principal ventaja del modelo radica en la localización precisa de la fecha más que en la simple detección de eventos a nivel de ventana. La tasa de éxito de localización condicional (dada una detección positiva) fue de 0.769, con un error absoluto de la mediana de dos días para los eventos correctamente identificados.

Significancia y Reivindicaciones
El artículo afirma que el preentrenamiento auto-supervisado es un enfoque prometedor para el análisis de series temporales de GNSS, cerrando eficazmente la brecha entre la abundancia de datos no etiquetados y la escasez de etiquetas. Los resultados sugieren que el modelo aprende un vocabulario latente significativo que captura implícitamente la descomposición clásica de las señales geodésicas (tendencia, periódica, escalón, ruido). Al superar a los baselines supervisados específicos de la tarea tanto en pronóstico como en localización, GNSS-FM demuestra que un único esqueleto preentrenado puede soportar múltiples aplicaciones posteriores, reduciendo la dependencia de los datos etiquetados y generalizando bien a estaciones no vistas durante el entrenamiento. Los autores señalan que, aunque el modelo procesa actualmente las estaciones de forma independiente, la arquitectura del modelo fundacional ofrece una vía para la futura integración del contexto espacial y otras fuentes de datos geodésicos más amplias.