GNSS-FM: A Self-Supervised Foundation Model for Daily GNSS Displacement Time Series

Resumo Técnico do GNSS-FM: Um Modelo de Fundação Autossupervisionado para Séries Temporais de Deslocamento GNSS Diário

Definição do Problema
As redes de Sistema Global de Navegação por Satélite (GNSS) fornecem medições contínuas e de alta precisão do deslocamento da superfície terrestre, essenciais para monitorar deformações tectônicas e ciclos de terremotos. Embora os conjuntos de dados agora abranjam dezenas de milhares de estações ao longo de décadas, a maioria das abordagens de aprendizado de máquina existentes para séries temporais de GNSS é totalmente supervisionada e específica para tarefas (por exemplo, detecção de descontinuidade ou previsão). Isso cria um gargalo porque dados rotulados para tarefas geofisicamente relevantes (como eventos de deslizamento lento ou saltos sísmicos específicos) são escassos, incompletos ou dependentes de catálogos externos. Por outro lado, vastas quantidades de dados de GNSS não rotulados estão livremente disponíveis. O desafio reside em adaptar o aprendizado autossupervisionado — bem-sucedido na fala e na visão — para dados de GNSS, que não são estacionários em janelas de vários anos, combinam deriva tectônica lenta com passos sísmicos abruptos e carregamento sazonal, e contêm lacunas comuns de dados e ruído de medição.

Metodologia
Os autores apresentam o GNSS-FM, um modelo de fundação autossupervisionado adaptado do framework wav2vec 2.0 e da arquitetura SeisLM, especificamente redesenhado para séries temporais geodésicas diárias.

• Dados e Pré-processamento: O modelo é pré-treinado em séries temporais de deslocamento diário (componentes Leste, Norte, Vertical) de 17.652 estações distribuídas globalmente, fornecidas pelo Nevada Geodetic Laboratory. O pré-processamento envolve a remoção de outliers, mascaramento de offsets relacionados ao equipamento e preenchimento de lacunas usando interpolação linear (lacunas curtas) ou síntese baseada em bootstrap (lacunas longas). Cada dia recebe um rótulo de confiabilidade (observação, interpolação, síntese ou preenchimento/padding) para ponderar a perda de treinamento e condicionar o modelo.
• Entrada de Fluxo Duplo: O modelo processa dois fluxos paralelos:
  1. Fluxo de Deslocamento: Mantém níveis de deslocamento absoluto e contexto de longo alcance (deriva tectônica, padrões sazonais).
  2. Fluxo de Velocidade: Derivado das diferenças de primeira ordem do deslocamento, destacando a dinâmica local e reduzindo a não estacionaridade.
     Ambos os fluxos são normalizados e transformados via seno hiperbólico inverso para comprimir grandes valores.
• Arquitetura:
  • Codificadores: Codificadores convolucionais 1D com stride processam cada fluxo, realizando o downsampling das janelas de entrada de 512 dias para 120 passos de características.
  • Transformer: Um codificador transformer de fluxo duplo (12 camadas, 768 dimensões ocultas) processa as características. Inclui blocos de atenção cruzada bidirecional para permitir a troca de informações entre os fluxos.
  • Condicionamento: Metadados da estação (latitude, longitude, altura) e rótulos de confiabilidade são injetados nas camadas do transformer via FiLM (Modulação Linear por Característica) para modular as representações.
  • Quantização Vetorial: Os alvos são gerados discretizando as características convolucionais usando um quantizador vetorial com 4 grupos de 320 vetores de código. O fluxo de velocidade alimenta os dois primeiros grupos, e o de deslocamento os dois últimos.
• Objetivo de Pré-treinamento: O modelo emprega um objetivo de predição latente mascarada. Subjanelas contínuas de características são mascaradas, e o modelo prevê os alvos quantizados vetorialmente para essas posições usando uma perda contrastiva InfoNCE. O currículo de treinamento aumenta gradualmente a probabilidade de mascaramento e o comprimento do span. Termos de regularização adicionais evitam o colapso do codebook e incentivam o uso diversificado.
• Adaptação para Tarefas de Jusante (Downstream): Após o pré-treinamento, o codificador é ajustado para duas tarefas:
  1. Previsão de Deslocamento de 90 dias: Utiliza um decodificador de atenção cruzada para prever trajetórias futuras, com uma segunda etapa que adiciona ramos residuais do tipo Patch-TST para estimativa de incerteza.
  2. Localização de Passo Sísmico: Utiliza um cabeçalho temporal DETR (Detection Transformer) para prever probabilidades de eventos e localizar datas de saltos dentro da janela.

Principais Contribuições

1. Representação de Fluxo Duplo: Um formato de entrada inovador que combina deslocamento (para contexto de longo alcance) e incrementos do tipo velocidade (para dinâmica local), abordando o equilíbrio entre aprender mudanças locais e manter o contexto de deformação.
2. Framework de Pré-treinamento Adaptado: Um framework de predição latente mascarada apresentando mascaramento consciente da confiabilidade, condicionamento de metadados de estação e um quantizador esférico agrupado resistente ao colapso, adaptado para dados geodésicos não estacionários.
3. Desempenho de Modelo de Fundação: Demonstração de que um único backbone pré-treinado pode ser ajustado para distintas tarefas de jusante (previsão e localização de eventos), superando fortes baselines supervisionados específicos para cada tarefa.

Resultos

• Análise de Pré-treinamento: Sondas de validação mostram melhoria constante na qualidade da reconstrução, com a similaridade de cosseno entre as representações previstas e o alvo aumentando de ~0,85 para ~0,90. A análise do codebook revela que as representações aprendidas se especializam em tipos distintos de sinais, incluindo offsets sísmicos, deriva tectônica e padrões sazonais. Estudos de ablação confirmam que a abordagem de fluxo duplo é superior aos modelos de fluxo único, sendo o fluxo de velocidade crítico para a extrapolação.
• Previsão de Deslocamento: No conjunto de teste, o GNSS-FM Estágio 1 alcançou um RMSE de 6,78 mm, superando significativamente o baseline supervisionado Patch-TST (58,77 mm) e o Calibrated Base Forecast (77,05 mm). Embora o Erro Médio Absoluto (MAE) tenha sido ligeiramente maior para o modelo de fundação, o menor RMSE indica um tratamento superior de erros raros e de grande magnitude causados por eventos sísmicos. O modelo também demonstrou maior estabilidade de generalização entre as divisões de validação e teste em comparação com os baselines supervisionados.
• Localização de Passo Sísmico: O modelo GNSS-FM alcançou um F1 score de localização end-to-end de 0,429, uma melhoria substancial sobre o baseline híbrido (0,035). A principal vantagem do modelo reside na localização precisa da data, e não apenas na detecção de nível de janela. A taxa de sucesso de localização condicional (dado um detecção positiva) foi de 0,769, com um erro absoluto mediano de dois dias para eventos identificados corretamente.

Significância e Alegações
O artigo afirma que o pré-treinamento autossupervisionado é uma abordagem promissora para a análise de séries temporais de GNSS, preenchendo efetivamente a lacuna entre a abundância de dados não rotulados e a escassez de rótulos. Os resultados sugerem que o modelo aprende um vocabulário latente significativo que captura implicitamente a decomposição clássica dos sinais geodésicos (tendência, periódico, offset, ruído). Ao superar baselines supervisionados específicos para tarefas tanto em previsão quanto em localização, o GNSS-FM demonstra que um único backbone pré-treinado pode suportar múltiplas aplicações de jusante, reduzindo a dependência de dados rotulados e generalizando bem para estações não vistas durante o treinamento. Os autores observam que, embora o modelo processe as estações de forma independente atualmente, a arquitetura do modelo de fundação oferece um caminho para a futura integração de contexto espacial e outras fontes de dados geodésicos.