GNSS-FM: A Self-Supervised Foundation Model for Daily GNSS Displacement Time Series

GNSS-FM 기술 요약: 일일 GNSS 변위 시계열을 위한 자기지도 학습 기반 파운데이션 모델

문제 정의
전 지구적 위성 항법 시스템(GNSS) 네트워크는 지구 표면 변위를 지속적이고 고정밀도로 측정하며, 이는 지각 변형 및 지진 주기를 모니터링하는 데 필수적입니다. 현재 데이터셋은 수십 년에 걸쳐 수만 개의 관측소를 포괄하고 있지만, 기존의 대부분의 머신러닝 접근 방식은 완전 지도 학습 기반의 특정 작업(예: 불연속점 탐지 또는 예측)에 국한되어 있습니다. 이는 지질학적으로 유의미한 작업(예: 슬로우 슬립 이벤트 또는 특정 지진 오프셋)에 대한 레이블이 있는 데이터가 부족하거나, 불완전하거나, 외부 카탈로그에 의존해야 하기 때문에 발생하는 병목 현상을 초래합니다. 반대로, 레이블이 없는 방대한 양의 GNSS 데이터는 자유롭게 이용 가능합니다. 과제는 음성이나 시각 분야에서 성공을 거둔 자기지도 학습을 GNSS 데이터에 적응시키는 것입니다. GNSS 데이터는 수년의 윈도우 동안 비정상성(non-stationary)을 띠며, 느린 지각 드리프트와 급격한 지진 단계(seismic steps), 계절적 하중이 결합되어 있고, 일반적인 데이터 결손과 측정 노이즈를 포함하고 있습니다.

방법론
저자들은 일일 지질 시계열에 맞게 특별히 재설계된 wav2vec 2.0 프레임워크와 SeisLM 아키텍처를 기반으로 한 자기지도 파운데이션 모델인 GNSS-FM을 제시합니다.

• 데이터 및 전처리: 모델은 네바다 지질 연구소(Nevada Geodetic Laboratory)에서 제공하는 17,652개의 전 세계 분포 관측소로부터 얻은 일일 변위 시계열(동, 북, 상 성분)을 사용하여 사전 학습됩니다. 전처리는 이상치 제거, 장비 관련 오프셋 마스킹, 그리고 단기 결손은 선형 보간법을, 장기 결손은 부트스트랩 기반 합성을 사용하여 결손을 채우는 과정을 포함합니다. 각 날짜에는 신뢰도 레이블(관측, 보간, 합성 또는 패딩)이 할당되어 학습 손실의 가중치를 조절하고 모델을 컨디셔닝합니다.
• 이중 스트림 입력: 모델은 두 개의 병렬 스트림을 처리합니다:
  1. 변위 스트림(Displacement Stream): 절대 변위 수준과 장기적 맥락(지각 드리프트, 계절적 패턴)을 유지합니다.
  2. 속도 스트림(Velocity Stream): 변위의 1차 차분으로부터 유도되며, 국지적 역학을 강조하고 비정상성을 감소시킵니다.
     두 스트림은 모두 정규화되며, 큰 값을 압축하기 위해 역 쌍곡-사인(inverse hyperbolic sine) 변환을 거칩니다.
• 아키텍처:
  • 인코더(Encoders): 별도의 스트라이드(strided) 1D 합성곱 인코더가 각 스트림을 처리하여 512일 입력 윈도우를 120개의 특징 단계로 다운샘플링합니다.
  • 트랜스포머(Transformer): 이중 스트림 트랜스포머 인코더(12개 레이어, 768 차원 은닉층)가 특징을 처리합니다. 여기에는 스트림 간 정보 교환을 허용하는 양방향 교차 주의(cross-attention) 블록이 포함됩니다.
  • 컨디셔닝(Conditioning): 스테이션 메타데이터(위도, 경도, 높이)와 신뢰도 레이블이 FiLM(Feature-wise Linear Modulation)을 통해 트랜스포머 레이어에 주입되어 표현형을 조절합니다.
  • 벡터 양자화(Vector Quantization): 타겟은 4개 그룹의 320개 코드 벡터를 가진 벡터 양전기(vector quantizer)를 사용하여 합성곱 특징을 이산화함으로써 생성됩니다. 속도 스트림은 첫 두 그룹에, 변위 스트림은 마지막 두 그룹에 대응합니다.
• 사전 학습 목적: 모델은 마스크된 잠재 표현 예측(masked latent prediction) 목적 함수를 사용합니다. 연속적인 특징 서브 윈도우가 마스킹되며, 모델은 InfoNCE 대비 학습(contrastive loss)을 사용하여 이러한 위치에 대한 벡터 양자화된 타겟을 예측합니다. 학습 커리큘럼은 마스킹 확률과 스팬 길이를 점진적으로 증가시킵니다. 추가적인 정규화 항은 코드북 붕괴를 방지하고 다양한 사용을 장려합니다.
• 다운스트림 적응: 사전 학습 후, 인코더는 두 가지 작업에 대해 미세 조정됩니다:
  1. 90일 변위 예측: 미래 궤적을 예측하기 위해 교차 주의 디코더를 사용하며, 불확실성 추정을 위해 두 번째 단계에서 Patch-TST 스타일의 잔차 브랜치를 추가합니다.
  2. 지진 단계 국지화(Seismic Step Localization): 이벤트 확률을 예측하고 윈도우 내 단계 날짜를 국지화하기 위해 시간적 DETR(Detection Transformer) 헤드를 사용합니다.

주요 기여

1. 이중 스트림 표현: 변위(장기 맥락용)와 속도 유사 증분(국지적 역학용)을 결합한 혁신적인 입력 형식을 통해, 국지적 변화 학습과 변형 맥락 유지 사이의 절충안을 해결합니다.
2. 적응형 사전 학습 프레임워크: 신뢰도 인지 마스킹, 손실 가중치, 스테이션 메타데이터 컨디셔닝, 그리고 비정상적 지질 데이터에 특화된 붕괴 방지형 그룹 구형 양전기(grouped spherical quantizer)를 특징으로 하는 마스크된 잠재 표현 예측 프레임워크를 제시합니다.
3. 파운데이션 모델 성능: 단일 사전 학습된 백본이 서로 다른 다운스트림 작업(예측 및 이벤트 국지화)에 대해 우수한 성능을 보임을 입증하여, 특정 작업에 특화된 지도 학습 베이스라인을 능가했습니다.

결과

• 사전 학습 분석: 검증 프로브(validation probes) 결과, 예측된 표현과 타겟 표현 사이의 코사인 유사도가 약 0.85에서 0.90으로 증가하며 재구성 품질이 꾸준히 개선됨을 확인했습니다. 코드북 분석 결과, 학습된 표현이 지진 오프셋, 지각 드리프트, 계절적 패턴을 포함한 뚜xt한 신호 유형에 특화되어 있음을 보여줍니다. 어블레이션 연구(ablation studies)는 이중 스트림 방식이 단일 스트림 방식보다 우수하며, 특히 속도 스트림이 외삽(extrapolation)에 결정적임을 확인했습니다.
• 변위 예측: 테스트 세트에서 GNSS-FM Stage 1은 RMSE 6.78 mm를 달ks하여, 지도 학습 기반인 Patch-TST(58.77 mm)와 Calibrated Base Forecast(77.05 mm)를 크게 앞질렀습니다. 평균 절대 오차(MAE)는 파운데이션 모델이 약간 더 높았으나, 낮은 RMSE는 지진 이벤트로 인한 드문 대규모 오차를 처리하는 능력이 더 뛰어남을 나타냅니다. 또한 모델은 지도 학습 베이스라인에 비해 검증 및 테스트 분할 간의 일반화 안정성이 더 뛰어난 모습을 보였습니다.
• 지진 단계 국지화: GNSS-FM 모델은 엔드 투 엔드 국지화 F1 점수 0.429를 달성하였으며, 이는 하이브리드 베이스라인(0.035)에 비해 상당한 개선입니다. 모델의 주요 강점은 단순한 윈도우 수준의 이벤트 탐지가 아니라 정확한 날짜 국지화에 있습니다. 조건부 국지화 성공률(양성 탐지 시)은 0.769였으며, 올바르게 식별된 이벤트의 중앙값 절대 오차는 2일이었습니다.

의의 및 주장
본 논문은 자기지도 사전 학습이 GNHS 시계열 분석에 있어 유망한 접근 방식이며, 레이블이 없는 데이터의 풍부함과 레이블의 희소성 사이의 간극을 효과적으로 메울 수 있다고 주장합니다. 결과는 모델이 지질 신호의 고전적 분해(경향, 주기, 오프셋, 노이즈)를 암시적으로 포착하는 의미 있는 잠재 어휘(latent vocabulary)를 학습한다는 것을 시사합니다. 두 가지 다운스트림 작업(예측 및 국지화) 모두에서 특정 작업용 지도 학습 베이스라인을 능가함으로써, GNSS-FM은 단일 사전 학습된 백본이 여러 다운스트림 응용 분야를 지원할 수 있으며, 레이블 데이터에 대한 의존도를 낮추고 학습 시 보지 못한 스테이션에 대해서도 잘 일반화될 수 있음을 입증했습니다. 저자들은 현재 모델이 스테이션을 독립적으로 처리하고 있지만, 파운데이션 모델 아키텍처가 향후 공간적 맥락 및 더 넓은 지질 데이터 소스와의 통합을 위한 경로를 제공한다고 언급했습니다.