When Do Autoregressive Sequence Models Forecast Physical Wavefields? A Controlled Study on Synthetic Seismograms

기술 요약: 자기회귀 시퀀스 모델은 언제 물리적 파동장을 예측하는가?

문제 정의

본 논문은 진동하는 물리적 신호, 구체적으로 합성된 3성분 지진파에 대한 **장기 호라이즌 자기회귀 예측(long-horizon autoregressive forecasting)**의 과제를 다룬다. 시퀀스 모델(특히 인과적 트랜스포머)은 단기 호라이즌에서는 우수한 성능을 보이지만, 프리 러닝 롤아웃(free-running rollout, 모델이 자신의 예측값을 다시 입력으로 사용하는 과정) 중에 오차 누적(error accumulation) 문제를 겪는다.

진동하는 파동장의 경우, 이 누적 현상은 주로 **위상 드리프트(phase drift)**로 나타난다. 수백 단계에 걸쳐 발생하는 미세한 단계별 타이밍 오차는 누적되어, 예측된 파형이 실제 지면 운동(ground truth)으로부터 위상이 어긋나게 만든다. 포락선(envelope)과 주파수 성분은 그럴듯하게 유지될 수 있지만, 파형은 타겟과 국소적으로 역상관 관계(anti-correlated)가 된다. 기존의 점별 메트릭(pointwise metrics)은 국소적 오차가 작게 유지되는 동안 글로벌 위상 정렬이 붕괴되는 이 실패를 감지하지 못하는 경우가 많다. 스케줄드 샘플링(scheduled sampling)이나 비자기회귀(non-autoregressive) 예측과 같은 기존의 해결책들은 연속적인 예측 사이의 스펙트럼 경계에서 발생하는 이 드리프트를 명시적으로 겨냥하지 못한다.

방법론

본 연구는 특정 설계 선택지가 롤아웃 안정성을 어떻게 결정하는지 격리하여 조사하기 위한 테스트베드로 SeismoGPT(자기회귀 트랜스포머 기반 예측 모델)를 활용한다. 저자들은 합성 지진파(진앙 거리 10–90°, 깊이 5–100 km, 규모 3–7 범위)를 대상으로 **통제된 아키텍처 내부 절제 연구(controlled intra-architecture ablation study)**를 수행한다.

실험 설정은 다음과 같다:

1. 토큰화(Tokenization): 원시 시계열 데이터를 3개 채널에 대해 16개 샘플 단위의 청크(chunk)로 토큰화한다.
2. 백본(Backbone): 비교 대상들이 특정 구성 요소만을 격리할 수 있도록, 베닐 인과적 트랜스포머 인코더(512 차원, 8개 헤드)를 모든 설정에서 고정하여 사용한다.
3. 절제 연구(Ablations): 저자들은 단일 토큰 베이스라인과 네 가지 구성을 비교한다:
   • 다중 토큰 예측(Multi-Token Prediction, MTP): 모델이 한 번에 하나가 아니라 $H=4$개의 토큰을 공동으로 예측한다.
   • 호라이즌 임베딩 하이브리드 헤드(Horizon-Embedding Hybrid Head): 학습된 호라이즌별 임베딩에 조건화된 단일 공유 MLP 헤드를 사용한다(각 호라이즌에 독립적인 헤드를 사용하는 방식과 대비).
   • 교차 호라이즌 STFT 크기 코히런스 손실(Cross-Horizon STFT Magnitude Coherence Loss): 인접한 예측 호라이즌들의 연결 부위에 적용되는 손실 항으로, 여러 해상도(128, 256, 512 FFT 크기)에 걸쳐 단시간 푸리에 변환(STFT)의 크기 코히런스를 측정한다.
   • 보조 손실(Auxiliary Losses): Log-cosh 베이스 손실, 1차 차분 MSE, 그리고 호라이즌별 STFT 손실을 포함한다.

평가는 P-S파 도달 간격에 대한 컨텍스트 비율($\rho$)을 사용하여 약 240초(약 28개 토큰) 동안의 **프리 러닝 롤아웃(free-running rollout)**에 초점을 맞춘다. 성능은 정규화된 상호 상관(Normalized Cross-Correlation, NCC), 신호 대 잔차비(Signal-to-Residual Ratio, SRR), 그리고 전력 스펙트럼 밀도(Power Spectral Density, PSD) 오차를 통해 측정된다. 통계적 유의성은 10,000개의 홀드아웃 이벤트에 대한 부트스트랩 신뢰 구간을 포함한 쌍체 윌콕슨 부호 순위 검정(paired Wilcoxon signed-rank tests)을 통해 확립된다.

주요 기여

본 논문은 새로운 SOTA(State-of-the-Art) 시스템을 제안하는 것이 아니라, 특정 자기회귀 계열 내에서 어떤 설계 선택지가 장기 롤아웃 안정성을 지배하는지를 식별하는 데 초점을 맞춘다. 기여도는 다음과 같다:

1. 다중 토큰 예측(MTP)의 정량화: 본 연구는 MTP를 진동하는 물리적 신호의 장기 호라이즌 예측을 위한 지배적인 안정화 요소로 격리하여 규명한다. MTP를 활성화하면 단일 토큰 베이스라인 대비 거의 전체 성능 향상을 설명할 수 있다.
2. 이차 구성 요소의 미미한 이득: 저자들은 호라이즌 임베딩 하이브리드 헤드와 교차 호라이즌 STFT 크기 코히런스 손실이 MTP와 결합되었을 때만 작지만 일관된 가산적 개선(+0.009 및 +0.005 median NCC)을 제공한다는 것을 정량화했다.
3. 레짐 식별(Regime Identification): 연구는 컨텍스트 비율 $\rho \approx 1$에서 급격한 성능 임계치를 식별한다. 신뢰할 수 있는 장기 롤아웃을 위해서는 관측된 신호의 전체 P-S 간격과 거의 동일한 길이의 컨텍스트가 필요하며, 이보다 낮으면 일반화가 붕괴된다.
4. 실패 모드 분석: 논문은 지배적인 잔여 실패 모드가 극성 반전(polarity inversion)(위상 드리프트로 인한 부호 변화)임을 식별한다. 이는 크기 기반 스펙트럼 손실(예: STFT 코히런스 손실)이 $|STFT(x)| = |STFT(-x)|$ 관계 때문에 이러한 반전을 처벌할 수 없음을 보여준다.

결과

• MTP의 지배력: 단일 토큰에서 다중 토큰 예측(절제 연구 C)으로 전환하면 베이스라인 대비 중앙값 NCC가 +0.040(95% CI [0.038, 0.042]) 향상된다. 전체 모델은 +0.045 향상된다.
• 가산적 효과: MTP 설정 내에서, 하이브리드 헤드는 +0.009 NCC를, 코히런스 손실은 +0.005 NCC를 추가한다. 보조 손실(코히런스 없이)은 MTP 단독 사용 시보다 NCC를 약간 저하시키지만 스펙트럼 형태(PSD 오차)는 개선한다.
• 스펙트럼 충실도: NCC는 MTP에 의해 주도되지만, 보조 손실과 코히런스 항은 PSD 오차를 유의미하게 감소시켜(베이스라인 15.2에서 전체 모델 12.1로) 스펙트럼 형태의 충실도를 높인다.
• 컨텍스트 비율: 성능은 $\rho \ge 1$에서 높고 안정적으로 유지되지만, $\rho < 1$에서는 급격히 저하된다.
• 실패 모드: 최악의 시나리오에서 모델은 올바른 주파수 성분을 가지면서도 극성이 반전된 파형을 생성하며, 이로 인해 음수의 NCC 값(최대 -0.56)이 발생한다. 크기 기반 코히런스 손실은 이러한 오류를 감지할 수 없다.

의의 및 주장

본 논문은 새로운 최첨단 시스템을 제안하기보다는, 특정 자기회귀 계열 내에서 어떤 설계 선택지가 장기 롤아웃 안정성을 결정하는지를 식별한다는 점을 겸허히 주장한다.

• 주요 발견: 다중 토큰 예측은 진동하는 물리적 신호에 대한 자기회귀 롤아웃을 안정화하는 핵심 메커즘이다.
• 이차적 발견: 호라이즌 임베딩과 교차 호라이즌 스펙트럼 코히런스는 미미하고 일관된 이득을 제공하지만, 그 자체만으로는 근본적인 위상 드리프트 문제를 해결하기에 불충분하다.
• 한계점: 본 연구는 단일 합성 데이터셋과 각 구성별 단일 훈련 시드에 국한되어 있다. 저자들은 인과적 트랜스포머가 이 작업에 가장 적합한 모델 클래스라고 주장하지 않으며, 구성 요소의 효과가 추가 검증 없이 다른 시드나 실제 데이터에서도 유지된다고 주장하지 않는다.
• 향후 방향: 크기 기반 손실이 극성 반전을 수정할 수 없다는 점은, 지배적인 잔여 실패 모드를 해결하기 위해 위상 인식 목적 함수(예: 복소 STFT, 그룹 지연 또는 안티 래핑 손실)가 필수적인 다음 단계임을 시사한다.