Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures

이 논문은 물리적으로 제약된 동역학적 연속성을 학습함으로써 다양한 합성 시나리오 전반에서 높은 위상 일관성과 스펙트럼 정확도를 달형성하며, 시간 영역에서 3성분 지진 파형을 성공적으로 예측하는 트랜스포머 기반 자기회귀 모델인 SeismoGPT를 소개한다.

핵심

당신이 복잡한 음악, 예를 들어 교향곡을 듣고 있다고 상상해 보세요. 하지만 당신은 단 몇 분 동안만 들을 수 있습니다. 당신의 목표는 실제 녹음본을 한 번도 듣지 않고도 곡의 나머지 부분이 어떻게 전개될지 음표 하나하나까지 정확하게 추측하는 것입니다.

이것은 논문 **"Transformer 아키텍처를 이용한 3성분 지진계의 데이터 기반 예측(Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures)"**이 하고자 하는 일과 본질적으로 같습니다. 다만 이들은 음악 대신 지진파를 사용합니다. 연구진은 SeismoGPT라는 AI를 구축했는데, 이는 수백만 개의 교향곡을 공부하여 이제는 곡의 시작 부분만 듣고도 다음 몇 분간의 곡이 어떻게 흘러갈지 예측할 수 있는 음악적 즉흥 연주가와 같습니다.

다음은 이 기술이 어떻게 작동하는지, 그리고 무엇을 발견했는지에 대한 내용을 쉬운 비유를 들어 설명한 것입니다.

문제: 지구는 혼돈스러운 오케스트라이다

지진파가 지구를 통해 어떻게 이동하는지 예측하는 것은 매우 어렵습니다. 지구는 매끄럽고 균일한 구체가 아닙니다. 암석, 층, 균열이 뒤섞인 무질서하고 복잡한 혼합물입니다. 지진이 발생하면 파동은 마치 만화경을 통과하는 빛처럼 튕겨 나가고, 흩어지고, 속도가 변합니다.

전통적으로 과학자들은 복잡한 물리 방정식을 실행하는 슈퍼컴퓨터를 사용하여 이 파동을 예측하려고 시도합니다. 하지만 이것은 폭풍 속에서 떨어지는 모든 빗방울의 경로를 계산하려는 것과 같습니다. 실시간 경보를 내리기에는 너무 많은 시간과 컴퓨팅 자원이 소모됩니다.

해결책: SeismoGPT ("패턴을 배우는 귀")

연구진은 매번 물리 방정식을 처음부터 풀려고 하는 대신, AI가 데이터를 통해 직접 패턴을 학습하도록 가르쳤습니다.

• 학습 과정: 그들은 실제 지진 데이터(노이즈가 많고 지저분한 데이터)를 사용하지 않았습니다. 대신, 컴퓨터 시뮬레이션을 사용하여 390만 개의 "가짜" 지진으로 구성된 거대한 라이브러리를 만들었습니다. 그들은 시뮬레이션을 직접 구축했기 때문에 이 파동들이 어떻게 행동해야 하는지 정확히 알고 있었습니다.
• 과제: AI에게 가짜 지진파의 시작 부분(첫 번째 "P파"가 도착하고 "S파"를 지나 계속되는 부분)을 보여주었습니다. 그런 다음 AI에게 다음 2~4분 동안의 파동이 어떤 모습일지 예측하도록 요청했습니다.
• 아키텍처: 이 AI는 "트랜스포머(Transformer)" 아키텍처를 기반으로 구축되었습니다(현재 당신이 대화하고 있는 고급 언어 모델 뒤에 있는 것과 같은 유형입니다). 이 AI는 단어를 읽는 대신 지진파의 덩어리(chunk)를 읽습니다. AI는 미래를 예측하기 위해 과거를 살핍니다. 한 번에 작은 조각씩 말이죠.

결과는 어떠했는가?

결과는 놀라울 정도로 좋았지만, 몇 가지 특정 규칙이 있었습니다.

1. "스위트 스팟(Sweet Spot)": 지진이 강하고 너무 멀지 않은 곳에서 발생했을 때, AI는 탁월한 예측가였습니다. AI는 약 **93%에서 97%**의 확률로 파동의 타이밍과 형태를 정확하게 맞혔습니다. 또한 건물에 가장 많은 피해를 주는 "코다(coda, 지진의 길고 서서히 사라지는 꼬리 부분)"를 정확하게 예측할 수 있었습니다.
2. "흐릿한 구역(Blurry Zone)": AI는 지진이 약하거나(작은 규모) 매우 멀리 있을 때 어려움을 겪었습니다.
   • 비유: 북적이고 시끄러운 경기장 건너편에서 누군가의 속삭임을 들으려고 노력한다고 상상해 보세요. 신호가 너무 약하고 거리 때문에 왜곡됩니다. 이런 경우 AI의 예측은 "표류(drift)"하기 시작했습니다. AI가 말도 안 되거나 불가능한 소리를 만들어내지는 않았지만, 타이밍이 약간 어긋났습니다. 마치 멜로디는 알지만 박자가 약간씩 틀리는 연주자와 같았습니다.
3. "컨텍스트(Context) 규칙": AI가 나머지를 예측하려면 일정량의 파동을 먼저 들어야 합니다. 연구진은 AI가 최소한 한 번의 완전한 "S-P 간격"(첫 번째 흔들림과 두 번째의 더 강한 흔림 사이의 시간 간격)과 그 뒤에 이어지는 흔들림의 일부를 들어야 한다는 것을 발견했습니다. 입력값이 짧으면 AI는 미래를 예측할 수 없었습니다. 반면, 조금 더 많은 과거 기록을 제공하면 예측은 훨씬 안정적이 되었습니다.

"실패" 모드

AI가 실패했을 때, AI가 폭발하거나 엉뚱한 소리를 내지는 않았습니다. 존재하지 않는 곳에 거대한 파동이 있다고 예측하지도 않았습니다. 대신, 현실적인 형태와 소리를 갖추었지만 실제와 박자가 맞지 않는(out of sync) 파동을 만들어냈습니다. 이는 노래는 완벽하게 알지만 몇 초 늦게 노래를 시작하는 가수와 같았습니다.

이것이 왜 중요한가 (논문에 따르면)

이 논문은 이것이 하나의 "개념 증명(proof of concept)"임을 시사합니다. 즉, AI가 매번 복잡한 물리 방정식을 풀 필요 없이, 데이터로부터 지진파가 움직이는 "규칙"을 학습할 수 있음을 보여줍니다.

저자들은 이 기술의 두 가지 잠재적 용도를 구체적으로 언급했습니다.

1. 지진 조기 경보: AI는 초기 도착파를 바탕으로 파괴적인 파동(표면파)을 예측할 수 있으므로, 사람들에게 더 빠르게 경고를 보내는 데 도움이 될 수 있습니다.
2. 중력파 관측소: 저자들은 미래의 관측소인 **아인슈타인 망원경(Einstein Telescope)**을 언급했습니다. 이 관측소는 시공간의 물결을 듣는 곳입니다. 이러한 관측소는 국지적인 지진에 의한 미세한 진동(뉴턴 노이즈)에 매우 민감합니다. 만약 AI가 이러한 국지적 진동을 예측할 수 있다면, 관측소는 이를 "제거"하여 우주로부터 오는 희미한 신호를 더 잘 들을 수 있게 됩니다.

핵심 요약

연구진은 수백만 개의 컴퓨터 생성 사례를 연구함으로써 지진파를 예측하는 법을 배운 디지털 "지진학자"를 만들었습니다. 이 모델은 강하고 가까운 지진에 대해서는 매우 잘 작동하며, 약하고 먼 지진에 대해서는 약간 "음정이 어긋나는" 모습을 보입니다. 이는 패턴 인식을 사용하여 기존의 슈퍼컴퓨터가 무거운 수학 계산으로 수행하던 일을 해내는 유망한 새로운 도구이며, 향후 더 빠르고 효율적으로 지진파를 예측하는 데 도움을 줄 수 있습니다.

기술 요약

기술 요약: 트랜스포머 아키텍처를 이용한 3성분 지진파의 데이터 기반 예측

문제 정의
관측된 데이터를 넘어선 지진 파동장의 정확하고 실시간적인 예측은 불균질한 매질 내 지진파 전파의 비선형성, 분산성 및 다중 스케일 특성으로 인해 여전히 중요한 과제로 남아 있다. 기존의 수치적 순방향 모델링(예: 유한 차분법 또는 스펙트럴 엘리먼트법)은 특히 단주기, 장시간 전파, 또는 대규모 공간 영역이 포함된 고충실도 시뮬레이션의 경우 계산 비용이 매우 높다. 머신러닝이 지진 이벤트 탐지 및 위상 검출(phase picking) 분야에서는 발전해 왔으나, 연속적이고 자기회귀적인 파형 예측(즉, 과거 관측치를 바탕으로 미래의 지진계 기록 진화를 예측하는 것)에 대한 적용은 제한적이었다. 본 연구는 지배적인 탄성파 역학 방정식을 명시적으로 적분하지 않고도, 데이터 기반 시퀀스 모델을 사용하여 지진 파형의 암묵적인 진화 연산자(evolution operator)를 학습하는 방식의 타당성을 다룬다.

방법론
저자들은 3성분(ZNE) 지진 파형을 시간 영역에서 직접 예측하도록 설계된 인과적(causal) 자기회귀 트랜스포머 아키텍처인 SeismoGPT를 소개한다. 이 접근 방식은 예측을 물리적으로 제약된 연속 문제(continuation problem)로 취급한다.

• 데이터 생성: 통제된 개념 증명(proof-of-concept)을 확립하기 위해, 본 연구는 약 390만 개의 3성분 지진계 기록으로 구성된 합성 데이터셋을 활용한다. 이 데이터는 Instaseis와 ak135f_2s 지구 모델, 그리고 AxiSEM 그린 함수를 사용하여 생성되었다. 데이터셋은 진원 깊이 5100 km, 진앙 거리 1090°, 모멘트 규모($M_w$) 3~7을 포괄한다. 소스 메커니즘은 Global CMT 카탈로그에 적합하게 조정된 분포로부터 추출되었다.
• 토큰화(Tokenization): 긴 시퀀스의 계산 복잡성을 관리하기 위해, 원시 파형을 16개 샘플(1.9 Hz 샘플링 레이트 기준 약 8.4초)의 고정 길이 "토큰"(패치)으로 분할한다. 이는 로컬 시간 구조를 보존하면서 시퀀스 길이를 줄여준다.
• 아키텍처: SeismoGPT는 인코더 전용 트랜스포머 스택을 채택한다.
  • 토큰 임베딩: 1×1 컨볼루션이 세 성분을 혼합한 후, 평균 풀링과 마지막 샘플 풀링을 통해 고정된 차원의 임베딩을 생성한다.
  • 백본(Backbone): 멀티 헤드 셀프 어텐션과 회전 위치 임베딩(RoPE)을 갖춘 8개의 인과적 트랜스포머 레이어 스택이 장거리 시간 의존성을 모델링한다.
  • 예측 헤드: 2층 피드 포워드 네트워크가 토큰 표현을 다시 파형 공간으로 매핑한다.
• 학습 전략: 모델은 다음의 복합 손실 함수를 사용하는 교사 강요(teacher forcing) 방식으로 학습된다:
  • Log-cosh 손실: 시간 영역의 충실도와 이상치에 대한 강건성을 위해 사용된다.
  • 다중 해상도 STFT 손실: 다양한 주파수 스케일에 걸쳐 스펙트럼 콘텐츠를 보존하기 위해 사용된다.
  • 템포럴 델타(Temporal delta) 손실: 토큰 경계 사이의 매끄러운 전이를 보장하기 위해 사용된다.
  • 교차 호라이즌 일관성(Cross-horizon coherence) 손실: 여러 예측 호라이즌에 걸쳐 스펙트럼 일관성을 유지하기 위해 사용된다.
    모델은 AdamW를 통해 최적화되며, 물리 보존 증강(극성 반전 및 채널 스왑)이 적용된 합성 데이터로 학습된다.

평가 프로토콜
예측 성능은 컨텍스트 비율(context ratio, $r$)과 예측 호라이즌($\Delta t_{fut}$)에 의해 정의된 세 가지 구성에 따라 홀드아웃 테스트 세트에서 평가된다:

• 컨텍스트(Context): 입력 윈도우는 P파 도착 시점에서 시작하여 $t_S + r \times (t_S - t_P)$까지 확장된다.
• 호라이즌(Horizon): 모델은 완전한 자기회귀 모드(정답 데이터 접근 없음)로 이후의 파형을 120초 또는 240초 동안 예측한다.
• 메트릭(Metrics): 성능은 위상/형태를 위한 정규화된 상호 상관 계수(NCC), 진폭 충실도를 위한 신호 대 잔차비(SRR), 그리고 스펙트럼 정확도를 위한 PSD log-L2 오차로 측정된다.

주요 결과

• 전반적인 성능: SeismoGPT는 모든 평가 구성에서 0.93 이상의 중앙값 NCC를 달s성한다. 수평 성분(N, E)이 수직 성분(Z)보다 일반적으로 약간 더 나은 성능을 보인다.
• 컨텍스트 vs. 호라이즌:
  • 예측 호라이즌을 120초에서 240초로 두 배 늘리면(구성 A에서 B로), 자기회귀 롤아웃에서의 오차 누적으로 인해 성능이 완만하게 저하된다(중앙값 NCC 약 2% 하락).
  • 컨텍스트 윈도우를 $1\times(t_S - t_P)$에서 $2\times(t_S - t_P)$로 두 배 늘리면(구성 B에서 C로), 잃어버린 성능의 상당 부분을 회복한다. 이는 S파 이후의 파형을 최소 한 번의 S-P 간격만큼 관측하는 것이 안정적인 예측을 위해 필요하며 대략적으로 충분하다는 것을 입증한다.
• 실패 모드: 성능 저하는 주로 진앙 거리가 큰($\Delta \gtrsim 50^\circ$), 규모가 낮은($M_w \lesssim 4.5$), 그리고 천발 진원 깊이의 영역에서 발생한다. 이러한 경우 파동장은 결맞음(coherence)이 약하고 분산이 심하다. 실패가 발생할 때, 모델은 비물리적인 신호 생성이나 진폭 발산보다는 물리적으로 그럴듯한 파형을 생성하면서 **점진적인 위상 드리프트(phase drift)**를 겪는 경향이 있다.
• 대표적 성공 사례: 중앙값 이벤트에 대해, 모델은 최대 600초 동안 위상 일관성과 스펙트럼 에너지 분포를 유지하며 미래 도착을 성공적으로 예측한다.

의의 및 주장
본 논문은 SeismoGPT가 물리 기반 시계열 예측을 위한 파운데이션 모델 접근법의 잠재력을 보여준다고 주장한다. 주요 기여는 다음과 같다:

1. 타당성 입증: 트랜스포머 기반 시퀀스 모델이 명시적인 탄성파 역학 방정식의 수치 적분 없이도 데이터로부터 직접 지진 파형의 안정적인 동적 연속(dynamical continuation)을 학습할 수 있음을 보여주었다.
2. 통제된 베이스라인 제공: 합성 데이터를 사용하여 컨텍스트 길이와 예측 호라이즌의 효과를 격리함으로써, 실제 데이터로 확장하기 전 엄격하게 통제된 개념 증명을 제공하고 베이스라인을 구축하였다.
3. 응용 가능성: 본 방법이 지진 조기 경보 및 재해 완화에 유용할 수 있음을 강조한다. 특히 저자들은 차세대 중력파 관측소인 **아인슈타인 망원경(ET)**과 관련하여, 주변 지진 파동장의 단기 진화를 예측하는 것이 뉴턴 노이즈(Newtonian noise)의 능동적 완화에 정보를 제공할 수 있다는 점을 언급하였다.

저자들은 현재 구현된 모델이 상대적으로 작은 규모(26M 파라미터)이며 합성 데이터를 사용했다는 점을 들어, 즉각적인 실세계 배포에 대해서는 신중한 태도를 유지한다. 이들은 3차원 지구 불균질성, 고주파 샘플링 레이트, 그리고 만연한 환경 소음 등 실제 세계의 복잡성을 해결하기 위한 향후 연구가 필요함을 지적한다.