EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes

이 논문은 데이터 누수 및 주요 지진 시퀀스 누락 등의 문제를 해결하고 지진학계의 최신 표준을 반영한 'EarthquakeNPP' 벤치마크를 제안하며, 이를 통해 현재 테스트된 5 가지 신경 점 과정 (NPP) 모델이 ETAS 와 같은 기존 지진 예측 모델보다 성능이 떨어졌음을 규명했습니다.

핵심

지진 예보의 새로운 도전: "EarthquakeNPP"란 무엇인가?

이 논문은 지진을 예측하는 인공지능 (AI) 모델과 전통적인 통계 모델을 비교한 흥미로운 연구입니다. 마치 "최신형 스포츠카 (AI) 가 과연 오프로드용 트럭 (전통 모델) 보다 험한 지형에서 더 잘 달릴까?"를 검증하는 실험과 같습니다.

이 연구의 핵심 내용을 쉽게 풀어서 설명해 드릴게요.

---

1. 배경: 왜 이 연구가 필요한가요?

• 기존의 방식 (ETAS): 수십 년간 지진학자들은 'ETAS'라는 모델을 써왔습니다. 이 모델은 **"큰 지진이 나면 그 주변에서 작은 여진이 따라오는 법칙"**을 수학적으로 잘 설명합니다. 마치 큰 돌을 던지면 물결이 퍼지듯, 지진도 연쇄적으로 일어난다는 원리죠.
• 새로운 시도 (NPP): 최근 머신러닝 커뮤니티에서는 '신경 점 과정 (NPP)'이라는 AI 모델을 개발했습니다. 이는 데이터에서 스스로 복잡한 패턴을 찾아내는 유연한 모델입니다. "기존 모델은 너무 단순하지 않나? AI 가 더 똑똑하게 예측하지 않을까?"라는 기대가 있었습니다.
• 문제점: 하지만 기존에 AI 모델을 테스트하던 데이터는 결함이 많았습니다.
  • 데이터 누수: 시험 문제를 미리 보고 답을 맞춘 것과 같습니다 (과적합).
  • 중요한 사건 생략: 일본에서 일어난 가장 큰 지진 (도호쿠 대지진) 같은 중요한 사건을 데이터에서 뺐습니다.
  • 비교 대상 부재: 최신 AI 를 기존 모델 (ETAS) 과 제대로 비교하지 않았습니다.

2. 해결책: EarthquakeNPP (지진 예보용 새로운 시험장)

저자들은 이 문제를 해결하기 위해 **'EarthquakeNPP'**라는 새로운 플랫폼을 만들었습니다.

• 정직한 시험지: 1971 년부터 2021 년까지 캘리포니아의 지진 데이터를 깨끗하게 정리했습니다.
• 실전 같은 환경: 실제 지진학자들이 사용하는 데이터와 평가 방식을 그대로 적용했습니다.
• 다양한 시나리오: 작은 지진부터 큰 지진까지, 다양한 크기의 지진 데이터를 포함했습니다.

3. 실험 결과: AI 의 승리는 아직 멀었습니다

연구진은 5 가지 최신 AI 모델 (NPP) 을 ETAS 모델과 경쟁시켰습니다. 결과는 다소 충격적이었습니다.

• 결론: 어떤 AI 모델도 ETAS 를 이기지 못했습니다.
• 비유:
  • ETAS (전통 모델): 지진이라는 '폭포수'를 잘 이해합니다. 큰 물방울 (큰 지진) 이 떨어지면 아래로 작은 물방울 (여진) 이 쏟아지는 것을 정확히 예측합니다. 특히 큰 지진이 난 직후의 혼란스러운 상황에서도 매우 강력합니다.
  • NPP (AI 모델): 평소에는 조용한 배경 소음 (작은 지진) 을 분석하는 데는 꽤 능숙합니다. 하지만 큰 지진이 터진 직후의 혼란에서는 당황하여 예측을 잘 못합니다. 마치 "평소에는 노래를 잘 부르는 가수가, 갑자기 큰 폭포 소리가 들리면 가사를 잊어버리는 것"과 같습니다.

4. 왜 AI 는 지진 예측에서 아직 부족할까요?

논문은 AI 가 ETAS 를 이기기 위해 해결해야 할 4 가지 과제를 제시합니다.

1. 크기 (Magnitude) 의 중요성: ETAS 는 "지진이 클수록 여진이 더 많이, 더 넓게 난다"는 물리 법칙을 수학식에 직접 넣었습니다. 하지만 AI 모델들은 이 크기와의 관계를 명시적으로 학습하지 못해 큰 지진에 취약합니다.
2. 긴 기억력: ETAS 는 과거의 모든 지진 기록을 기억합니다. 하지만 AI 모델들은 계산 비용 때문에 최근 20 개 정도의 지진만 기억하고 과거를 잊어버립니다. 큰 지진의 여파는 수십 년 전의 지진과도 연결될 수 있는데, AI 는 그 연결고리를 놓치고 있습니다.
3. 예측 방식의 차이: AI 는 "다음 지진이 언제 올까?"를 예측하도록 훈련되지만, 실제 지진 예보는 **"앞으로 24 시간 동안 몇 번의 지진이 일어날지"**를 시뮬레이션해야 합니다. 이 두 가지 목표가 달라 AI 가 실전에서 잘 작동하지 않습니다.
4. 물리 법칙의 결합: AI 는 "무조건 데이터만 믿고 배우자"는 태도지만, 지진은 물리 법칙을 따릅니다. 물리 법칙 (ETAS) 과 AI 의 유연성을 섞는 하이브리드 방식이 필요해 보입니다.

5. 결론: AI 는 아직 지진 예보에 쓸 수 없다?

아직은 아닙니다. 이 연구는 **"지진 예보라는 험난한 길에서 AI 는 아직 오프로드 트럭 (ETAS) 을 따라잡지 못했다"**는 것을 증명했습니다.

하지만 이 실패는 실패가 아니라 방향 제시입니다.

• AI 개발자들은 이제 "어디가 부족했는지"를 정확히 알았습니다.
• 지진학자와 AI 연구자들이 손잡고, 물리 법칙을 이해하는 AI를 만들 수 있는 발판이 마련되었습니다.

한 줄 요약:

"최신 AI 가 지진 예보에 도전했지만, 여전히 '큰 지진'이라는 괴물 앞에서는 전통적인 수학 모델이 더 강력했습니다. 이제 AI 는 물리 법칙을 배우고 긴 기억력을 길러야 진정한 지진 예보가가 될 수 있습니다."

이 연구는 머신러닝과 지진학이라는 두 세계가 서로의 강점을 배우며 협력할 수 있는 새로운 시작점을 제시합니다.

기술 요약

1. 문제 정의 (Problem)

지진 예측 분야에서 전통적으로 ETAS(Epidemic-Type Aftershock Sequence) 모델과 같은 고전적인 점 과정 (Point Process) 모델이 널리 사용되어 왔습니다. 최근 머신러닝 커뮤니티에서는 더 유연하고 복잡한 비선형 의존성을 학습할 수 있는 신경 점 과정 (Neural Point Processes, NPPs) 모델이 등장하며 ETAS 를 대체할 가능성이 제시되었습니다.

그러나 기존 NPP 모델의 성능을 평가하는 벤치마크에는 다음과 같은 심각한 한계점이 존재했습니다:

• 데이터 누출 (Data Leakage): 기존 벤치마크 (Chen et al., 2021) 는 시계열 데이터를 무작위로 분할하거나 순차적이지 않은 방식으로 훈련/테스트 세트를 구성하여, 미래의 정보를 과거에 누출시키는 문제가 있었습니다.
• 중요 데이터 누락: 일본 지역의 가장 큰 지진 (2011 년 도호쿠 지진, M9.0) 과 그 여진들을 '이상치'로 간주하여 데이터에서 제외시켰습니다. 이는 실제 지진학계에서 가장 예측이 중요하고 피해가 큰 대지진 시나리오를 평가할 수 없게 만듭니다.
• 비교 대상 부재: 기존 연구들은 ETAS 와 같은 지진학계의 최신 표준 모델 (State-of-the-Art) 과의 직접적인 비교를 생략하거나, 단순한 시간적/공간적 베이스라인만 사용했습니다.

이러한 문제들로 인해 NPP 모델의 실제 지진 예측 능력에 대한 신뢰할 수 있는 평가가 이루어지지 못했습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 EarthquakeNPP라는 새로운 벤치마킹 플랫폼을 제안했습니다.

• 데이터셋 구축:

  • 캘리포니아 지역 (전체, 남부, 산자키토 단층대, 살톤 시 등) 의 1971 년부터 2021 년까지의 지진 카탈로그를 포함합니다.
  • USGS ComCat, SCEDC, White 등 다양한 소스의 데이터를 활용하여, 관측 네트워크의 불완전성 (Catalog Incompleteness) 을 고려한 다양한 크기 임계값 ($M_c$) 을 가진 데이터셋을 구성했습니다.
  • 훈련, 검증, 테스트 세트를 엄격한 시계열 순차적 분할 (Chronological Split) 방식으로 구성하여 데이터 누출을 방지했습니다.

• 벤치마크 모델:

  • 기준 모델 (Baseline): 지진학계에서 표준으로 사용되는 ETAS 모델을 구현하여 비교 대상으로 삼았습니다.
  • 비교 대상 NPP 모델: 5 가지 최신 신경 점 과정 모델을 평가했습니다.
    1. NSTPP: 확률 밀도 함수 (PDF) 기반, CNF 사용.
    2. DeepSTPP: 조건부 강도 함수 기반, 잠재 과정 사용.
    3. AutoSTPP: 조건부 강도 함수 기반, 이중 네트워크 접근법.
    4. DSTPP: 생성형 모델 (Diffusion 기반).
    5. SMASH: 생성형 모델 (Score Matching 기반).

• 평가 지표 (Evaluation Metrics):

  • 로그 가능도 (Log-Likelihood): 시간적 및 공간적 로그 가능도를 계산하여 모델의 확률 분포 예측 능력을 평가합니다.
  • CSEP 일관성 테스트 (CSEP Consistency Tests): 지진 예측성 연구 협동실 (CSEP) 에서 사용하는 표준 프로토콜을 적용합니다. 10,000 번의 시뮬레이션을 통해 생성된 예측 분포와 실제 관측 데이터를 비교하여 시간적, 공간적, 크기 (Magnitude) 예측의 정확도와 보정 (Calibration) 을 검증합니다.

3. 주요 기여 (Key Contributions)

1. EarthquakeNPP 플랫폼 출시: 지진학계와 머신러닝 커뮤니티 간의 협력을 촉진하기 위해 공개된 데이터셋, ETAS 구현체, 그리고 표준화된 평가 프로토콜을 제공합니다.
2. 엄격한 벤치마크 설정: 데이터 누출이 없고, 대지진 시나리오를 포함하며, ETAS 와의 직접적인 비교가 가능한 최초의 체계적인 평가 환경을 마련했습니다.
3. NPP 모델의 한계 규명: 현재까지 제안된 5 가지 NPP 모델이 ETAS 를 능가하지 못한다는 사실을 실증적으로 증명했습니다.
4. 향후 연구 방향 제시: NPP 모델이 지진 예측에 적용되기 위해 해결해야 할 구체적인 아키텍처적 및 방법론적 과제를 제시했습니다.

4. 실험 결과 (Results)

• 로그 가능도 (Log-Likelihood) 평가:

  • 시간적 성능: ETAS 모델이 모든 데이터셋에서 일관되게 가장 높은 시간적 로그 가능도를 기록했습니다. NPP 모델들은 배경 (Background) 기간에는 ETAS 와 유사하거나 약간 나은 성능을 보였으나, 대지진 여진 시퀀스 (Large Earthquake Sequences) 발생 시 성능이 급격히 떨어졌습니다.
  • 공간적 성능: ETAS 가 모든 NPP 모델보다 공간적 로그 가능도에서 우위를 점했습니다. 특히 대지진 발생 지역과 단층대 근처에서 ETAS 의 성능이 압도적이었습니다.
  • 크기 (Magnitude) 의존성: ETAS 는 지진 크기를 명시적으로 모델링하여 여진의 규모와 공간적 범위를 정확히 예측하는 반면, 평가된 NPP 모델들은 크기 의존성을 명시적으로 인코딩하지 않아 대지진 시나리오에서 실패했습니다.

• CSEP 일관성 테스트:

  • ETAS: 모든 데이터셋과 테스트 (시간, 공간, 크기) 에서 높은 통과율 (Pass Rate) 을 보이며 잘 보정된 (Well-calibrated) 예측을 제공했습니다.
  • NPP 모델 (SMASH, DSTPP):
    • SMASH: 예측이 매우 변동적이고 (Spiky), 과대/과소 예측이 빈번하여 일관성 테스트 통과율이 낮았습니다.
    • DSTPP: 예측이 너무 평탄하여 (Smooth) 지진 활동이 활발한 기간과 배경 기간 모두에서 지진 발생 수를 체계적으로 과소평가했습니다.
    • 생성형 모델의 한계: NSTPP, DeepSTPP, AutoSTPP 는 생성적 평가 (시뮬레이션) 가 계산적으로 불가능하거나 매우 느려 CSEP 테스트에 적용할 수 없었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 적용성 부재: 현재까지의 NPP 구현체들은 ETAS 를 능가하지 못하며, 특히 대지진과 같은 고위험 시나리오에서 성능이 저하되어 실무적 지진 예측 (Operational Earthquake Forecasting) 에는 아직 적합하지 않음이 확인되었습니다.
• 향후 개선 방향 (Action Items):
  1. 명시적 크기 의존성 인코딩: NPP 아키텍처에 지진 크기가 여진 발생률과 공간적 범위에 미치는 지수적 영향을 반영해야 합니다.
  2. 확장 가능한 장기 기억 메커니즘: ETAS 는 전체 과거 이력을 고려하지만, NPP 는 계산 비용 문제로 최근 몇 개의 이벤트만 고려합니다. 희소 어텐션 (Sparse Attention) 등을 통해 장기 기억을 확장해야 합니다.
  3. 생성적 훈련과 운영 평가의 정렬: 생성형 모델의 훈련 목표가 장기 시뮬레이션 평가 (CSEP) 와 일치하도록 설계해야 합니다.
  4. 경험적 스케일링 법칙 통합: 물리 기반의 스케일링 법칙 (예: Gutenberg-Richter 법칙) 을 신경망 구조에 통합하는 하이브리드 접근법이 필요합니다.

결론적으로, EarthquakeNPP 는 머신러닝 기반 지진 예측 모델의 발전에 필수적인 기준점을 제공하며, 향후 연구가 지진학계의 실제 요구사항 (대지진 예측, 운영적 적용 가능성) 에 부합하도록 유도하는 플랫폼 역할을 할 것입니다.