기술 요약: EpiCastBench

문제 제기

전염병 예측은 공중보건 정책의 핵심 요소가 되었으나, 포괄적이고 표준화된 벤치마크의 부재로 인해 견고하고 일반화 가능한 예측 방법의 개발이 저해되고 있습니다. 컴퓨터 비전 (ImageNet) 이나 자연어 처리 (GLUE) 와 같은 분야와 달리, 전염병 예측 분야에는 대규모 표준화된 저장소가 존재하지 않습니다. 기존 데이터셋은 종종 단변량이거나 특정 질병에 국한되거나 지리적으로 제한되어, 서로 다른 전염병과 환경 간의 전파 역학 다양성을 포착하지 못합니다. 또한, 통합된 평가 프로토콜이 부재하여 다양한 역학적 맥락에서 모델들을 공정하게 비교하거나 재현성을 평가하기 어렵습니다.

방법론

이러한 격차를 해소하기 위해 저자들은 데이터 기반 다변량 전염병 예측 모델을 평가하기 위한 대규모 벤치마킹 프레임워크인 EpiCastBench를 소개합니다.

데이터셋 큐레이션

본 프레임워크는 COVID-19, 수두, 치쿤구니야, 뎅기, 인플루엔자, 홍역, 결핵, 지카 등 8 가지 전염병의 발생 사례를 나타내는 40 개의 큐레이션된 다변량 시계열 데이터셋으로 구성됩니다. 이러한 데이터셋은 27 개의 서로 다른 지리적 지역을 포괄하여 상당한 공간적 변이와 역학적 다양성을 반영합니다. 데이터셋의 주요 특징은 다음과 같습니다:

• 시간적 세분성: 일별, 주별, 월별 주파수.
• 시리즈 길이: 60 개에서 2,088 개의 관측치까지 다양하며, 소규모, 중규모, 대규모 표본 크기를 포괄합니다.
• 차원성: 시리즈 수는 4 개에서 107 개까지 다양하며, 고차원 저표본 크기 시나리오 (예: 60 개의 시간 단계만 있는 중국의 31 개 성) 를 포함합니다.
• 데이터 과제: 데이터셋은 제로 인플레이션 (장기간의 0 사례 기간), 결측값 (마지막 관측값 전진 대체를 통해 대체됨), 그리고 다양한 희소성 수준을 보입니다.

글로벌 특징 분석

저자들은 R 의 tsfeatures 패키지를 활용하여 8 가지 글로벌 시계열 특징 (추세, 장기 기억, 비선형성, 비정상성, 엔트로피, 계절성, 뾰족함, 곡률) 을 분석했습니다. 이 분석은 전파 메커니즘에 기반한 뚜렷한 시간적 행동을 드러냈습니다:

• 공기 전파 질병(예: COVID-19, 홍역) 은 강한 비선형성과 비정상성을 보입니다.
• 매개체 전파 질병(예: 뎅기, 지카) 은 뚜렷한 뾰족함과 강한 추세를 보입니다.
• 접촉 전파 질병(예: 수두) 은 높은 엔트로피와 강한 계절성을 나타냅니다.
• 비말 전파 질병(예: 인플루엔자) 은 더 높은 곡률을 가진 균형 잡힌 특성을 보입니다.

실험 설정

본 연구는 고정 원점 평가 프로토콜을 사용하여 3 가지 예측 구간 (단기, 중기, 장기) 에서 15 개의 예측 모델을 평가했습니다. 모델들은 네 가지 패러다임에 걸쳐 있습니다:

1. 통계적 베이스라인: Naive (랜덤 워크).
2. 머신러닝: DLinear, Random Forest, XGBoost, TSMixer, KAN.
3. 딥러닝: LSTM, DeepAR, TCN, N-BEATS, N-HiTS, Transformers, TiDE.
4. 기반 모델: Chronos-2 와 TimesFM.

평가는 척도 독립적 지표 (MASE, SMAPE) 와 척도 의존적 지표 (MAE, RMSE) 를 사용하여 수행되었습니다. 통계적 유의성은 Friedman 검정과 최선 대비 다중 비교 (MCB) 검정을 통해 평가되었습니다.

주요 결과

실증적 평가는 다양한 데이터셋 크기, 질병 유형, 예측 구간에 따른 모델 성능과 관련하여 몇 가지 중요한 발견을 도출했습니다:

• 기반 모델의 우세: 기반 모델, 특히 TimesFM과 Chronos-2는 대부분의 데이터셋과 구간에서 일관되게 우수한 성능을 보였으며, 가장 낮은 중앙값 오차와 가장 안정적인 사분위 범위를 달성했습니다. 이들의 우위는 대규모 사전 학습에 기인하며, 이는 보이지 않는 전염병 역학에 대한 더 나은 일반화를 가능하게 합니다.
• 예측 구간의 영향:
  • 장기: 기반 모델은 복잡한 시간적 의존성과 비정상적 역학을 효과적으로 포착하여 가장 큰 우위를 보였습니다.
  • 단기: 고전적 머신러닝 모델 (예: KAN, Random Forest, XGBoost) 은 여전히 경쟁력을 유지하며, 때로는 매우 희소하거나 작은 데이터셋에서 딥러닝 모델을 능가하기도 했습니다.
• 제로 인플레이션과 표본 크기: 기반 모델의 성능은 제로 인플레이션과 표본 크기 간의 상호작용에 의해 조절됩니다. 중규모에서 대규모 데이터셋에서는 희소성을 잘 처리하지만, 작고 제로 인플레이션이 심한 시리즈 (예: 칠레의 특정 COVID-19 데이터셋) 에서는 그 우위가 감소하며, 앙상블 방법이 때때로 더 나은 성능을 보입니다.
• 질병별 역학:
  • 공기/비말 전파: 안정적인 추세와 계절성으로 인해 기반 모델이 탁월한 성과를 보였습니다.
  • 매개체 전파: 성능이 더 변동적이었으며, KAN 과 Random Forest 와 같은 모델이 급격한 지역적 역학을 포착하는 데 기반 모델을 능가하기도 했습니다.
  • 접촉 전파: TiDE 와 KAN 과 같은 모델은 높은 변동성과 혼합된 부드러운 계절적 역학을 포착하는 데 강력한 성능을 보였습니다.
• 통계적 유의성: MCB 검정은 기반 모델의 우수한 성능이 대부분의 구간에서 통계적으로 유의미함을 확인했습니다. 그러나 최상위 기반 모델 (TimesFM 과 Chronos-2) 간의 차이는 종종 통계적으로 유의미하지 않아 견고한 '최고 등급' 계층을 나타냈습니다.

중요성과 기여

본 논문은 전염병 예측 분야에 다음과 같은 기여를 주장합니다:

1. 표준화된 벤치마크: EpiCastBench 는 다변량 전염병 예측을 위한 최초의 대규모 통합 벤치마크를 제공하여, 다른 AI 분야와 비교 가능한 다양하고 고품질의 데이터셋 부재를 해소합니다.
2. 재현성과 공정성: 표준화된 전처리 파이프라인, 평가 설정, 통계적 테스트 프로토콜을 확립함으로써, 새로운 예측 방법들을 다양한 베이스라인과 비교할 수 있는 일관되고 재현 가능한 비교를 가능하게 합니다.
3. 실증적 통찰: 이 연구는 제로 인플레이션, 다양한 표본 크기, 전파 역학과 같은 특정 역학적 조건 하에서 다양한 모델 아키텍처가 어떻게 수행되는지에 대한 포괄적인 특성을 제공하여, 향후 모델 선택 및 개발을 안내합니다.
4. 오픈 리소스: 모든 데이터셋, 코드, 평가 스크립트는 공개되어 추가 연구와 더 일반화 가능한 전염병 예측 방법의 개발을 촉진합니다.

저자들은 기반 모델이 현재 가장 견고한 성능을 제공하지만, 서로 다른 질병과 데이터 체계의 구체적인 역학은 하이브리드 및 전문화된 접근법의 지속적인 탐구를 필요로 한다고 결론지었습니다. 그들은 시공간적 설정으로의 확장, 확률적 예측의 통합, 그리고 데이터 기반 모델에 역학적 역학 원리의 통합을 포함한 향후 연구 방향을 제시합니다.