🤖 machine learning

Understanding Key Features of Time Series Foundation Models from Epidemic Forecasting

이 논문은 지역 인플루엔자 예측을 위한 다양한 시계열 파운데이션 모델들을 체계적으로 평가하며, 여러 사전 학습된 예측기들을 융합한 전문가 혼합(mixture-of-experts) 구조가 특히 기계론적으로 정렬된 사전 학습 및 입원 데이터를 활용할 때 우수한 성능을 달성함을 입증하는 동시에, LLM 기반 방식이 수치 기반 방식에 비해 성능이 떨어진다는 점을 밝히고 있다.

원저자: Alireza Jafari, Judy Fox, Geoffrey C. Fox, Madhav Marathe, Aniruddha Adiga

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alireza Jafari, Judy Fox, Geoffrey C. Fox, Madhav Marathe, Aniruddha Adiga

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 우산을 챙길지 결정하기 위해 향후 며칠간의 날씨를 예측하려고 노력하고 있다고 상상해 보세요. 이제 그 대상을 날씨가 아니라 미국 전역의 여러 도시로 퍼지는 독감으로 바꾸어 상상해 보세요. 이것이 바로 이 논문의 연구자들이 하고자 했던 일입니다. 즉, 최고의 "독감 일기 예보"를 만드는 것입니다.

그들은 얼마나 많은 사람이 병에 걸리거나 병원에 입원하게 될지를 향후 1~4주 동안 어떻게 예측할 수 있는지, 어떤 현대적인 컴퓨터 두뇌(AI 모델)가 가장 뛰어난지를 알아내고자 했습니다.

다음은 이들의 연구 결과를 몇 가지 간단한 비유를 들어 정리한 이야기입니다.

1. 거대한 테스트: AI 모델들의 "맛보기 테스트"

연구진은 미국 내 10개 지역의 독감 유사 증상 및 병원 방문 데이터를 수집했습니다. 그런 다음 이 데이터를 17가지 서로 다른 유형의 AI 모델에 입력하여 누가 미래를 가장 잘 예측하는지 확인했습니다.

이 모델들을 서로 다른 종류의 요리사라고 생각하면 쉽습니다.

"올드 스쿨" 요리사: 오랫동안 존재해 온 전통적인 통계 모델들입니다.
"전문화된" 요리사: 숫자와 시간(예: PatchTST, iTransformer)을 위해 특별히 설계된 딥러닝 모델들입니다.
"언어" 요리사: 이야기를 쓰거나 대화를 하기 위해 설계된 언어 모델(LLM, 예: TimeLLM, Chronos)들입니다. 연구진은 이들의 "언어적 지능"이 "숫자 지능"으로도 이어질 수 있는지 궁금했습니다.
"마스터 셰프" (전문가 혼합 모델): MultiFoundationCore라고 불리는 이 새로운 모델은 단 하나의 요리사에게 의존하는 대신, 다양한 전문가 팀의 의견을 듣고 그들의 가장 좋은 아이디어들을 결합하여 하나의 최종 예측을 만들어내는 헤드 셰프 역할을 합니다.

2. 결과: 누가 콘테스트에서 승리했나?

결과는 일부 사람들에게는 놀라웠고, 전문가들이 예상했던 바를 확인시켜 주었습니다.

"언어" 요리사들의 고전: 텍스트를 위해 설계된 모델들(LLM)은 숫자를 다루는 전문 모델들만큼 성능이 좋지 않았습니다. 이 논문은 독감 수치를 처리하기 위해 "단어"로 변환하려는 시도가, 마치 시(poem)를 읽어서 국의 온도를 측정하려는 것과 같다고 제안합니다. 즉, 정확한 예측에 필요한 정밀하고 연속적인 세부 사항을 놓치게 된다는 것입니다.
"전문화된" 요리사들의 활약: 시계열 데이터(time-series data)를 위해 특별히 구축된 모델들(PatchTST 등)은 매우 강력했습니다. 특히 이들은 "사전 학습(pre-trained)"되었을 때 더욱 뛰어난 성능을 보였습니다.
- 사전 학습의 비유: 요리사가 당신의 주방에 오기 전 이탈리아에서 파스타 요리를 배우는 것을 상상해 보세요. 사전 학습이란 AI가 본격적으로 독감에 대해 배우기 전에, 다른 소스(교통 패턴이나 다른 질병 발생 사례 등)로부터 방대한 양의 데이터를 미리 공부하게 하는 것입니다. 이는 전문화된 요리사들에게 엄청난 선행 학습을 제공했으며, 특히 3~4주 앞을 예측할 때 큰 도움이 되었습니다.
"마스터 셰프"의 승리: MultiFoundationCore 모델이 1위를 차지했습니다. 여러 가지 "전문가" 모델의 예측을 융합함으로써, 이 모델은 단일 모델이 스스로 달성할 수 있는 것보다 더 정확하고 안정적인 예보를 만들어냈습니다. 이는 단 한 명의 사람에게 날씨를 묻는 대신, 전문가 패널에게 투표를 받는 것과 같습니다.

3. 두 가지 테스트 방식: 시간 vs 공간

연구진은 운전 면허 시험처럼 두 가지 방식으로 모델을 테스트했습니다.

시간 테스트 (Temporal): 모델을 한 도시의 과거 데이터로 학습시킨 뒤, 동일한 도시의 미래를 예측하게 했습니다. 이는 모델이 지역적인 "계절적 리듬"을 학습했는지 테스트합니다.
공간 테스트 (Spatial): 모델을 몇몇 도시의 데이터로 학습시킨 뒤, 한 번도 본 적 없는 완전히 새로운 도시들의 독감을 예측하게 했습니다. 이는 모델이 서로 다른 인구 구조와 보고 방식에 얼마나 잘 적응할 수 있는지 테스트합니다.
- 결과: 모델들은 일반적으로 시간 테스트에서 더 좋은 성적을 거두었습니다. 새로운 도시를 예측하는 것(공간 테스트)은 더 어렵습니다. 왜냐하면 모든 도시는 사람들이 병에 걸리고 이를 보고하는 방식에 있어 각기 고유한 "개성"을 가지고 있기 때문입니다.

4. 비밀 재료: 더 많은 데이터와 더 많은 신호

연구진은 모델에게 추가적인 도움을 주었을 때 어떤 일이 일어나는지도 살펴보았습니다.

더 긴 기록: 모델에게 더 긴 독감 기록(3년 대비 20년)을 제공하는 것은 미래를 더 멀리 예측하는 데 도움이 되었습니다. 이는 다음에 무슨 일이 일어날지 추측하기 전에 더 긴 일기를 읽는 것과 같습니다.
교차 학습: 입원 환자 수를 가르치는 것이 독감 증상을 예측하는 데 도움이 되고, 그 반대의 경우도 마찬가지라는 것을 발견했습니다. 이는 기침과 열을 모두 이해하는 의사와 같습니다. 하나를 알면 다른 하나를 이해하는 데 도움이 됩니다.
모델 업데이트: 모델을 빈번하게 재학습(몇 주마다 새로운 데이터로 업데이트)시키는 것이 모델을 날카롭게 유지해 준다는 것을 발견했습니다. 다만, 매일 업데이트하는 것은 컴퓨터가 감당하기에 비용이 너무 많이 들었습니다. 적절한 업데이트 주기가 최적의 지점이었습니다.

결론

이 논문은 단기(1~4주) 독감 예측을 위해 다음과 같이 결론짓습니다.

"단어" 모델을 사용하지 마세요: 언어를 위해 구축된 모델은 질병 발생률와 같은 연속적인 숫자에 가장 적합한 도구가 아닙니다.
"전문화된" 모델을 사용하세요: 시계열 데이터를 위해 구축된 모델들이 가장 잘 작동합니다.
사전 학습이 핵심입니다: 메인 작업 이전에 관련 데이터(병원 기록 등)를 통해 모델을 가르치는 것은 모델을 훨씬 더 똑똑하게 만듭니다.
결합하세요: 가장 신뢰할 수 있는 예보를 얻으려면 여러 가지 다른 모델을 섞는 것(전문가 혼합 방식)이 최선의 접근법입니다.

연구진은 다른 사람들이 미래의 공중 보건을 위한 더 나은 도구를 만들 수 있도록 모든 코드와 데이터를 공개했습니다.

기술 요약: 유행병 예측을 통한 시계열 파운데이션 모델의 핵심 특징 이해

문제 정의

계절성 인플루엔자의 정확한 단기 예측은 미국의 공중 보건에 있어 매우 중요한 과제로, 백신 접종 시기 결정, 병원 인력 배치 및 자원 할당에 정보를 제공합니다. CDC의 FluSight 및 COVID-19 Forecast Hub 이니셔티브가 유행병 예측을 위한 구체적인 벤치마크를 구축했음에도 불구하고, 현대적인 시계열 파운데이션 모델(FM)과 대규모 언어 모델(LLM) 기반 접근 방식이 실제 운영 중인 감염병 데이터에서 보이는 성능은 여전히 충분히 규명되지 않았습니다.

시계에서도 발생하는 기존의 시계열 FM 평가 연구들은 네 가지 주요 한계를 가집니다:

데이터 범위: 단일 국가 수준의 시계열 데이터에 의존하며 이력이 제한적이어서, 실제 계획 수립에 필수적인 다중 시즌 지역 패턴을 포착하지 못하는 경우가 많습니다.
일반화: 서로 다른 인구 통계 및 보고 관행을 가진 지역 간의 공간적 일반화(Spatial Generalization) 테스트가 거의 이루어지지 않습니다.
실험 설계: 많은 연구가 CDC의 운영 목표인 1~~4주와 동떨어진 임의의 긴 예측 구간(예: 24~~60주)을 사용하며, 데이터 수정(backfill) 과정을 무시합니다.
불일치성: 이질적인 데이터 파이프라인과 베이스라인으로 인해 진정한 모델링의 발전과 전처리 과정의 결과물을 구분하기 어렵습니다.

본 논문은 고전적인 신경망, 수치적 트랜스포머 기반 모델, 사전 학습된 시계열 FM, 그리고 LLM 기반 접근 방식을 비교함으로써, 현실적인 공중 보건 제약 조건 하에서의 지역적 인플루엔자 예측에 대한 체계적인 평가를 통해 이러한 격차를 해소합니다.

방법론

데이터 및 일반화 체계

본 연구는 인플루엔자 유사 증상(ILI)에 대해 약 20년 동안, 인플루엔자 관련 입원 사례에 대해 3개 시즌 동안의 미국 보건복지부(HHS) 지역 단위(10개 지역) 주간 시계열 데이터를 활용합니다.

시간적 일반화(Temporal Generalization): 특정 지역의 초기 세그먼트에 모델을 학습시키고, 동일 지역 내의 분리된 후기 시간 범위에서 평가합니다.
공간적 일반화(Spatial Generalization): 일부 지역의 데이터로 모델을 학습시키고, 완전히 보지 못한 다른 지역에서 평가하여 지리적 전이 능력을 테스트합니다.
사전 학습 소스: 교차 도메인 전이를 평가하기 위해 다음과 같은 다양한 코퍼스에서 모델을 사전 학습시킵니다:
- 유행병 주간 데이터: COVID-19 사망자 수.
- TrafficL: 고빈도 교통 차선 점유율.
- M4: 약 100,000개의 단변량 시계열로 구성된 대규모 이질적 벤치마크.
- 입원 데이터: 기계론적으로 연관된 신호로서 활용.

실험 설정

예측 구간(Horizons): CDC의 운영 목표에 맞춰 1~4주 앞을 예측합니다.
지표: 평균 제곱 오차(MSE) 및 정규화된 나쉬-서트클리프 효율성(NNSE).
평가 모델: 다음을 포함한 17개의 딥 포캐스팅 모델:
- 패턴 모델: PatchTST, iTransformer, TFT, TiDE, TCN, LSTM (반복형 및 직접형).
- 파운데이션 모델: Chronos 변형 모델, TimesNet, TimeLLM.
- 제안된 아키텍처: 여러 사전 학습된 예측기를 융합하는 혼합 전문가(Mixture-of-Experts, MoE) 모델인 MultiFoundationCore (MFC).
절제 연구(Ablations): 사전 학습 소스의 영향, 보조 신호의 사용(입원 데이터를 입력값으로 사용하는 것 vs 사전 학습에 사용하는 것), 재학습 빈도, 그리고 과거 데이터 길이를 조사합니다.

주요 기여

체계적 벤치마킹: 저자들은 1~4주 다중 구간 목표를 사용하여 명시적인 시간적 및 공간적 일반화 체계 하에서 ILI 및 입원 예측에 대한 시계열 파운데이션 모델의 첫 번째 체계적인 평가를 제공합니다.
아키텍처 비교: 모델 패밀리 간의 통제된 비교를 통해, 혼합 전문가(MoE) 전략, 특히 MultiFoundationCore (MFC) 모델이 가장 강력한 전반적 성능을 달ы 성함을 보여줍니다. MFC는 여러 사전 학습된 예측기를 융합하여 이질적인 표현을 활용함으로써 상호 보완적인 예측 정보를 제공합니다.
사전 학습 통찰: 사전 학습이 더 긴 예측 구간(3~4주)에서 가장 큰 이득을 제공하며, 특히 사전 학습 도메인이 인플루엔자 역학과 기계론적으로 일치할 때(예: 입원 데이터) 효과적임을 입증합니다. 대규모 일반 코퍼스(M4) 또한 장기 안정성에 상당한 이점을 제공합니다.
LLM의 한계: LLM 기반 시계 $\열$ 방법(예: TimeLLM, Chronos)이 이 환경에서 수치적 예측기보다 성능이 낮음을 발견했습니다. 저자들은 언어 스타일의 토큰화가 단기 유행병 예측에 중요한 연속적 수치 구조(진폭, 기울기, 위상)를 보존하는 데 실패하는 아키텍처 불일치 때문이라고 분석합니다.
보조 신호 분석: 입원 데이터의 유용성을 명확히 하여, 입원 데이터가 ILI 예측의 사전 학습 소스로서와 보조 공변량으로서 모두 성능을 향상시킨다는 것을 보여줍니다. 특히 사전 학습이 모든 구간에서 가장 일관된 이득을 제공합니다.

결과

시간적 평가 (지역 내)

최고 성능: MultiFoundationCore가 모든 개별 베이스라인을 능가하며 가장 우수한 전반적 평균 성능(MSE = 0.382, NNSE = 0.864)을 달성했습니다.
수치 모델 vs LLM 모델: 수치적 트랜스포머 기반 모델(PatchTST, iTransformer)이 LLM 기반 접근 방식보다 크게 앞섰습니다. 예를 들어, 최적의 Chronos 설정은 평균 MSE 0.683을 기록한 반면, PatchTST(사전 학습 미사용)는 0.439를 달성했습니다.
사전 학습의 영향: 사전 학습은 수치 모델의 성능을 일관되게 개선했습니다. 입원 데이터로 사전 학습된 PatchTST는 MSE 0.412를, M4 데이터로는 0.415를 기록하여, 베이스라인인 0.439보다 우수했습니다. 사전 학습의 이점은 4주 예측 구간에서 가장 두드러졌습니다.
전략: 반복적 접근 방식은 오차 누적으로 인해 긴 구간에서 어려움을 겪었으므로, 직접 다중 출력 예측 모델이 더 긴 구간에서 일반적으로 더 나은 성능을 보였습니다.

공간적 평가 (지역 간)

일반화: 10개 HHS 지역의 다양성이 제한적이었기 때문에, 모델은 일반적으로 공간적 분할보다 시간적 분할에서 더 높은 성능을 보였습니다.
최고 성능 모델: 공간적 설정에서는 PatchTST가 단일 모델 중 가장 우수한 성능(평균 MSE = 0.449, NNSE = 0.848)을 보였으며, TFT와 LSTM이 그 뒤를 이었습니다.
LLM 성능: LLM 기반 모델(TimeLLM)은 공간적 일반화에서도 계속해서 낮은 성능을 보였으며, 이는 언어 스타일의 사전 지식을 보지 못한 지리적 맥락으로 전이하는 것의 어려움을 뒷받リカ합니다.

보조 신호 및 재학습

입원 데이터: 입원 데이터를 ILI 예측의 사전 학습 소스로 사용할 경우 MSE가 크게 감소했습니다(예: TFT MSE가 0.428에서 0.346으로 감소). 이를 입력 스트림으로 사용하는 것도 짧은 ILI 이력을 가진 경우에 도움이 되었습니다.
재학습: 더 빈번한 재학습(200단계마다 하는 것 대비 10단계마다 수행)은 일관되지만 점진적으로 감소하는 정확도 이득을 가져왔으며, 이는 계산 비용과 예측 성능 사이의 실질적인 균형점이 존재함을 시사합니다.
입원 예측: 더 짧고 노이즈가 많은 입원 데이터셋의 경우, 컴팩트한 TinyLSTM 베이스라인이 보조 데이터가 없을 때 대규모 파운데이션 모델보다 놀랍게도 좋은 성능을 보였습니다. 그러나 ILI 공변량을 융합했을 때는 여전히 MultiFoundationCore가 가장 낮은 전체 오차(MSE = 0.00224)를 달성했습니다.

의의 및 주장

본 논문은 인플루엔자 감시를 위한 모델 선택 및 전략에 대한 실행 가능한 지침을 제공한다고 주장합니다:

모델 선택: 운영 중인 1~4주 예측을 위해서는 사전 학습된 수치적 전문가들을 융합하는 혼합 전문가(Mixture-of-Experts) 프레임워크가 단일 모델 접근 방식보다 우월합니다.
사전 학습 전략: 사전 학습은 더 긴 예측 구간에서 가장 유익하며, 소스 도메인이 대상과 기계론적으로 연관되어 있을 때(예: ILI에 대한 입원 데이터) 가장 효과적입니다.
LLM 주의사항: 재프로그래밍된 LLM이 전문적인 수치 모델을 결정적으로 능가한다는 주장은 현실적이고 짧은 구간의 다중 지역 유행병 설정에서는 지지되지 않습니다. 유행병 데이터의 연속적인 수치적 특성은 현재 언어 스타일의 아키텍처가 결여하고 있는 귀납적 편향(inductive bias)을 필요로 합니다.
데이터 유용성: 장기적인 감시 기록과 기계론적으로 연결된 보조 신호(입원 데이터 등)는 견고한 다중 구간 예측을 위해 매우 중요합니다.

저자들은 본 연구가 완전한 실시간 운영 시스템이라기보다는 예측 동작에 대한 체계적인 연구임을 강조합니다. 저자들은 향후 유행병 예측을 위한 시계열 파운데이션 모델 연구의 재사용 가능한 테스트베드로 활용될 수 있도록 코드, 데이터 및 사전 학습된 체크포인트를 공개합니다.