🤖 machine learning

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

이 논문은 제로샷 시계열 예측을 위한 파운데이션 모델의 아키텍처, 사전 학습 전략 및 최적화 방법을 검토하며, 이러한 모델들을 특정 데이터셋에 대해 미세 조정하는 것이 제로샷 베이스라인보다 예측 정확도를 일관되게 향상시킨다는 것을 입증한다.

원저자: Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 미래를 예측하려고 노력하고 있다고 상상해 보세요. 우주의 운명이 아니라, 훨씬 더 실용적인 것 말이죠. 내일 도시가 얼마나 많은 전기를 필요로 할지, 상점이 얼마나 많은 우산을 재고로 쌓아두어야 할지, 혹은 한 시간 후의 번잡한 교차로에 교통량이 어떻게 흐를지와 같은 것들입니다. 이것이 바로 **시계열 예측(time series forecasting)**의 세계입니다. 수십 년 동안 전문가들은 이 숫자들을 추측하기 위해 수학적 레시피를 사용해 왔지만, 세상은 무질서하며, 데이터가 이상하거나 복잡해지면 오래된 레시피는 종종 실패하곤 합니다.

최근에는 컴퓨터가 시를 쓰고 인간처럼 대화할 수 있게 해주는 기술에서 영감을 받은 새로운 종류의 "슈퍼 학습자"가 등장했습니다. 이들은 **파운데이션 모델(Foundation Models)**이라 불립니다. 이들을 모든 요리의 맛을 본 마스터 셰프로 생각해보세요. 단 하나의 특정 요리(예를 들어, 한 식당의 국 한 그릇)를 배우는 대신, 이 셰프는 수백만 개의 서로 다른 레시피로부터 맛, 열기, 재료의 일반적인 규칙을 배웁니다. 일단 훈련이 되면, 이 셰프는 한 번도 본 적 없는 주방에 들어가서 그 특정 요리에 대한 구체적인 레시피 없이도 훌륭한 음식을 만들어낼 수 있습니다. 이것을 **제로샷 학습(zero-shot learning)**이라고 합니다. 즉, 모델이 "훈련 캠프"에서 배운 것을 바탕으로, 한 번도 본 적 없는 데이터에 대해 예측을 수행하는 것입니다.

하지만 여기서 중요한 질문이 생깁니다. 이 마스터 셰프를 새로운 주방에 보내서 혼자 일하게 하는 것이 나을까요, 아니면 일을 시작하기 전에 그 주방의 특정한 특징들에 대해 짧고 구체적인 교육을 시키는 것이 나을까요? 이것이 바로 모라드 라길(Morad Laglil)과 그의 팀이 작성한 새 논문의 핵심입니다. 그들은 이 거대한 사전 훈련된 시계열 모델들을 가져와서 특정 데이터에 대해 추가적인 훈련(이를 미세 조정/fine-tuning이라 부름)을 주는 것이 실제로 예측 능력을 향상시키는지, 아니면 단순히 모델을 혼란스럽게 만드는지를 알고 싶어 합니다.

거대한 "미세 조정" 실험

저자들은 이 아이디어를 테스트하기로 했습니다. 그들은 사용 가능한 가장 강력한 두 가지 "마스터 셰프" 모델인 Chronos 2와 TTM-R3-PT를 가져와 엄격한 훈련 캠프에 투입했습니다. 그들은 단순히 추측하게 내버려 두지 않았습니다. 대신 다양한 방식으로 모델을 가르치려고 시도했습니다.

그들은 세 가지 주요 접근 방식을 테스트했습니다:

제로샷(Zero-Shot): 모델이 추가적인 도움 없이 오직 일반적인 훈련만을 사용하여 미래를 예측하도록 합니다.
전체 미세 조정(Full Fine-Tuning): 모델 전체를 가져와 새로운 데이터로 처음부터 다시 훈련시켜, 뇌 안의 모든 숫자를 업데이트합니다.
매개변수 효율적 미세 조정(LoRA): 뇌 전체를 새로 쓰는 대신, 작고 가벼운 "어댑터" 층을 추가합니다. 이는 셰프에게 근본적인 요리 기술을 바꾸지 않고도 새로운 주방에 적응할 수 있는 특정 '치트 시트(요약 노트)'를 주는 것과 같습니다.

그들은 기상 패턴, 전력 사용량부터 병원 입원 환자 수, 판매 수치에 이르기까지 15개의 다양한 데이터셋으로 구성된 방대한 컬렉션을 통해 이 방법들을 테스트했습니다. 목표는 간단했습니다. 어떤 방법이 실제로 오류율을 낮추고 더 나은 예측을 만들어내는지 확인하는 것이었습니다.

무엇을 발견했는가: 크기와 맥락이 중요하다

결과는 놀라웠으며, 연구자들에게 모델의 크기와 직면한 데이터에 관한 귀중한 교훈을 주었습니다.

거대 모델(Chronos 2)의 경우:
이 모델은 1억 2천만 개의 매개변수를 가진 매우 거대한 모델입니다. 연구자들이 작은 데이터셋에 대해 "전체 미세 조정"(뇌 전체를 새로 쓰는 것)을 시도했을 때, 이는 역효과를 냈습니다. 모델은 혼란에 빠져 "과적합(overfitting)"되기 시작했는데, 이는 마치 연습 문제의 정답을 너무 완벽하게 외워버린 나머지, 약간 다른 질문이 나왔을 때 실제 시험에서 낙제하는 학생과 같습니다.

승자: LoRA 방식(작은 어댑터)이 중간 및 대규모 데이터셋에 대한 Chronos 2의 명확한 챔피언이었습니다. 작은 유연한 층을 추가함으로써, 모델은 일반적인 지식을 잊지 않으면서도 새로운 데이터에 적응할 수 있었습니다. 이를 통해 정확도가 향상되었으나, 대규모 데이터셋에서의 향상 폭은 약 2~3% 정도로 완만했습니다. 또한 전체 미세 조정에서 나타나는 성능 저하를 방 einz하는 데 결정적이었습니다.
교훈: 거대한 모델의 경우, 책 전체를 새로 쓸 필요 없이 몇 개의 포스트잇만 붙여주면 됩니다. 하지만 매우 작은 데이터셋에서는 거대 모델조차도 미세 조정을 하지 않았을 때 가장 좋은 성능을 보이는 경우가 많았습니다.

소규모 모델(TTM-R3-PT)의 경우:
이 모델은 100만 개에서 3,600만 개의 매개변수만을 가진 훨씬 더 압축된 모델입니다. 이 모델은 이미 화려한 어댑터가 필요 없을 만큼 충분히 작았습니다.

승자: 전체 미세 조정이 가장 효과적이었습니다. 모델이 작았기 때문에, 혼란을 겪지 않고 자신의 모든 가중치를 업데이트할 수 있었습니다. "어댑터" 방식(LoRA)은 별로 도움이 되지 않았고 때로는 상황을 악화시키기도 했습니다.
교훈: 소규모 모델의 경우, 가벼운 스트레칭보다는 전신 운동이 더 효과적입니다.

"하나의 크기가 모두에게 맞지는 않는다"는 규칙

논문은 또한 최선의 전략이 데이터의 유형, 데이터의 양, 그리고 특정 도메인에 크게 의존한다는 것을 발견했습니다.

작은 데이터셋: 만약 아주 적은 양의 데이터(예: 며칠간의 날씨 기록)만 가지고 있다면, 제로샷(모델 스스로 추측하게 두는 것)이 가장 안전한 선택인 경우가 많습니다. 너무 적은 데이터로 거대 모델을 미세 조정하려는 것은, 박사 과정 학생에게 단 세 장의 플래시카드로 새로운 과목을 가르치려는 것과 같습니다. 그들은 틀릴 가능성이 높습니다. 실제로 작은 데이터셋에 대한 Chronos 2의 경우, 미세 조정은 오히려 성능을 떨어뜨렸습니다.
큰 데이터셋: 데이터가 풍부할 때는 미세 조정이 추측보다 나은 경우가 많지만, 그것이 반드시 승리를 보장하는 것은 아닙니다. 논문은 더 큰 데이터셋에서도 제로샷 추론이 여러 특정 구성에서 미세 조정을 앞서는 경우가 있음을 보여주었습니다.
다른 도메인: 모델은 주제에 따라 다르게 행동했습니다. 예를 들어, "자연(Nature)" 도메인(강 수위나 날씨 등)의 경우, 거대 모델은 이미 추측을 너무 잘하고 있어서 미세 조정이 오히려 성능을 악화시켰습니다. 하지만 "교통(Transport)"(교통량 등)의 경우, 미세 조정은 두 모델 모두에게 큰 도움이 되었습니다.

결론

이 논문은 파운데이션 모델이 특정 훈련 없이도 미래를 예측할 수 있는 강력한 도구이지만, 미세 조정은 (올바른 상황에 올바른 레시피를 선택한다면) 그들을 더욱 뛰어나게 만들 수 있는 강력한 도구라고 결론짓습니다.

만약 당신이 거대 모델을 가지고 있다면, 특히 큰 데이터셋을 다룰 때 "어댑터(LoRA)" 방식을 사용하여 부드럽게 조정하세요. 만약 더 작은 모델을 가지고 있다면, 마음껏 전체 훈련을 시켜도 좋습니다. 그리고 만약 데이터가 거의 없거나 데이터가 매우 특이하다면(자연 패턴처럼), 간섭 없이 모델이 최선을 다해 추측하도록 내버려 두는 것이 더 안전할 수 있습니다.

이 연구는 우리가 매번 새로운 문제를 해결하기 위해 새로운 모델을 구축할 필요가 없는, 새로운 세대의 예측 시대로 나아가고 있음을 시사합니다. 대신, 우리는 하나의 거대하고 똑똑한 모델을 사용하고, 주식 가격 예측부터 다음 도시 버스 노선 계획에 이르기까지 거의 모든 시간 기반 퍼즐을 풀 수 있도록 빠르게 맞춤형 수업을 제공할 수 있습니다. 예측의 미래는 단순히 더 큰 뇌를 갖는 것이 아니라, 어떻게 하면 올바른 교훈을 줄 수 있는지 아는 것에 달려 있습니다.

기술 요약: 시계열 예측을 위한 파운데이션 모델 및 미세 조정(Fine-Tuning)

문제 정의

시계열 예측은 에너지, 교통, 금융과 같은 다양한 도메인에서 매우 중요한 과업입니다. 전통적인 통계적 방법(예: ARIMA)과 현대적인 딥러닝 모델들이 이 분야를 발전시켜 왔으나, 이들은 일반적으로 특정 타겟 데이터셋에 대해 처음부터 학습(training from scratch)을 수행해야 합니다. 이러한 방식은 데이터 집약적이며, 타겟 데이터셋이 작거나 새로운 컨텍스트에 빠르게 적응해야 하는 경우 실용적이지 못한 경우가 많습니다.

자연어 처리(NLP) 분야의 파운데이션 모델의 성공에 영감을 받아, 시계열 파운데이션 모델(TSFMs)이 등장했습니다. 이 모델들은 방대하고 다양한 코퍼스를 사전 학습하여 일반화 가능한 시간적 표현(temporal representations)을 학습합니다. TSFM은 강력한 제로샷(zero-shot) 능력(재학습 없이 미학습 데이터에 대해 예측하는 능력)을 보여주지만, 기존 문헌에서는 성능을 더욱 향상시키기 위해 이러한 모델을 특정 타겟 데이터셋에 미세 조정(fine-tuning)하는 잠재력을 충분히 탐구하지 않았습니다. 본 논문은 사전 학습된 TSFM을 특정 다운스트림 태스크에 효과적으로 적응시키는 방법, 즉 제로샷 일반화와 데이터셋 특화 전문화 사이의 트레이드오프를 균형 있게 다루는 방법을 이해하는 데 발생하는 간극을 해결하고자 합니다.

방법론

1. 아키텍처 및 학습 전략 검토

저자들은 현재 TSFM의 지형을 아키텍처와 학습 목적에 따라 분류하여 종합적인 검토를 제공합니다(논문의 표 1에 요약됨):

아키텍처: 리뷰는 트랜스포머 기반 모델(예: Chronos, Moirai, TimesFM, Timer-S1), 순환 신경망(sLSTM 기반의 TiRex), 그리고 MLP-Mixer 모델(TTM)을 다룹니다.
사전 학습 전략: 모델들은 방대한 코퍼스(예: LOTSA, TimeBench, 합성 데이터)를 활용한 자기지도 학습(self-supervised learning)을 사용합니다. 학습 목적은 자기회귀적 토큰 예측(Chronos), 마스크된 패치 예측(Moirai), 퀀타일 손실 최소화(TimesFM, TTM) 등으로 다양합니다.
적응 메커니즘: 본 논문은 두 가지 주요 미세 조정 전략을 상세히 설명합니다:
- 전체 미세 조정 (Full Fine-Tuning, FFT): 타겟 데이터셋에 대해 모델의 모든 파라미터를 업데이트합니다.
- 매개변수 효율적 미세 조정 (Parameter-Efficient Fine-Tuning, PEFT): 특히 **저차원 적응(Low-Rank Adaptation, LoRA)**을 다루며, 이는 사전 학습된 가중치를 고정하고 저차원 섭동 행렬( $\Delta W = BA$ )을 학습함으로써 학습 가능한 파라미터 수를 크게 줄입니다.
- 데이터 효율성: 연구는 또한 퓨샷(Few-Shot) 설정(타겟 데이터의 20%만 사용)과 풀샷(Full-Shot) 설정을 함께 고려합니다.

2. 경험적 평가 프로토콜

저자들은 7개 도메인(예: Web/CloudOps, 에너지, 교통, 의료)과 10개의 주기를 아우르는 23개 데이터셋(단변량 15개, 다변량 8개)으로 구성된 GIFT-Eval 벤치마크를 사용하여 광범한 경험적 연구를 수행했습니다.

선택된 모델: 미세 조정을 위해 두 가지 최상위 성능의 공개 모델을 선택했습니다: Chronos 2 (120M 파라미터, 인코더 전용 트랜스포머) 및 TTM-R3-PT (1M–36M 파라미터, MLP-Mixer).
실험 설정:
- 모델은 제로샷(Zero-Shot) (사전 학습된 상태 그대로), 전체 미세 조정(FFT), LoRA-FullShot, LoRA-FewShot 구성으로 평가되었습니다.
- 현실적인 배포 제약 조건을 시뮬레이션하기 위해 모든 데이터셋에 대해 하이퍼파라미터를 고정했습니다(데이터셋별 튜닝 없음).
- 지표: 성능은 점 예측(point forecasting)을 위한 MAPE와 확률적 예측(probabilistic forecasting)을 위한 CRPS를 근사하는 MWQL(Mean Weighted Quantile Loss)을 사용하여 측정되었으며, 계절적 나이브(Seasonal Naive) 베이스라인에 대해 정규화되었습니다.

주요 결과

본 연구는 미세 조정의 효용성이 모델 규모, 데이터셋 크기, 도메인 특성에 따라 크게 달라짐을 밝혀냈습니다:

데이터셋 크기의 영향:
- Chronos 2 (대규모 모델): 작은 데이터셋에서는 제로샷 추론이 모든 미세 조정 전략보다 우수한 성능을 보였습니다. 전체 미세 조정(FFT)은 성능을 심각하게 저하시켰으며(오버피팅), LoRA는 미미하거나 부정적인 이득만을 제공했습니다. 중형 및 대형 데이터셋에서는 LoRA-FullShot이 가장 우수한 전략으로 나타났으며, 제로샷 성능을 2~3% 개선했습니다.
- TTM-R3-PT (소규모 모델): 규모가 더 작은 TTM은 직접적인 가중치 업데이트로부터 더 많은 이득을 얻습니다. **전체 미세 조정(FFT)**은 대형 데이터셋에서 완만한 개선을 제공하는 반면, LoRA 변형들은 거의 이득이 없거나 때때로 성능을 저하시킵니다.
도메인별 성능:
- 교통 (Transport): 미세 조정이 일반적으로 유익합니다. LoRA(특히 Few-Shot)가 종종 최상의 MAPE 결과를 보여주는데, 이는 가벼운 적응이 노이즈가 많고 엔트로피가 높은 역학 관계에 대한 오버피팅을 방지하는 데 도움이 됨을 시사합니다.
- 자연 및 에너지 (Nature & Energy): 제로샷 Chronos 2는 특히 Nature 도메인에서 매우 강력하며, 이곳에서 전체 미세 조정은 오류를 크게 증가시킵니다(예: 단기 예측에서 MAPE 오류 +39%).
- Web/CloudOps: Chronos 2의 경우 LoRA-FullShot이 가장 효과적인 전략인 반면, TTM의 경우 제로샷이 경쟁력을 유지합니다.
전략 비교:
- LoRA vs. FFT: Chronos 2와 같은 대규모 모델의 경우 매개변수 효율적 적응(LoRA)이 필수적입니다. 전체 미세 조정(FFT)은 신뢰할 수 없으며 오버피팅되기 쉽습니다. TTM과 같은 소규모 모델의 경우, 전체 미세 조정이 충분히 효과적이고 적절합니다.
- 데이터 효율성: LoRA-FewShot은 특정 시나리오(예: Chronos 2의 에너지 도메인)에서 경쟁력이 있지만, 충분한 데이터가 있는 경우에는 일반적으로 LoRA-FullShot이 더 우수한 성능을 보입니다.

주요 기여

포괄적 검토: 본 논문은 시계열 파운데이션 모델에 대한 통합된 분석 프레임워크를 구축하여, 그들의 아키텍처(Transformer, RNN, MLP), 사전 학습 코퍼스 및 최적화 전략을 상세히 설명합니다.
체계적인 미세 조정 연구: 이 연구는 저자들이 주장하는 바와 같이 TSFM에 대한 최초의 대규모 경험적 미세 조정 연구입니다. 제로샷, 전체 미세 조정, 매개변수 효율적 미세 조정(LoRA)을 95개의 고유한 구성(데이터셋 $\times$ 주기 $\times$ 호라이즌)에 걸쳐 체계적으로 비교했습니다.
실무 가이드라인: 연구는 실무자들에게 실행 가능한 통찰력을 제공합니다:
- 데이터셋이 작거나 계산 자원이 제한적인 경우 **제로샷(Zero-Shot)**을 사용하십시오.
- 오버피팅을 방지하기 위해 대형 파운데이션 모델(예: Chronos 2)을 중대형 데이터셋에 적용할 때는 LoRA-FullShot을 사용하십시오.
- 오버피팅 위험을 피할 수 있을 만큼 파라미터 수가 적은 소규모 모델(예: TTM)의 경우 **전체 미세 조정(Full Fine-Tuning)**을 사용하십시오.

의의 및 주장

본 논문은 시계열 예측 모델의 "새로운 세대"를 향한 기초적인 단계로 자리매김합니다. 이 논문의 주요 의의는 미세 조정이 파운데이션 모델의 잠재력을 완전히 끌어내기 위해 실행 가능하며 종종 필요한 단계임을 입증했다는 데 있습니다. 단, 이는 적응 전략이 모델의 규모 및 데이터의 양과 일치할 때만 해당됩니다.

저자들은 미세 조정이 일반적으로 성능을 향提升시키지만, 만능 해결책은 아니라는 점을 겸허히 언급합니다. 데이터가 부족한 시나리오에서는 사전 학습된 모델의 일반화 능력(Zero-Shot)이 여전히 우월합니다. 또한, 본 논문은 NLP와 비교했을 때 다양한 공개 시계열 데이터의 부족, 그리고 이러한 모델이 시간적 정보를 어떻게 압축하고 일반화하는지에 대한 이론적 이해의 부재 등 이 분야의 현재 한계를 강조합니다. 이 연구는 더욱 견고하고 효율적인 시계열 파운데이션 모델 적응 메커니즘에 대한 미래 연구를 위한 벤치마크 역할을 합니다.