🤖 machine learning

fev-bench: A Realistic Benchmark for Time Series Forecasting

기존 시계열 예측 평가 표준의 한계를 해결하기 위해, 저자들은 통계적으로 엄격한 집계 방식을 사용하여 신뢰할 수 있는 성능 비교를 제공하고 향후 연구 방향을 식별하는 fev 파이썬 라이브러리로 지원되는 7개 도메인에 걸친 100개 태스크의 포괄적인 벤치마크인 fev-bench를 도입한다.

원저자: Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

게시일 2026-07-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 열 명의 서로 다른 기상 예보가 중 누가 가장 뛰어난지 결정하려고 한다고 상상해 보세요. 단순히 내일의 기온을 예측해 보라고 한 뒤 누가 맞혔는지 확인하면 됩니다. 하지만 어떤 이들은 습도, 풍속, 과거 데이터까지 보고 있는 반면, 다른 이들은 그저 달력을 보고 추측만 하고 있다면 어떨까요? 그리고 만약 당신이 단 하루, 유난히 화창했던 날에만 정확도를 확인했다면 어떻게 될까요? 운 좋게 잘못된 승자를 선택하게 될 수도 있습니다.

이것이 바로 fev-bench라는 논문이 해결하고자 하는 문제입니다. 저자들은 시계열 예측 모델(판매량, 에너지 사용량, 주가 등 미래의 숫자를 예측하는 AI)을 테스트하는 데 사용되는 현재의 "성적표"들이 결함이 있다고 주장합니다. 이러한 성적표들은 너무 협소하고, 중요한 추가 정보(공변량이라고 불리는)를 무시하며, 특정 모델이 실제로 더 나은 것인지 아니면 단순히 운이 좋았던 것인지를 구별할 수 있는 통계적 엄밀함이 부족합니다.

다음은 쉬운 비유를 사용한 그들의 해결책에 대한 설명입니다.

1. 문제점: "단일 경로" 테스트

기존의 벤치마크를 직선으로 뚫린 빈 고속도로에서 치르는 운전 면허 시험이라고 생각해 보세요.

"교통량"의 부재: 현실 세계의 예측은 복잡한 도시에서 운전하는 것과 같습니다. 신호등, 보행자, 날씨 등에 반응해야 합니다. 예측에서 이것들은 공변량(공휴일이나 세일 기간 같은 추가 데이터)입니다. 대부분의 현재 테스트는 이를 무시하며, 이 때문에 이 데이터로 학습된 모델들은 이를 사용하는 법을 배우지 못합니다.
"운 좋은 추측" 문제: 많은 테스트가 단 하나의 숫자(예: "모델 A가 모델 B보다 5% 더 좋다")만을 보고합니다. 하지만 그 5%가 실제일까요, 아니면 단순한 무작위 노이즈일까요? 이는 동전 던지기를 6번 연속으로 앞면이 나왔다고 해서 그 사람이 천재라고 말하는 것과 같습니다. 다양한 시나리오에서도 그 결과가 유지되는지 확인하지 않는다면, 그 승자를 신뢰할 수 없습니다.
"블랙박스"의 혼란: 일부 테스트는 점수가 어떻게 매겨지는지 알 수 없는 잠긴 방과 같습니다. 만약 두 사람이 동일한 테스트를 수행하더라도 서로 다른 규칙을 사용한다면 결과가 달라질 수 있습니다. 이는 모델들을 공정하게 비교하는 것을 어렵게 만듭니다.

2. 해결책: fev-bench ( "도시 주행" 시뮬레이터)

저자들은 fev-bench(Forecast EValuation benchmark)라는 새로운 벤치마크를 구축했습니다. 이것을 100개의 서로 다른 "코스"(태스크)가 있는 거대하고 현실적인 운전 시뮬레이터라고 생각하세요.

다양한 지형: 단순히 하나의 고속도로 대신, 그들은 7개의 서로 다른 "도시"(소매, 에너지, 의료, 금융 등의 도메인)에 걸친 100개의 태스크를 보유하고 있습니다.
"교통량" 포함: 결정적으로, 46개의 태스크에는 공변량이 포함되어 있습니다. 이는 모델이 신호등과 비바람을 견디며 운전하도록 테스트하는 것과 같습니다. 이를 통해 많은 "스마트" 모델들이 이 추가 데이터를 무시하기 때문에 실제로 실패하고 있다는 사실이 드러납니다.
통계적 확신: 단일 점수를 주는 대신, 그들은 **부트스트래핑(bootstrapping)**이라는 방법을 사용합니다. 운전 테스트를 교통 패턴을 조금씩 바꿔가며 1,000번 실행한다고 상상해 보세요. 그런 다음 "신뢰 구간"(가능한 점수의 범위)을 계산합니다. 만약 모델 A가 1,000번의 실행 중 95%에서 모델 B를 이긴다면, 그때 비로소 A가 더 낫다고 확신할 수 있습니다. 만약 차이가 미미하다면, 테스트는 "아직 차이를 구별할 수 없다"고 인정합니다.

3. 도구: fev ( "심판의 클립보드")

모두가 동일한 규칙에 따라 경기를 할 수 있도록, 저자들은 fev라는 무료 소프트웨어 도구도 함께 공개했습니다.

이것을 표준화된 심판의 클립보드라고 생각하세요. 데이터 로딩, 점수 산정, 통계적 계산을 모두 처리합니다.
가볍고 사용하기 쉬워, 연구자들이 자신만의 복잡한 점수 시스템을 처음부터 구축할 필요가 없습니다. 이는 당신과 내가 동일한 테스트를 실행했을 때 정확히 같은 결과를 얻을 수 있도록 보장합니다.

4. 발견한 사실: "공변량"의 격차

오늘날 사용 가능한 최고의 AI 모델들을 대상으로 새로운 테스트를 실행했을 때, 놀라운 격차를 발견했습니다.

"스마트" 모델: 가장 최신의 고급 AI 모델들(Chronos-2와 같은)이 전반적으로 가장 우수한 성능을 보였습니다.
부족한 기술: 그러나 추가 데이터(공변량)를 사용할 수 있는 모델들이 이를 무시하는 모델들보다 훨씬 더 뛰어난 성능을 보였습니다.
현실 점검: 현재의 많은 "최첨단(state-of-the-art)" 모델들은 그 정보가 바로 옆에 있음에도 불구하고 본질적으로 신호등과 기상 보고를 무시하고 있습니다. 이 논문은 예측의 다음 큰 도약은 모델을 더 크게 만드는 것이 아니라, 그 추가적인 맥락을 사용하는 법을 가르치는 데서 올 것이라고 제안합니다.

요약

요컨대, fev-bench는 시계열 예측을 위한 더 현실적이고, 공정하며, 통계적으로 엄격한 "올림픽"입니다. 이는 모델들이 단순히 단순한 트랙에서 패턴을 암기하는 것이 아니라, 현실 세계의 복잡성(추가 데이터와 같은)을 다룰 수 있음을 증명하도록 강제합니다. 그들의 주요 발견은 정확한 예측의 미래가 과거의 숫자만을 이용하는 모델이 아니라, 모든 가용 정보를 활용할 줄 아는 모델에 달려 있다는 것입니다.

기술 요약: fev-bench

문제 정의

시계열 예측은 사전 학습된 파운데이션 모델(TSFMs)에 의해 변화를 겪고 있으며, 이들은 제로샷 추론 능력을 제공하며 종종 전통적인 방법론보다 뛰어난 성능을 보입니다. 그러나 이러한 모델들의 평가는 기존 벤치마크의 중대한 결함으로 인해 어려움을 겪고 있습니다. 현재의 프레임워크들은 도메인 커버리지가 제한적이고, 집계 시 통계적 엄밀성이 부족하며, 재현성을 저해하는 경직된 인프라를 갖추고 있는 경우가 많습니다.

식별된 핵심적인 격차는 공변량(covariates; 정적 변수, 과거 전용 변수, 알려진 동적 변수)에 대한 소홀함입니다. 이는 소매 수요 예측과 같은 실제 응용 분야에서 매우 흔하고 중요함에도 불구하고 간과되고 있습니다. 또한, 많은 벤치마크가 신뢰 구간 없이 단일 수치 요약만을 보고하여, 진정한 모델의 개선과 무작위 변동을 구분하기 어렵게 만듭니다. 마지막으로, 표준화되고 경량화된 평가 인프라의 부재는 연구 간의 일관되지 않은 구현과 비교 불가능한 결과를 초래합니다.

방법론

이러한 과제를 해결하기 위해 저자들은 7개 실세계 도메인(에너지, 자연, 클라우드, 모빌리티, 경제, 건강, 소매)에 걸친 100개의 예측 태스크로 구성된 포괄적인 벤치마크인 fev-bench를 소개합니다. 방법론은 다음 세 가지 기둥을 기반으로 구축되었습니다:

1. 벤치마크 구축

태스크 다양성: 본 벤치마크는 확립된 저장소(Monash, GIFT-Eval, BOOM)와 경진대회 데이터(Kaggle, M5)에서 가져온 96개의 고유한 데이터셋을 포함합니다. 이는 빈도(분 단위부터 연 단위까지), 예측 지평(horizon), 차원이 다양한 100개의 별도 태스크를 특징으로 합니다.
공변량 통합: 핵심적인 특징은 46개의 공변량 포함 태스크를 포함하여 정적 변수, 과거 전용 동적 변수, 알려진 동적 변수를 모두 다룬다는 점입니다. 이는 공변량을 대부분 무시하는 기존 벤치마크와 극명하게 대조됩니다.
평가 프로토콜: 태스크는 실제 배포 환경을 모사하고 통계적 견고함을 높이기 위해 여러 개의 평가 윈도우( $W$ )를 사용하는 롤링 오리진(rolling-origin) 프로토콜을 활용합니다. 윈도우의 수는 데이터셋 크기에 따라 조정됩니다(작은 데이터셋의 경우 최대 20개, 큰 데이터셋의 경우 1개).

2. 평가 지표 및 집계

본 벤치마크는 다음을 사용하여 점 추정(point) 및 확률적 예측을 평가합니다:

지표: 점 예측에는 MASE(Mean Absolute Scaled Error)를, 확률적 예측에는 SQL(Scaled Quantile Loss)을 사용합니다. SQL은 MASE와 유사하게 척도 독립적(scale-independent)이라는 장점이 있어 선택되었습니다.
집계 전략:
- 승률 ( $W_j$ ): 무작위로 선택된 경쟁 모델이 무작위 태스크에서 해당 모델보다 우수한 성능을 보일 확률입니다.
- 기술 점수 (Skill Scores, $S_j$ ): 고정된 베이스라인(Seasonal Naive) 대비 오차 감소량을 정량화하는 기하 평균 기반 지표로, 극단적인 값을 처리하기 위해 클리핑(clpping) 처리가 적용됩니다.
- 통계적 유의성: 성능 차이의 신뢰성을 다루기 위해, 저자들은 페어드 부트스트래핑(paired bootstrapping, 1,000개 샘플)을 사용하여 쌍별 승률과 기술 점수에 대한 95% 신뢰 구간을 계산합니다. 이를 통해 성능 격차가 벤치마크 구성의 변화에 얼마나 견고한지 판단합니다.

3. `fev` 라이브러리

벤치마크를 지원하기 위해 재현성과 통합을 목적으로 설계된 경량 파이썬 라이브러리인 fev가 제공됩니다.

설계: 의존성을 최소화하며(Hugging Face datasets와 pydantic에만 의존), 특정 라이브러리 버전(예: PyTorch, NumPy)을 하드코딩하지 않아 노후화를 방지합니다.
기능: 표준화된 태스크 정의, 데이터 로딩, 예측 스코어링 및 결과 집계를 제공합니다. 인기 있는 예측 라이브러리(GluonTS, darts, AutoGluon 등)를 위한 어댑터를 포함하지만, 평가 인프라가 시간이 지나도 안정적으로 유지될 수 있도록 모델 구현 자체는 포함하지 않습니다.

주요 결과

저자들은 최첨단 사전 학습된 TSFM(Chronos-2, TiRex, TimesFM-2.5, Moirai-2.0 등), 통계적 베이스라인, 그리고 태스크 특화 모델을 포함한 21개의 모델군을 평가했습니다.

모델 성능: Chronos-2는 가장 높은 평균 승률(확률적 91.4%, 점 예측 87.2%)과 기술 점수를 달성했으며, TiRex와 TimesFM-2.5가 그 뒤를 이었습니다. 사전 학습된 모델들은 일반적으로 통계적 모델 및 태스크 특화 모델보다 정확도와 실행 시간 측면 모두에서 우수한 성능을 보였습니다.
통계적 유의성: 부트스트래핑된 신뢰 구간을 통한 쌍별 비교 결과, Chronos-2와 다른 모델들 사이에 통계적으로 유의미한 격차가 있음이 드러났습니다. 그러나 TiRex와 TimesFM-2.5 사이의 격차는 상당한 중첩을 보여, 벤치마크 구성에 따라 두 모델 간의 명확한 승자를 가리기 어려움을 시사했습니다.
공변량의 영향: 핵심적인 발견은 공변량을 활용할 수 있는 모델(특히 Chronos-2 및 TabPFN-TS)이 공변량이 포함되었을 때 상당한 성능 향상을 보였다는 점입니다(예: Chronos-2의 기술 점수가 40.9%에서 47.0%로 증가). 반면, 대부분의 기존 사전 학습된 모델들은 공변량을 무시하여 잠재적인 정확도 향상 기회를 놓치고 있습니다.
다변량 vs 단변량: 고유의 다변량 모델링은 단변량 접근 방식에 비해 완만한 이득만을 제공했으며, 이는 공변량 통합에서 나타난 큰 개선 효과와 대조를 이룹니다.

의의 및 주장

본 논문은 fev-bench와 fev 라이브러리를 차세대 시계열 예측 연구를 위한 실질적인 토대로 제시합니다. 이 연구의 의의는 다음과 같습니다:

공변량 격차 해소: 46개의 공변량 포함 태스크를 명시적으로 포함함으로써, 본 벤치마크는 현재 TSFM 개발의 주요 결함을 지적하며 공변량 지원이 향후 연구의 명확한 방향임을 강조합니다.
통계적 엄밀성: 부트스트래핑된 신뢰 구간의 사용은 단순한 수치 순위를 넘어, 성능 차이가 실제적인 것인지 아니면 무작위 변동에 의한 것인지에 대한 더 신뢰할 수 있는 평가를 제공합니다.
재현성 및 유연성: fev 패키지의 경량화되고 모듈화된 설계는 거대하고 경직된 벤치마크 시스템의 한계를 극복하여, 기존 워크플로우로의 용이한 통합과 도메인 특화 확장을 용이하게 합니다.

저자들은 사전 학습된 모델들이 빠르게 발전하고 있지만, 실제 세계의 예측 응용 분야에서 지속적인 발전을 보장하기 위해서는 커뮤니티가 공변량 지원과 통계적으로 견고한 평가를 우선시해야 한다고 결론짓습니다.