📊 statistics

Model selection with proper scoring rules on data sets of time series

본 논문은 점수 분포의 왜도(skewness)가 시계열 데이터에서 평균, 중앙값 및 순위 기반 통계치 간의 상충하는 모델 선택 결과를 어떻게 유발하는지 조사하며, 테스트 세트가 커짐에 따라 이러한 기준들이 수렴하지만, M5 경진대회를 포함한 간헐적 시계열 분석을 통해 입증된 바와 같이 짧은 테스트 세트에서는 평균 점수가 실제 모델을 식별하는 데 독보적으로 신뢰할 수 있음을 입증한다.

원저자: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 최고의 선수를 뽑으려는 코치라고 상상해 보세요. 당신에게는 아주 많은 선수들(시계열 데이터)이 있고, 당신은 누가 평균적으로 가장 잘하는지 알고 싶습니다. 선수를 평가하기 위해, 당신은 실수를 할 때마다 벌점을 부여하는 "성적표"(적절한 점수 규칙, proper scoring rule)를 사용합니다. 이 숫자가 낮을수록 더 좋은 선수입니다.

이 논문은 많은 선수와 많은 경기를 두고 그 성적표를 어떻게 읽어야 하는지에 관한 것입니다. 저자들은 우리가 보통 점수를 합산하는 방식이 때때로 우리를 잘못된 선수를 선택하도록 속일 수 있다는 사실을 발견했습니다. 특히 경기가 짧거나, 실수가 드물지만 매우 치명적인 경우에 그렇습니다.

다음은 쉬운 비유를 사용한 요약입니다:

1. 문제점: 두 가지 계산 방식

팀의 선수들을 평가할 때, 단 하나의 경기만 봐서는 안 됩니다. 선수들의 결과를 결합해야 합니다. 논문에 따르면 코치들이 주로 사용하는 두 가지 주요 방식이 있습니다:

방법 A: "평균 벌점" (평균 스케일 점수, Mean Scaled Score). 선수가 받은 모든 벌점을 모두 더한 다음, 경기 수로 나눕니다. 이것은 그들의 실수가 초래한 평균적인 비용을 알려줍니다.
방법 B: "승패 기록" (평균 순위, Mean Rank). 점수를 보지 않습니다. 대신, 단순히 이렇게 묻습니다: "선수 A가 선수 B를 상대로 몇 번 이겼는가?" 승리 횟수를 셉니다. 만약 선수 A가 더 많은 경기에서 이겼다면, 그 선수가 1위를 차지합니다.

2. 함정: "거대한 실수"의 왜곡 (The "Big Mistake" Skew)

저자들은 특정 유형의 예측(예: 희귀한 사건이나 높은 수치를 예측하는 경우)에 대해 "성적표"가 **왜곡(skewed)**된다는 것을 발견했습니다.

비유:
어떤 게임에서 당신은 보통 작은 실수(예: 신발 끈에 걸려 넘어지는 것)를 하지만, 가끔씩 아주 거대하고 파괴적인 실수(예: 절벽에서 떨어지는 것)를 한다고 가정해 봅시다.

**"평균 벌점" (방법 A)**은 절벽 낙하를 봅니다. 작은 넘어짐들과 한 번의 거대한 추락을 모두 더하여 높은 평균 벌점을 부여합니다. 이 방식은 당신이 위험하다는 것을 인지합니다.
**"승패 기록" (방법 B)**은 경기를 개별적으로 봅니다. 100번의 경기 중 99번 동안 당신은 단지 신발 끈에 걸렸을 뿐이며, 이는 아주 작은 벌점입니다. 나머지 1번의 경기에서 당신은 절벽에서 떨어졌습니다.
- 만약 당신의 라이벌이 절대로 절벽에서 떨어지지는 않지만, 당신보다 약간 더 자주 신발 끈에 걸리는 선수라면, 방법 B는 이렇게 말할 수 있습니다: "헤이, 당신은 99번의 경기에서 이겼군요! 당신이 챔피언입니다!"
- 하지만 방법 A는 이렇게 말합니다: "잠깐, 그 한 번의 절벽 낙하가 시즌 전체를 망쳤습니다. 당신의 평균 벌점은 실제로는 훨씬 더 나쁩니다."

논문은 **방법 B (평균 순위)**가 위험하다고 주장합니다. 왜냐하면 그것은 실수의 크기를 무시하기 때문입니다. 그것은 오직 누가 더 많은 개별 라운드에서 이겼는지만 신경 씁니다. 만약 "절벽 낙하"(거대한 오류)가 드물게 발생한다면, 방법 B는 특히 충분한 경기를 관찰하지 못했을 때(짧은 테스트 세트) 이를 놓치기 쉽습니다.

3. 해결책: 더 많은 경기를 관찰하라

저자들은 경기를 더 많이 관찰할 때(테스트 세트 크기를 키울 때) 어떤 일이 일어나는지 시뮬레이션을 통해 확인했습니다.

짧은 테스트 세트 (적은 경기 수): 방법 B는 신뢰할 수 없습니다. 이는 거대한 실수를 피한 덕분에 운 좋게 좋은 점수를 받은 선수를 챔피언으로 잘못 선택할 가능성이 높습니다.
긴 테스트 세트 (많은 경기 수): 경기를 점점 더 많이 관찰함에 따라, "절벽 낙하"가 결국 발생하게 되고, 비로소 방법 B도 진실을 보기 시작합니다. 두 방식이 서로 일치하게 됩니다.

핵심 발견: 만약 데이터의 기록(테스트 세트)이 짧다면, **방법 A (평균 벌점)**만이 진정으로 최고의 모델을 일관되게 선택합니다. 방법 B는 운 좋게 거대한 실수를 피한 모델을 최고의 모델이라고 속이는 데 너무 취약합니다.

4. 실제 사례 테스트: M5 경연 대회

저자들은 수천 개의 제품(일부 제품은 판매가 매우 드문 '간헐적' 제품임)의 판매량을 예측하는 유명한 "M5 예측 경연 대회"의 실제 데이터를 사용하여 이를 테스트했습니다.

그들은 두 가지 수학적 모델을 비교했습니다:

포아송(Poisson) 모델: 더 단순한 모델.
음이항(Negative Binomial) 모델: 수요의 "스파이크(급증)"를 더 잘 처리하는 것으로 알려진 더 복잡한 모델.

결과는 어떠했는가?

짧은 데이터에서 **방법 B (평균 순위)**를 사용했을 때, 종종 포아송 모델이 선택되었습니다. 이 방식은 단순한 모델이 더 많은 개별 라운드에서 "승리"했기 때문에 그 모델이 더 낫다고 생각했습니다.
**방법 A (평균 벌점)**를 사용했을 때는, 일관되게 음이항 모델을 선택했습니다. 이는 음이항 모델이 거대한 스파이크를 더 잘 처리한다는 것을 정확히 식별해 낸 것입니다.

저자들은 방법 A가 옳았다고 결론지었습니다. "승패 기록" 방식은 테스트 세트가 너무 짧아서 단순한 모델이 대응하지 못한 드문 대규모 오류를 포착하지 못해 속았습니다.

5. 벌점을 측정하는 방식이 중요한가?

논문은 또한 벌점을 측정하는 데 사용되는 "자" (스케일링 계수)를 바꾸는 것이 결과에 영향을 미치는지 확인했습니다.

좋은 소식: "평균 벌점" 방식은 매우 견고(robust)합니다. 벌점을 달러로 측정하든, 백분율로 측정하든, 혹은 기준값에 대비하여 측정하든, 이 방식은 거의 항상 동일한 승자를 선택합니다.
나쁜 소식: "승패 기록" 방식은 취약합니다. 이 방식은 측정 방식이나 보유한 데이터 양에 따라 결과가 뒤바뀔 수 있습니다.

핵심 요약

최고의 예측 모델을 선택하려고 한다면:

단순히 승리 횟수만 세지 마세요. (평균 순위에만 의존하지 마세요.)
실수의 평균 비용을 확인하세요. (평균 스케일 점수를 사용하세요.)
짧은 데이터에 주의하세요. 만약 충분한 이력이 없다면, "승패 기록" 방식은 서류상으로는 좋아 보이지만 드문 대형 이벤트가 발생했을 때 실패할 모델을 선택하도록 당신을 속일 것입니다.

이 논문의 핵심 메시지는 다음과 같습니다: "거대한 재앙을 피해서 운 좋게 버틴 선수가 최고의 선수라고 착각하게 두지 마세요. 그들의 전체적인 평균 성과를 보십시오."

기술 요약: 시계열 데이터 세트에서 적절한 점수 규칙(Proper Scoring Rules)을 이용한 모델 선택

문제 정의
본 논문은 여러 시계열을 포함하는 데이터 세트 전반에서 최적의 확률 모델을 선택하는 과제를 다룹니다. 단일 시계열에서의 모델 선택은 가장 낮은 점수를 가진 모델을 선택하는 것이므로 간단하지만, $n$ 개의 시계열에 걸쳐 성능을 집계하려면 요약 통계량이 필요합니다. 가장 흔히 사용되는 두 가지 접근 방식은 평균 스케일링 점수(mean scaled score)(비교 가능성을 보장하기 위해 스케일링 후 점수 평균화)와 평균 순위(mean rank)(시계열 전반에 걸친 모델의 순위 평균화)입니다. 기존 문헌에서는 이 두 기준이 상충하는 결정을 내릴 수 있다고 지적해 왔으나, 근본적인 원인과 각 기준의 신뢰성은 불분명한 상태로 남아 있었습니다. 또한, 평균 스케일링 점수가 스케일링 계수(scaling factor)의 선택에 얼마나 민감한지에 대한 문제도 미해결 과제였습니다.

방법론
저자들은 이론적 분석, 시뮬레이션, 그리고 실제 간헐적 시계열 데이터에 대한 경험적 평가를 결합하여 이러한 문제들을 조사합니다.

왜도(Skewness)에 대한 이론적 분석: 본 논문은 일반적인 적절한 점수 규칙(Quantile Score, Interval Score, CRPS)의 점수 분포를 분석합니다. 저자들은 이러한 분포가 본질적으로 왜도(skewed)를 띠며, 특히 높은 분위수( $p > 0.5$ )에서 그러함을 입증합니다. 이러한 왜도는 과소 추정 오류(높은 분위수에서 드물게 발생하는 사건)가 과대 추정 오류보다 훨씬 더 무겁게 처벌받기 때문에 발생합니다.
시뮬레이션 연구: 참 모델( $N(0, 1)$ )과 오설정된 모델( $N(0, 0.85^2)$ )을 테스트 세트 길이( $n_{te}$ ) 변화에 따라 비교하는 시뮬레이션을 수행했습니다. 이 연구는 평균 점수(기댓값 추정)와 평균 순위(중앙값 차이 추정)가 $n_{te}$ 가 증가함에 따라 어떻게 변화하는지 평가합니다.
경험적 평가: 저자들은 간헐적 수요의 세 가지 데이터 세트인 M5 경진대회 하위 레벨 시리즈(30,490개 시리즈), Auto(3,000개 시리즈), RAF(5,000개 시리즈)에 이 기준들을 적용했습니다. 이들은 다양한 점수 규칙(CRPS, 다양한 분위수의 QS)과 스케일링 계수(MAE naive, 인샘플 평균, 경험적 분포의 인샘플 점수)를 사용하여 포아송(Poisson) 분포와 음이항(Negative Binomial) 분포(과분산으로 인해 간헐적 수요에 이론적으로 더 우수한 분포)를 비교했습니다.

주요 기여 및 결과

충돌의 원인: 본 논문은 평균 순위와 평균 스케일링 점수 사이의 결정 충돌이 점수 분포의 왜도에 의해 발생함을 밝혀냈습니다.
- 평균 스케일링 점수는 점수 규칙의 기댓값을 추정합니다.
- 평균 순위(및 win rate, 중앙값 점수와 같은 관련 통계량)는 모델 간의 중앙값 차이를 효과적으로 추정합니다.
- 점수 차이의 분포가 왜곡되어 있을 때(짧은 $n_{te}$ 또는 높은 분위수에서 흔함), 평균과 중앙값은 서로 다른 "최적" 모델을 가리킬 수 있습니다. 구체적으로, 오설정된 모델은 짧은 테스트 세트에서 드물지만 무겁게 처벌받는 과소 추정 오류를 피함으로써 빈번하게 낮은 점수를 기록할 수 있으며, 이로 인해 평균 순위는 잘못되게 오설정된 모델을 선호하게 됩니다.
테스트 세트 크기에 따른 수렴: 테스트 세트 길이( $n_{te}$ )가 증가함에 따라 점수 분포는 더욱 대칭적이 되고(중심한계정리에 의해), 평균 순위와 평균 스케일링 점수는 점진적으로 동일한 결론으로 수렴합니다. 그러나 짧은 테스트 세트의 경우, 평균 점수만이 참 모델을 신뢰성 있게 식별합니다.
평균 스케일링 점수의 견고성: M5, Auto, RAF 데이터 세트에 대한 경험적 결과는 평균 스케일링 점수에 기반한 결정이 견고함을 보여줍니다. 이 방식은 모든 테스트 세트 길이와 모든 테스트된 스케일링 계수에 대해 이론적으로 우수한 음이항 모델을 일관되게 선택합니다.
스케일링 계수 민감도: 모델 선택이 스케일링 계수에 크게 의존할 위험이 있다는 인식과 달리, 본 연구는 평균 스케일링 점수를 사용할 때 스케일링 계수의 선택(예: MAE naive vs. 인샘플 평균)이 최종 모델 선택 결정에 미치는 영향이 미미하다는 것을 발견했습니다. 결정은 다양한 스케일링 방법 전반에서 안정적으로 유지되었습니다.
평균 순위의 신뢰성: 평균 순위는 특히 높은 분위수를 평가할 때 짧은 테스트 세트에서 신뢰할 수 없는 기준으로 나타났습니다. M5 데이터 세트 실험에서, 평균 순위는 상당한 수의 시리즈가 있음에도 불구하고 높은 분위수(QS0.975, QS0.995)에 대해 열등한 포아송 모델을 선호한 반면, 평균 스케일링 점수는 음이항 모델을 올바르게 식별했습니다.

의의 및 권고 사항
본 논문은 적절한 점수 규칙에 기반한 모델 선택이 근본적으로 점수의 기댓값을 추정하는 것을 요구한다고 결론짓습니다. 평균 이외의 통계량(평균 순위, 중앙값, win rate)은 기댓값을 추정하지 않으므로, 점수 분포가 왜곡된 경우(짧은 시계열 테스트 세트나 높은 분위수 예측에서 흔함) 잘못된 모델 선택을 초래할 수 있습니다.

저자들은 다음과 같이 권고합니다:

평균 스케일링 점수는 기댓값의 직접적인 추정치이므로, 모델 선택 시 평균 순위보다 평균 스케일링 점수를 우선시하십시오.
특히 높은 분위수 수준이나 작은 $n_{te}$ 를 다룰 때 평균 순위에 의존하는 것에 주의를 기울이십시오.
여러 스케일링 계수에 걸쳐 결과를 확인함으로써 결론을 검증하십시오. 다만, 본 연구는 특정 계수의 선택이 이전에 가정했던 것보다 덜 중요하다는 점을 시사합니다.
수렴을 보장하기 위한 "충분히 큰" $n_{te}$ 의 정확한 임계값을 결정하는 것은 여전히 어렵고, 이는 특정 점수 규칙과 데이터 분포에 따라 달라짐을 인지하십시오.

본 논문은 새로운 점수 규칙이나 구체적인 미래 응용 분야를 제안하는 것이 아니라, 확률적 시계열 모델 선택에서 순위 기반 집계보다 평균 기반 집계를 선호해야 하는 비판적인 이론적 및 경험적 근거를 제공합니다.