기술 요약: 두꺼운 꼬리를 가진 시계열 예측을 위한 TailedTS 벤치마크 데이터셋

문제 제기

시계열 예측은 경제학, 공학, 환경과학 전반에 걸친 머신러닝 응용의 핵심 구성 요소입니다. 그러나 전통적인 예측 모델은 주로 잔차에 대한 가우스 가정에 의존하는데, 이는 실제 경험적 데이터셋에서 관찰되는 두꺼운 꼬리, 영값 과잉 (zero-inflated), 비가우스적 행동에 의해 빈번히 위배됩니다. M-경쟁 (M4, M5) 및 UCI 전력 데이터셋과 같은 기존 벤치마크는 다양한 시간적 역동성을 포착하지만, 복잡한 인간 관심 패턴에 내재된 극단적 사건 주도 변동성과 고차원 희소성을 충분히 반영하지 못하는 경우가 많습니다. 구체적으로, 이러한 데이터셋은 소수의 사건이 관측치의 대부분을 차지하는 멱법칙 분포를 적절히 보여주지 못하여, 확률적 돌발 현상과 극단적 이상치에 대한 모델의 견고성을 평가하는 데 간극을 만듭니다.

방법론

본 논문은 2024 년 전 기간에 걸친 위키피디아 시간별 페이지 조회수 관측에서 파생된 대규모 벤치마크 데이터셋인 TailedTS를 소개합니다. 방법론은 세 가지 주요 구성 요소를 포함합니다:

1. 데이터셋 구축 및 정렬

해당 데이터셋은 월간 약 300 만 개의 고유 위키피디아 페이지에 걸쳐 약 246.9 억 개의 데이터 포인트로 구성됩니다. 데이터 품질을 보장하고 자주 조회되는 콘텐츠에 초점을 맞추기 위해 저자들은 원시 데이터를 필터링하여 매월 매일 최소 10 회 이상의 조회수를 유지하는 페이지만 포함하도록 했습니다. 이 필터링 결과, 약 5% 의 페이지가 전체 페이지 조회수의 70% 이상을 차지하는 데이터셋이 생성되었으며, 이는 뚜렷한 멱법칙 분포를 따릅니다. 데이터는 고효율 Apache Parquet 형식으로 저장됩니다.

2. 주기성 정량화 프레임워크

시계열의 주기적 구조를 분석하기 위해 저자들은 희소성과 비음수 (non-negativity) 제약 조건을 갖춘 희소 자기회귀 프레임워크를 제안합니다. 최적화 문제는 자동으로 지배적인 자기상관 (예: 일별 및 주별 주기) 을 식별하도록 구성됩니다.

• 수식화: 이 문제는 계수 벡터 $w_\gamma$에 대한 $\ell_0$-노름 제약 조건과 비음수 제약 조건 ($w_\gamma \in \mathbb{R}^d_+$) 을 준수하면서 제곱 오차를 최소화합니다.
• 구현: 이 문제는 CPLEX 알고리즘을 사용하여 해결하는 혼합 정수 이차 계획법 (MIQP) 문제로 재구성됩니다. 모델은 페이지 인기도의 서로 다른 카테고리 간에 일관된 지지 집합 (support sets) 을 가정합니다.

3. 견고한 예측 모델링

본 논문은 두꺼운 꼬리 노이즈를 처리하기 위해 비가우스 손실 함수 세트를 사용하여 자기회귀 예측 모델을 평가합니다. 최적화 목적 함수는 잔차에 대한 손실 함수 $\rho(\varepsilon_t)$의 합을 최소화합니다. 연구는 다음을 비교합니다:

• $\ell_2$-노름 손실: 표준 최소 제곱법 (가우스 가정).
• $\ell_1$-노름 손실: 최소 절대 편차 (LAD).
• Huber 손실: $\ell_2$와 $\ell_1$ 사이를 보간하며, 작은 잔차에는 이차 페널티를, 큰 잔차에는 선형 페널티를 적용합니다.
• Quantile 손실: 비대칭 선형 페널티를 사용하여 조건부 분위수를 추정할 수 있게 합니다.
• $\ell_p$-노름 손실 ($0 < p < 1$): 잔차를 비선형적으로 페널티화하여 공격적인 견고성을 제공하지만, 비볼록 최적화 문제를 도입합니다.

주요 기여

본 논문은 다음과 같은 세 가지 기여를 제시합니다:

1. 벤치마크 데이터셋: TailedTS 는 장기간 (2024 년의 8,784 시간별 시간 단계) 에 걸친 수백만 개의 시계열을 포함하는 고차원, 두꺼운 꼬리, 영값 과잉 시계열 데이터셋을 제공합니다. 이를 통해 연구 커뮤니티는 비가우스 잔차와 확률적 돌발 현상에 대한 모델을 평가할 수 있으며, 이는 표준 가우스 기반 추정자가 종종 실패하는 시나리오입니다.
2. 주기성 정량화: 저자들은 희소 자기회귀를 활용하여 자주 조회되는 페이지가 덜 조회되는 페이지에 비해 현저히 약한 주기적 구조를 보임을 밝혔습니다. 이 발견은 인기 있는 페이지가 특수 사건과 이상 현상에 더 취약하여 높은 볼륨에도 불구하고 예측이 복잡해짐을 시사합니다.
3. 견고한 예측 모델링: 연구는 표준 가우스 기반 추정자가 고볼륨 페이지 카테고리에서 크게 저하됨을 입증합니다. 반면, 견고한 대안 (Huber, $\ell_p$-노름, Quantile 손실) 은 극단적 이상치의 영향을 완화함으로써 모든 트래픽 규모에서 일관된 개선을 제공합니다.

실험 결과

저자들은 TailedTS 데이터셋과 네 가지 외부 벤치마크 데이터셋 (UCI 전력, SF 교통, 대기 질, 기상 데이터) 에서 광범위한 실험을 수행했습니다.

• 계절성 분석: 희소성 수준 $\tau=8$ 및 $\tau=10$에서 일별 (24 시간), 이일별 (48 시간), 주별 (168 시간) 주기에 대한 지배적인 자기상관이 식별되었습니다. 분석 결과, 고볼륨 페이지 카테고리 (예: $O(10^4)$ 조회수) 가 저볼륨 카테고리에 비해 낮은 계절성 계수를 보여 변동성이 더 높음을 확인했습니다.
• TailedTS 에 대한 예측 성능:
  • 고볼륨 카테고리 ($O(10^4)$) 의 경우, 표준 $\ell_2$-노름 손실은 RMSE 1163.08을 기록했습니다.
  • 견고한 추정기는 베이스라인을 크게 능가했습니다: $\ell_p$-노름 손실은 RMSE 129.28을, Huber 손실은 139.87을 달성했습니다.
  • $\ell_2$-노름 손실은 저규모 카테고리 ($O(10^2)$) 에서만 경쟁력 있는 결과를 보였으나, 볼륨이 증가함에 따라 성능이 급격히 저하되었습니다.
• 외부 벤치마크에서의 성능: 본 연구는 표준 벤치마크 (UCI 전력, SF 교통 등) 의 잔차도 로그 - 로그 히스토그램을 통해 두꺼운 꼬리 행동을 보임을 확인했습니다. 비가우스 손실 함수는 이러한 데이터셋 전반에 걸쳐 MAPE 와 RMSE 를 일관되게 감소시켰습니다. 예를 들어, UCI 전력 데이터에서 $\ell_1$ 및 Huber 손실은 MAPE 를 0.095 ($\ell_2$) 에서 0.083으로 감소시켜 약 13% 의 상대적 감소를 이루었습니다.

중요성과 주장

본 논문은 TailedTS 를 가우스 가정에 의존하는 현재 최첨단 (SOTA) 방법의 한계를 표적으로 삼는 시계열 예측 모델에 대한 엄격한 스트레스 테스트로 위치시킵니다. 저자들은 다음과 같이 주장합니다:

• 견고성은 필수적입니다: 두꺼운 꼬리 노이즈와 극단적 변동성이 특징인 실제 디지털 트래픽에는 표준 추정기가 적합하지 않습니다.
• 손실 함수 선택이 중요합니다: 손실 함수의 선택은 모델의 복원력을 결정하는 주요 요소입니다. 교통이나 기후 시스템에서 발견되는 물리적 제약과 다른 불규칙하고 상호 연결된 인간 관심 패턴을 포착하려면 견고한 손실 (Huber, $\ell_p$, Quantile) 이 필요합니다.
• 확장성과 일반화 가능성: TailedTS 를 기존 기상 벤치마크와 통합함으로써 연구자들은 GPU 네이티브 프레임워크의 확장성과 견고한 손실 함수의 효과를 더 잘 평가할 수 있습니다.

저자들은 견고한 추정기가 상당한 오차 감소를 제공하지만, 극단적 규모와 만연한 영값 과잉이 제기하는 도전 과제는 여전히 formidable frontier( formidable frontier: formidable frontier 는 원문 그대로 ' formidable frontier'로 해석되나, 한국어로는 ' formidable frontier'를 ' formidable frontier'로 번역하거나 ' formidable frontier'를 ' formidable frontier'로 번역하는 것이 적절합니다. 여기서는 ' formidable frontier'를 ' formidable frontier'로 번역합니다.) 라고 결론지었습니다. 그들은 이 벤치마크가 이론적 최적화와 대규모 시계열 데이터의 두꺼운 꼬리 현실 사이의 간극을 메우는 차세대 분포 인식 모델의 개발을 촉발하기를 목표로 합니다.

한계점: 저자들은 벤치마크가 위키피디아 데이터에서만 파생되었으며, 급격한 체제 전환 (regime shifts) 이나 적대적 조작과 같은 모든 형태의 실제 비정상성을 포착하지 못할 수 있다고 지적합니다. 따라서 도출된 결론은 다른 데이터 생성 메커니즘에 의해 지배되는 시계열에 완전히 일반화되지 않을 수 있습니다.