기술 요약: 메타러닝을 통한 선택적 시계열 예측

문제 정의

딥러닝 방법론은 시계열 예측에서 최첨단 성능을 달성했으나, 모든 샘플에 대해 그 정확도가 균일하게 나타나지는 않습니다. 시계열 내의 특정 구간은 본질적으로 예측하기 어려우며, 이는 예측 오차의 상당한 변동으로 이어집니다. 모델이 고위험 예측을 유보할 수 있도록 하는 "기각 옵션(reject option)" 메커니즘은 분류 및 회귀 분야에서는 잘 확립되어 있으나, 예측 분야에서는 아직 충분히 탐구되지 않았습니다.

예측에서의 기존 유보 전략들은 예측값 자체에서 파생된 예측 구간 폭, 비합치도 점수(nonconformity scores), 또는 학습된 신뢰도 추정치와 같은 대리 휴리스틱에 의존하는 경향이 있습니다. 본 논문은 이러한 접근 방식들이 특정 학습 도메인 및 모델 아키텍처에 종속되어 있다고 주장합니다. 결과적으로, 이들은 새로운 도메인이나 특성이 다른 시계열로 일반화되는 데 어려움을 겪으며, 전이 학습(transfer learning) 환경에서의 효용성을 제한합니다.

방법론

저자들은 기각 결정(rejection decision)을 예측 출력값으로부터 분리하는 메타러닝 기반의 선택적 예측 프레임워크를 제안합니다. 핵심 혁신은 예측값 기반의 신호에 의존하는 대신, 최근 래그(lags)로부터 추출된 구조적 특성을 바탕으로 예측 오차의 경험적 백분위수(스케일 불변 통계량)를 모델링하는 것입니다.

방법론은 두 가지 주요 단계로 구성됩니다:

1. 성능 추정 (소스 도메인)

롤링 오리진 평가 절차(시계열 교차 검증)를 사용하여, 저자들은 소스 도메인에서 글로벌 예측 모델(예: KAN 또는 NHITS)을 학습시킵니다. 모든 예측 기점 $t$에 대해, 모델은 예측 지평 $h$를 예측하며, 실제값과의 오차 $e_{i,t}$가 계산됩니다.

2. 메타러닝

본 프레임워크는 오차를 원시 값으로 사용하는 대신, 각 개별 시계열 내에서 계산된 경험적 백분위 순위로 변환합니다:
$$u_{i,t} = \frac{\#\{j \in T_i : j \neq t, e_{i,j} < e_{i,t}\}}{|T_i| + 1}$$
이 정규화 과정은 오차를 제한된 $(0, 1)$ 범위로 매핑하여, 메타 모델이 이질적인 데이터셋 전반에 걸쳐 전이 가능한 기각 기준을 학습할 수 있도록 하는 스케일 불변 타겟을 생성합니다.

메타 예측 변수(Meta-Predictors): 메타 모델의 입력 특징은 TSFEL 라이브러리를 사용하여 각 예측 기점 직전의 래그 윈도우에서 추출됩니다. 이 특징들은 절대값이 아닌 추세, 계절성, 복잡성과 같은 구조적 특성을 요약합니다.

메타 모델(Meta-Model): CatBoostRegressor가 학습되어 이러한 구조적 특징을 예측 오차 백분위수로 매핑합니다.

추론 및 기각

추론 시, 메타 모델은 예측이 발행되기 전에 각 예측 기점을 점수화합니다.

• 제로샷(Zero-shot): 소스 도메인에서 학습된 메타 모델을 새로운 도메인에 직접 적용합니다.
• 도메인 적응(Domain-adapted): 타겟 도메인의 레이블된 데이터 일부를 사용하여 메타 모델을 미세 조정(fine-tuning)합니다.
• 결정 규칙: 예측된 백분위 점수 $\hat{u}_{i,t} \geq q$ ($q$는 원하는 커버리지 수준에 해당하는 임계값)인 예측은 기각됩니다.

주요 기여

1. 오차 추정을 위한 메타러닝: 본 논문은 최근 래그의 구조적 속성과 스케일 불변 타겟(오차 백분위수)을 사용하여 큰 예측 오차를 추정하는 메타러닝 접근법을 도입했습니다.
2. 도메인 불가지론적 전이: 기각 결정을 예측값으로부터 분리하고 도메인 불가지론적 특징에 근거함으로써, 본 프레임워크는 이질적인 시계열 간의 효과적인 유보 전이를 가능하게 합니다.
3. 경험적 검증: 저자들은 이 접근 방식이 인도메인(in-domain) 및 전이 학습 설정 모두에서 예측 기반 휴리스틱(예: 예측 구간 폭 및 잔차 분산)보다 우수한 성능을 보인다는 증거를 제시합니다.

실험 결과

프레임워크는 KAN 및 NHITS를 기본 예측기로 사용하여 M3, M1, Tourism 단변량 시계열 컬렉션(월간 및 분기별 빈도)에 대해 평가되었습니다.

메타 수준 평가 (순위 품질)

• 인도메인: 메타 모델은 예측 점수와 실제 오차 순위 사이에서 높은 스피어만 상관계수($\rho$가 0.71에서 0.90 사이)를 달성하였으며, PI-width 및 잔차 분산과 같은 베이스라인을 지속적으로 능가했습니다.
• 전이 학습: 제로샷 전이는 도메인 변화로 인해 다소 성능 저하가 나타났으나, 메타 모델은 여전히 대부분의 베이스라인보다 우수한 성능을 보였습니다. 결정적으로, 도메인 적응(타겟 데이터의 30%를 활용한 미세 조정)은 성능을 상당히 회복시켜, 종종 소스 도메인의 성능과 일치하거나 이를 상회했습니다.
• 베이스라인: 예측값 기반의 베이스라인(PI-width, Residual-scale)은 전이 설정에서 일반적으로 실패했으며, 제로샷 시나리오에서 무작위 기각보다 못한 성능을 보이는 경우가 많았습니다.

베이스 수준 평가 (예측 정확도)

• 메타 모델을 사용한 선택적 예측은 모든 커버리지 수준에서 "모두 유지(keep all)" 및 기타 베이스라인에 비해 수락된 예측의 평균 sMAPE를 일관되게 개선했습니다.
• 이 방법은 모든 기각 비율에 대해 "오라클(Oracle)"(실제 오차를 알고 있을 때의 이론적 최적 성능)과의 평균 격차를 가장 낮게 달성했습니다.
• 해당 접근 방식은 **모델 불가지론적(model-agnostic)**임이 입증되었으며, 하부 예측기로 KAN 또는 NHITS를 사용하더라도 유사한 개선 효과를 보였습니다.

의의 및 주장

본 논문은 예측 가능성(forecastability)이 최근 관측치의 구조적 속성으로 취급될 수 있음을 주장하며, 이를 통해 예측 지평이 실현되기 전에 위험 인지 결정을 내릴 수 있습니다.

• 사전 예측 트리아지(Pre-forecast Triage): 예측치를 먼저 생성해야 하는 불확실성 정량화 방법과 달리, 이 방법은 래그 기술자(lag descriptors)만을 사용하여 어려운 인스턴스를 사전에 선별하는 ex ante 방식으로 작동합니다.
• 일반화: 스케일 불변 설계 덕분에 기본 예측기를 재학습시키지 않고도 메타-학습된 메커니즘이 도메인 간에 효과적으로 전이될 수 있으며, 이는 기존의 선택적 예측 방법의 주요 한계를 해결합니다.
• 실무적 유용성: 결과는 실무자들이 신뢰할 수 없는 예측을 선택적으로 피함으로써, 고위험 예측이 치명적인 중요한 응용 분야에서 평균 오차를 크게 줄일 수 있음을 시사합니다.

저자들은 이 방법이 메타 학습 데이터의 대표성에 의존하며, 상대적 위험을 추정할 뿐 정형화된 확률적 보장을 제공하지는 않는다는 점을 언급하며 한계를 인정했습니다. 이들은 향후 연구에서 이 메커니즘을 공식적인 불확실성 정량화를 위한 컨포멀 예측(conformal prediction)과 통합할 수 있음을 제안했습니다.