기술 요약: 표준 ReLU 심층 신경망을 이용한 시계열 예측 추론

문제 정의

본 논문은 비선형 자기회귀(NLAR) 시계열에 대한 통계적 예측 추론을 수행하는 데 있어 발생하는 과제를 다룹니다. 심층 신경망(DNN)은 전통적인 선형(ARMA) 또는 비모수 커널 방법과 비교하여 우수한 유연성과 보편적 근사 능력을 입증해 왔으나, 시계열 예측에 적용될 때 종종 "블랙박스"로 취급되는 경acles가 있습니다. 특히 모델 적합 과정에서 발생하는 **추정 변동성(estimation variability)**에 관한 엄격한 통계적 불확실성 정량화 측면에서 중요한 격차가 존재합니다.

고전적인 예측 구간(PI)은 이러한 추정 변동성을 포착하지 못하는 경우가 많으며, 이로 인해 유한 표본 사례에서 피복률(coverage) 저하를 초래합니다. 또한, 비선형 모델에서의 다단계 앞 예측(multi-step ahead forecasting)을 위한 기존 방법들은 최적의 $L_2$ 점 예측에서 편향이 발생하거나, 데이터의 2차 모멘트가 존재하지 않는 경우 최적의 $L_1$ 예측을 제공하는 데 실패하곤 합니다. 저자는 표준 ReLU DNN을 활용하여 일관된 점 예측을 제공하고, 미래의 변동성과 추정 불확실성을 모두 고려하는 유효한 예측 구간을 제공하는 프레임워크를 개발함으로써 이 격차를 메우고자 합니다.

방법론

1. 모델 프레임워크

본 연구는 일반적인 자기회귀 모델에 초점을 맞춥니다:
$$Y_t = f_0(Y_{t-1}) + \epsilon_t$$
여기서 $f_0$는 미지의 평균 함수이며, $\epsilon_t$는 독립 항(i.i.d. innovation terms)입니다. 저자는 $f_0$에 대한 추정치 $\hat{f}_n$으로 표준 완전 연결 ReLU 심층 신경망(DNN), 구체적으로는 다층 퍼셉트론(MLP)을 사용합니다. DNN 클래스는 깊이 $L_n$, 너비 $H_n$, 그리고 출력 노름(output norm)에 대한 상한을 가지며, 이 파라미터들은 표본 크기 $n$에 따라 증가할 수 있도록 정의됩니다.

2. 이론적 토대

본 논문은 엄격한 정상성(strict stationarity), 기하학적 $\beta$-혼합성(geometric $\beta$-mixing), 그리고 대상 함수의 매끄러움(Hölder space) 가정을 바탕으로 여러 이론적 특성을 확립합니다:

• 일관성(Consistency): DNN 추정치는 $L_2$ 및 $L_\infty$ 노름 모두에서 실제 함수 $f_0$에 대해 일관성을 갖는 것으로 나타났습니다. 본 논문은 DNN 추정치에 대한 비점근적 오차 경계(non-asymptotic error bounds)를 도출하여, 대상 함수의 도메인과 범위가 확장되는 상황에서도 대응할 수 있음을 입증했습니다.
• 부트스트랩 타당성(Bootstrap Validity): 저자는 포워드 부트스트랩(forward bootstrap) 절차를 제안합니다. 저자는 DNN 추정치에 의해 생성된 부트스트랩 시계열이 $\beta$-혼합 성질을 유지하며 원래의 시계열과 동일한 정상 분포로 수렴함을 증와합니다. 이는 후속 추론의 타당성을 위한 핵심적인 조건입니다.

3. 예측 구간

두 가지 유형의 예측 구간이 구축됩니다:

• 표준 분위수 예측 구간 (QPI): 부트스트랩 예측 오차의 경험적 분포에 기반합니다. 본 논문은 이의 점근적 타당성을 증명합니다.
• 적절한 예측 구간 (PPI): 이것이 핵심적인 방법론적 기여입니다. PPI는 예측 근(predictive roots) ($R_{n+j} = Y_{n+j} - \hat{Y}_{n+j}$)의 분포를 기반으로 구축됩니다. 미래 값을 직접적으로 조건화하는 분포를 추정하는 QPI와 달리, PPI는 오차 항(root)의 분포를 추정합니다.
  • PPI는 혁신 분산(innovation variance)과 추정 오차 분산(estimation error variance)을 모두 포착합니다.
  • 이 방법은 "적절성(pertinence)" 성질에 의존합니다: 즉, 부트스트랩 예측 근의 분포가 실제 세계의 예측 근의 분포를 근사한다는 점입니다.
  • 구축 과정에는 추정치 자체의 변동성을 포착하기 위해 부트스트랩 샘플에 대해 DNN 모델을 재추정하는 과정이 포함됩니다.

4. 알고리즘

• 알고리즘 1: 포워드 부트스트랩을 사용하여 다단계 앞 점 예측(최적 $L_1$ 및 $L_2$)과 표준 QPI를 생성합니다.
• 알고리즘 2: 적절한 예측 구간(PPI)을 생성합니다. 여기에는 부트스트랩 시계열의 정상성을 보장하기 위한 "번인(burn-in)" 기간, 부트스트랩 데이터에 대한 DNN 재추정, 그리고 구간 경계를 결정하기 위한 예측 근의 계산이 포함됩니다.

주요 결과

시뮬레이션 연구

저자는 세 가지 비선형 모델(차원이 $d=10$인 고차원 시나리오 포함)에 대해 다양한 표본 크기($n=50, 200, 500$)로 시뮬레이션을 수행했습니다.

• 점 예측: DNN 기반 점 예측은 특히 커널 방법이 "차원의 저주"의 영향을 크게 받는 고차원 설정에서 평균 제곱 오차(MSE) 측면에서 커널 추정치보다 일관되게 우수한 성능을 보였습니다.
• 예측 구간:
  • 피복률(Coverage): PPI는 특히 작은 표본 크기와 복잡한 비선선형 모델에서 QPI에 비해 명목 수준(예: 95%)에 더 가까운 피복률을 일관되게 달성했습니다.
  • 강건성(Robustness): 고차원 사례(Model 2 및 3, $d=10$)에서 커널 기반 PI는 크게 고전했으나(예: Model 3, $n=50$에서 커널 QPI의 피복률이 ~15%로 하락), DNN 기반 PI는 견고한 성능을 유지했습니다(예: ~92% 피복률).
  • 길이(Length): PPI는 추정 불확실성을 포착하기 때문에 일반적으로 QPI보다 넓었지만, 더 신뢰할 수 있는 피복을 제공했습니다.

실제 데이터 분석

M4 경진대회 데이터셋(연간 시계열)을 사용하여, 저자는 윈도우 크기($w$)와 입력 차원($d$)에 따른 성능을 평가하기 위해 이동 윈도우 접근 방식을 채택했습니다.

• 안정성: DNN 기반 PI, 특히 PPI는 커널 기반 방법과 비교하여 다양한 윈도우 크기와 모델 차원에 대해 더 높은 안정성을 보여주었습니다.
• 성능: 윈도우 크기 대비 차원의 비율($w/d$)이 작을 때, 커널 추정치는 성능 저하(낮은 피복률, 구간 길이의 높은 분산)를 보였습니다. 반면 DNN 방식은 안정성을 유지하여, 실제 모델 차원을 모르거나 데이터가 차원에 비해 부족한 경우 DNN이 더 우수한 옵션임을 시사했습니다.

의의 및 주장

본 논문은 표준 ReLU DNN을 단순한 "블랙박스" 예측기를 넘어 통계적 추론을 위한 도구로 사용하는 엄격한 통계적 프레임워크를 제공한다고 주장합니다.

1. 불확실성 정량화: 주요 기여는 **적절한 예측 구간(PPI)**이 DNN 추정치를 사용하여 성공적으로 구축될 수 있음을 입증한 것입니다. 이를 통해 비모수적 설정에서 알려진 약점인 추정 변동성을 해결하고 불확실성을 정량화할 수 있습니다.
2. 차원에 대한 강건성: 본 연구는 DNN이 시계열 맥락에서 표준 커널 방법보다 차원의 저주에 더 강하다는 경험적, 이론적 증거를 제공하며, 이를 통해 고차원 비선형 예측에 적합함을 보여줍니다.
3. 최소한의 가정: PPI의 타당성은 예측 근의 수렴과 부트스트랩 세계에서의 혼합 성질 보존이라는 최소한의 가정 하에 확립되었습니다.
4. 실용적 유용성: 저자는 표본 크기가 제한적이거나 모델 차원을 알 수 없는 실제 상황에서, DNN 기반 PPI가 전통적인 커널 기반 방법보다 더 신뢰할 수 있고 안정적인 예측 구간 구축 방식임을 제안합니다.

결론적으로, 본 논문은 DNN의 보편적 근사 성질이 잘 알려져 있지만, 본 연구는 이를 통계적 추론의 영역으로 확장하여 DNN이 종속적인 데이터에 대해 일관된 점 예측과 유효하고 불확실성을 고려한 예측 구간을 제공할 수 있음을 증명하였습니다.