Modeling the uncertainty on the covariance matrix for probabilistic forecast reconciliation

기술적 요약: 확률적 예측 조정 (Forecast Reconciliation) 을 위한 공분산 행렬의 불확실성 모델링

문제 제기
계층적 시계열 예측에서 계층의 서로 다른 수준에 대해 독립적으로 생성된 기본 예측치들은 종종 불일치합니다 (즉, 합계가 정확하지 않음). 예측 조정은 이러한 기본 예측치를 선형 집계 제약 조건을 만족하도록 조정합니다. 확률적 조정을 위한 표준 접근법은 기본 예측 오차의 공분산 행렬 ($W$) 에 의존하는 최소 trace (MinT) 방법입니다.

현재 MinT 구현의 중요한 한계는 $W$가 표본 내 잔차 (in-sample residuals) 로부터 추정된 후 알려진 고정 매개변수로 취급된다는 점입니다. 이러한 관행은 특히 시계열의 수가 표본 크기에 비해 클 때 $W$에 내재된 추정 불확실성을 무시합니다. 결과적으로 이는 예측 분산의 분산을 과소평가하게 되어, 예측 구간 (PIs) 이 체계적으로 너무 좁아지고 명목상의 커버리지를 달성하지 못하게 됩니다. 최근 연구들은 커버리지를 수정하기 위해 조정을 conformal prediction 과 결합했지만, 조정 과정 내에서 공분산 행렬 자체의 불확실성을 명시적으로 모델링하는 기존 프레임워크는 없습니다.

방법론: t-Rec
저자들은 공분산 행렬 $W$의 불확실성을 명시적으로 모델링하는 베이지안 조정 방법인 t-Rec을 제안합니다. 방법론은 다음과 같습니다:

1. 베이지안 공식화: $W$에 대한 점 추정을 사용하는 대신, 저자들은 이를 확률 변수로 취급합니다. $W$에 대한 역-와이샤르트 (Inverse-Wishart, IW) 사전 분포를 채택하고, 표본 내 잔차가 $W$가 주어졌을 때 조건부 가우시안이라고 가정합니다.
2. 사후 분포 유도: 역-와이샤르트 사전 분포와 가우시안 가능도 (likelihood) 사이의 켤레성 (conjugacy) 을 사용하여 $W$의 사후 분포를 분석적으로 유도합니다.
3. 불일치 예측 분포: $W$를 결합 사후 분포에서 주변화 (marginalizing out) 함으로써 저자들은 불일치 사후 예측 분포를 유도합니다. 다변량 가우시안을 산출하는 표준 MinT 와 달리, 이 적분은 다변량 t-분포를 결과로 낳습니다. 이 분포는 자연스럽게 더 두꺼운 꼬리를 가지며, 이는 $W$의 불확실성을 반영합니다.
4. 조건부 조정: 불일치 다변량 t-분포는 계층적 제약 조건에 조건부 (coherent 부분 공간에 대한 분포 슬라이싱) 로 조정됩니다. 다변량 t-분포의 아핀 변환 및 조건부 하에서의 닫힘 성질 (closure properties) 을 활용하여, 저자들은 여전히 다변량 t-분포인 조정된 분포에 대한 폐형식 (closed-form) 표현을 유도합니다.
5. 매개변수 지정:
   • 사전 분포의 스케일 행렬 ($\Psi_0$) 은 KPSS 계절성 검정을 통해 선택된 단순 벤치마크 방법 (naive 및 seasonal naive) 의 잔차 공분산을 사용하여 구성됩니다.
   • 자유도 ($\nu_0$) 는 표본 외 로그 스코어를 최대화하기 위해 베이지안 Leave-One-Out (LOO) 교차 검증을 통해 최적화됩니다. 저자들은 Sherman-Morrison 공식으로 인해 이 최적화가 계산적으로 효율적이라고 지적합니다.

주요 기여

• 분석적 해: 이 논문은 기본 예측치가 엄격하게 가우시안이 아닐 때 (특히 공분산 불확실성이 모델링될 때) 조건부 확률적 예측 조정을 위한 최초의 알려진 분석적 해를 제공합니다. 이는 조정이 MinT 와 일치하는 가우시안 경우를 넘어 확장된 것입니다.
• 폐형식 다변량 t: 이 방법은 일반적으로 비가우시안 조정에 필요한 계산적으로 비용이 많이 드는 샘플링 기법 (예: MCMC) 을 피하면서 다변량 t-분포인 조정된 예측 분포를 폐형식으로 산출합니다.
• 적응형 구간 폭: 기본 예측치에 비해 예측 구간을 항상 좁히는 MinT 와 달리, t-Rec 은 높은 불일치 또는 높은 추정 불확실성이 존재할 때 구간이 넓어지도록 허용하여 더 신뢰할 수 있는 커버리지를 제공합니다.
• 구현: 이 방법은 R 패키지 bayesRecon에 구현되어 있습니다.

실증 결과
저자들은 세 가지 데이터셋 (26 개 주 + 총계인 새로운 스위스 관광 데이터셋, 그리고 월별 및 분기별 두 개의 호주 관광 데이터셋) 에서 t-Rec 을 MinT 와 비교 평가했습니다.

• 점 예측: t-Rec 과 MinT 는 평균 제곱 오차 (MSE) 측면에서 유사하게 수행되어, 공분산 불확실성을 모델링하는 것이 점 예측 정확도를 저하시키지 않음을 나타냅니다.
• 확률적 예측: t-Rec 은 확률적 지표에서 MinT 를 일관되게 능가합니다:
  • 예측 구간: t-Rec 은 명목 수준에 더 가까운 커버리지 비율을 달성하는 더 넓은 구간을 생성합니다 (예: 스위스 데이터셋에서 95% PI 에 대해 MinT 는 83% 인 반면 t-Rec 은 88% 커버리지 달성).
  • 스코어링 규칙: t-Rec 은 t-분포의 더 두꺼운 꼬리 덕분에 특히 높은 신뢰 수준 (95%) 에서 더 낮은 (더 좋은) 연속 순위 확률 점수 (CRPS) 와 평균 구간 점수 (MIS) 를 달성합니다.
  • 결합 성능: 에너지 점수 (ES) 또한 t-Rec 을 지지하여 결합 예측 분포의 더 나은 보정 (calibration) 을 나타냅니다.
• 절차적 연구 (Ablation Study): $W$의 점 추정을 사용하는 변형 (예: t-Rec-MAP) 과의 비교는 개선이 $W$의 사후 분포를 주변화함으로써 비롯된 것이지 점 추정을 사용함으로써 비롯된 것이 아님을 확인시켜 줍니다.

의의 및 주장
이 논문은 t-Rec 이 매개변수 불확실성을 예측 분포에 직접 통합함으로써 불확실성을 더 원칙적으로 정량화한다고 주장합니다. 저자들은 그들의 접근 방식이 "MinT 조정과 비교하여 예측 구간을 일관되게 개선한다"고 명시하면서도 점 예측 정확도는 유사하게 유지한다고 말합니다.

저자들은 그들의 주장 범위에 대해 겸손합니다:

• t-Rec 의 효과는 사전 스케일 매개변수 $\Psi_0$의 지정에 의존하며, 이는 여러 계절성을 가진 복잡한 시계열에는 최적이지 않을 수 있음을 인정합니다.
• 고차원 설정에서 역-와이샤르트 사전 분포의 한계를 지적하고 현대적 사전 분포에 대한 향후 연구를 제안합니다.
• 현재 분석은 횡단면 계층 구조 (cross-sectional hierarchies) 로 제한되며, 시계열 및 횡단면 - 시계열 확장은 향후 연구에 맡겨집니다.

핵심 기여는 MinT 에서 공분산 행렬을 고정된 매개변수로 취급하는 것이 과도하게 확신 있는 (overconfident) 예측으로 이어지며, 다변량 t-분포를 산출하는 베이지안 처리가 확률적 조정을 위한 계산적으로 효율적이고 통계적으로 우월한 대안을 제공한다는 것을 입증한 것입니다.