기술 요약: 선형 모델을 이용한 온라인 예측 조정 (Online Forecast Reconciliation)

문제 정의

예측 조정(Forecast reconciliation)은 계층 구조를 가진 시계열의 예측치 간의 일관성을 확보하기 위해 사용되는 기술이다. 이러한 구조는 선형 제약 조건(예: 하위 지역 부하의 합은 전체 지역 부하와 같아야 함)을 부과한다. 전통적인 예측 조정 방법(예: 최적 조합법, Optimal Combination)은 오프라인 환경에서는 성공적이었으나, 대개 과거 데이터를 배치(batch) 방식으로 처리해야 하는 최소제곱법(OLS) 또는 일반화최소제곱법(GLS)에 의존한다.

지역 난방 부하 예측과 같은 실제 응용 분야에서는 새로운 관측치가 확보됨에 따라 예측치를 정기적으로 업데이트해야 한다. 계층적 예측을 위한 기존의 온라인 및 적응형 방법들은 특정 수축 추정량(예: Ledliet-Wolf 수축을 사용하는 MinT)에 의존하는 경우가 많지만, 다변량 설정 내에서 매개변수의 재귀적 추정과 불확실성 정량화, 그리고 오차 상관관계의 명시적 모델링을 위한 통합된 프레임워크는 부족할 수 있다. 과제는 계층적 시계열에 대해 온라인 적응형 학습을 지원하면서, 매개변수와 예측치 모두에 대해 엄격한 불확별성 정량화를 제공하는 프레임워크를 개발하는 것이다.

방법론

1. 그래프를 통한 계층 구조의 형식화

저자들은 계층 구조를 노드는 시스템 상태를 나타내고 에지는 합산 제약을 정의하는 유향 트리 $H = (Y, E)$로 형식화한다.

• 합산 행렬 ($S$): 상위 레벨 노드로부터 하위 레벨 노드(리프 노드)로의 도달 가능성에 기반하여 정의된다. 계층 제약은 $Sy_{bot} = y_{top}$으로 표현되며, 여기서 $y_{bot}$과 $y_{top}$은 각각 하위 및 상위 레벨 상태의 벡터이다.
• 조정 목표: 목표는 기저 예측치(base forecasts) $\hat{y}_t$가 계층 제약을 만족하도록 하는 투영 행렬 $P$를 찾는 것이다 ($\tilde{y}_t = S P \hat{y}_t$).

2. 행렬 정규 분포를 이용한 다변량 선형 모델

제안된 프레임워크의 핵심은 예측 조정을 선형 모델(LM) 문제로 취급하는 것이다.

• 모델 공식화: 잔차를 독립적이라고 가정하는 대신, 저자들은 잔차가 행렬 정규 분포(Matrix Normal distribution)를 따르는 다변량 선형 모델을 활용한다:
  $$Y = X\theta + E, \quad E \sim MN(0, U, V)$$
  여기서 $Y$는 반응 행렬(하위 레벨 기저 예측 오차), $X$는 상위 및 하위 기저 예측 간의 차이로 구성된 설계 행렬, $\theta$는 조정 가중치, $U$는 행 공분산(시간적 상관관계), $V$는 열 공분산(횡단적 상관관계)이다.
• Møller et al. (2024a)와의 연결: 이 프레임워크는 조정이 하위 레벨 기저 예측 오차에서의 LM으로 기술될 수 있다는 결과에 기반한다. 이를 통해 계층적 조정에 표준 LM 이론을 적용할 수 있게 한다.

3. 규제화 및 릿지 회귀 (Ridge Regression)

매개변수 추정은 다중공선성을 처리하고 안정성을 보장하기 위해 릿지 회귀 문제로 설정된다.

• 목적 함수: 저자들은 가중 마할라노비스 유형의 노름(norm)을 최소화한다:
  $$J(\theta) = \|X\theta - Y\|_{P,R}^2 + \|\theta - \theta_0\|_{Q,R}^2$$
  이 공식화는 릿지 회귀, 베이지안 추정(최대 사후 확률, MAP), 그리고 수축 방법(shrinkage methods)을 연결한다.
• 수축 해석: $\theta_0$와 $Q$에 대한 특정 사전 분포를 선택함으로써, 릿지 해(solution)는 MinT 수축 추정량을 회복한다. 또한 저자들은 강한 규제화의 한계에서 바텀업(bottom-up) 방식에 해당하는 $\theta_0 = 0$과 같은 더 단순한 사전 분포도 탐색한다.

4. 온라인 설정을 위한 재귀적 추론

온라인 예측을 가능하게 하기 위해, 저자들은 재귀적 최소제곱법(RLS)에서 영감을 얻은 재귀적 업데이트 방정식을 도출한다.

• 가정: 이 방법은 시간 경과에 따른 독립적인 잔차($U$는 대각 행렬)를 가정하며, 지수 가중치($P$는 감쇠 가중치 $\lambda^{t-s}$를 갖는 대각 행렬)를 사용한다.
• 업데이트 방정식: 충분 통계량($K_t, L_t, H_t$)은 각 시간 단계 $t$에서 다음과 같이 재귀적으로 업데이트된다:
  $$K_{t+1} = \lambda K_t + x_{t+1}x_{t+1}^\top$$
  $$L_{t+1} = \lambda L_t + x_{t+1}y_{t+1}^\top$$
  $$H_{t+1} = \lambda^2 H_t + u_{t+1}x_{t+1}x_{t+1}^\top$$
  이를 통해 전체 이력을 다시 처리하지 않고도 효율적인 매개변수 업데이트가 가능하다.
• 불확실성 정량화: 프레임워크는 행렬 정규 특성으로부터 유도된 조정된 예측치의 공분산을 포함하여, 새로운 관측치에 대한 예측 분포를 제공한다.

5. 구현

본 방법론은 오픈 소스 파이썬 패키지인 PyOnlineForecast로 구현되었다. 이 구현은 조정을 다음과 같은 합성 변환으로 취급한다:

1. 기저 예측치를 상위 및 하위 레벨로 분리한다.
2. 설계 및 반응 행렬을 구성한다(시간적 계층을 위한 백시프팅(back-shifting) 처리 포함).
3. 하위 레벨 예측 오차를 예측하기 위해 재귀적 릿지 회귀를 적용한다.
4. 일관된 조정 예측치를 생성하기 위해 예측치를 집계하고 시프트한다.

주요 기여

1. 통합된 프레임워크: 본 논문은 행렬 정규 분포를 사용하여 잔차를 특징짓는 다변량 선형 모델을 활용함으로써, 계층적 예측 조정을 통합하는 프레임워크를 제시한다.
2. 온라인 및 적응형 알고리즘: 릿지 회귀에 기반한 재귀적 추론 체계를 도출하여, 조정 매개변수 및 불확실성 추정치의 효율적인 온라인 업데이트를 가능하게 한다.
3. 그래프 이론적 형식화: 합산 행렬을 구성하기 위해 그래프 이론과 이행 폐쇄(transitive closure)를 사용하여 계층 구조를 공식적으로 정의한다.
4. 오픈 소스 구현: 저자들은 R의 onlineforecast 패키지를 기초로 한 실질적인 도구인 PyOnlineForecast 패키지를 제공한다.
5. 이론적 연결: 본 논문은 계층적 조정의 맥락에서 릿지 회귀, 베이지안 추정, 그리고 수축 추정량(MinT) 사이의 연결 고리를 명시적으로 논의한다.

결과: 지역 난방 부하 예측 사례 연구

제안된 방법론은 덴마크 오르후스(Aarhus)의 세 지역에 대한 시간적 계층(시간 단위, 6시간, 12시간, 24시간 집계)을 포함하는 지역 난방(DH) 부하 예측 사례 연구를 통해 입증되었다.

• 성능 개선: 예측 조정은 기저 예측치와 비교하여 모든 지역, 집계 수준 및 예측 지평(horizon)에서 일관되게 정확도를 향상시켰다. 상대적 RMSE 감소율(RRMSE)은 테스트된 모든 시나리오에서 양수였다.
• 업데이트 빈도: 매 시간마다 매개변수를 업데이트하는 경우(Main Case)와 24시간마다 업데이트하는 경우(Cases 1-3)를 비교하였다.
  • 시간 단위 업데이트: 가장 우수한 예측 성능과 안정적인 분산 추정치를 제공했다.
  • 일 단위 업데이트: 분산 추정치가 덜 안정적이었으며 일반적으로 정확도가 낮았다. 저자들은 이를 시스템 변화에 대한 매개변수 적응 빈도가 줄어들었기 때문으로 설명한다.
• 규제화 효과:
  • 짧은 지평의 경우, 높은 규제화(가중치를 0 또는 바텀업 방향으로 밀어붙임)가 성능을 향상시켰는데, 이는 단기 지평의 기저 예측치가 이미 정확하고 역동적이기 때문인 것으로 보인다.
  • 긴 지평의 경우, 낮은 규제화가 더 나은 결과를 냈는데, 이는 조정 과정이 계층 구조를 효과적으로 활용하여 기저 예측 오차를 수정했기 때문이다.
• 불확실성: 재귀적 체계는 예측 오차의 분산을 성공적으로 추적했으나, 저자들은 현재 구현에서 분산 행렬 $V$ 자체의 추정 불확실성이 예측 분포에 완전히 전파되지는 않았음을 언급했다.

의의 및 주장

본 논문은 자신의 주요 의의가 온라인 환경에서 다변량 선형 모델을 통한 예측 조정을 구현하기 위한 참조 모델을 제공하는 것에 있다고 주장한다.

• 실용적 유용성: 이 프레임워크는 데이터가 순차적으로 도착하는 동적 시스템(지역 난방과 같은)에서 정기적인 예측 업데이트가 필요한 실무적 요구를 해결한다.
• 유연성: 조정을 규제화된 선형 모델로 공식화함으로써, 표준 MinT를 넘어 다양한 규제화 기술(예: Lasso, Elastic Net) 및 불확실성 정량화 방법을 사용할 수 있게 한다.
• 겸허함: 저자들은 재귀적 도출에서의 독립적 잔차 가정 및 반복된 관측으로 인한 시간적 계층에서의 인위적 자기상관 가능성과 같은 한계를 인정한다. 이들은 향후 연구에서 더 일반적인 공분산 구조(예: 텐서 정규 분포)와 더 정교한 분산 추정 사전 분포를 탐구할 수 있을 것이라고 제안한다.

이 연구는 온라인 계층적 예측이 가능하며, 특히 매개변수 업데이트가 빈번하고 규제화가 예측 지평 및 집계 수준에 따라 적절히 조정될 때 유익하다는 것을 보여준다.