Machine Learning and the Random Walk Puzzle: Forecasting the CAD/USD Exchange Rate with Expanding Window Evaluation and SHAP Interpretability

기술 요약: 머신러닝과 USD/CAD 예측에서의 랜덤 워크 퍼즐

문제 정의
본 연구는 국제 금융 분야의 지속적인 "미스-로고프 퍼즐(Meese-Rogoff puzzle)"을 다룬다. 이는 구조적 거시경제 모델을 사용하여 외환 환율을 표본 외(out-of-sample)에서 예측하는 데 있어 발생하는 경험적 어려움을 의미하며, 이러한 모델들은 일관되게 단순한 나이브 랜덤 워크(naïve random walk) 벤치마크를 능가하지 못한다. 구체적으로, 본 논문은 현대적인 머신러닝(ML) 앙상블 방법이 월간 USD/CAD 환율 예측에서 이러한 한계를 극복할 수 있는지 조사한다. 저자들은 캐나다에 대한 경제적 중요성과 상품 연계 통화로서의 지위를 고려하여 USD/CAD 쌍에 초점을 맞추었으며, 이 통화의 구조적 특징(예: 유가와의 상관관계)이 순수하게 금융적인 통화에는 없는 예측 가능한 역학을 제공할 수 있다는 가설을 세웠다.

방법론
본 연구는 Bank of Canada의 일일 데이터를 사용하여 엄격하고 누수(leakage)가 없는 평가 프레임워크를 채택하였으며(2017년 1월 – 2026년 5월), 이를 113개의 월간 관측치로 재표집하였다.

• 데이터 전처리: 일일 시계열은 월평균값으로 집계되었다. 데이터셋은 훈련 기간(2017년 1월 – 2024년 11월, $T_0=95$)과 엄격한 표본 외 테스트 기간(2024년 12월 – 2026년 5월, $H=18$)으로 분할되었다.
• 특성 공학(Feature Engineering): 데이터 누수를 방지하기 위해, ML 모델의 모든 예측 변수는 예측 기점($\mathcal{F}_{t-1}$) 이전에 가용했던 정보만을 사용하여 구축되었다. 특성은 다음과 같다:
  • 지연값(Lagged values) ($y_{t-1}$ ~ $y_{t-12}$).
  • 3, 6, 12개월 윈도우에 대한 이동 통계량(평균 및 표준편차).
  • 확장 평균(Expanding mean, 역사적 평균).
  • 차분(First differences) 및 계절성을 위한 주기적 인코딩(sine/cosine).
• 평가된 모델:
  • 벤치마크: 드리프트가 없는 나이브 랜덤 워크(RW) 및 홀트-윈터스 계절성이 포함된 지수 평활법(ETS).
  • 머신러닝: 선형 회귀(Linear Regression), 랜덤 포레스트(RF), 그래디언트 부스팅(Gradient Boosting), XGBoost, AdaBoost.
• 평가 프로토콜:
  • 확장 윈도우(Expanding Window): 실시간 예측 조건을 모사하기 위해 각 단계마다 확장되는 훈련 세트를 사용하여 모델을 재추정하였다.
  • 지표: 성능은 MAE, RMSE, MAPE, SMAPE 및 Theil's U 통계량을 사용하여 평가되었다.
  • 통계적 검정: 예측 오차가 랜덤 워크 벤치마크와 유의미하게 다른지 결정하기 위해 Diebold-Mariano(DM) 검정을 사용하였다.
  • 해석 가능성: 최적의 성능을 보인 ML 모델에 SHAP(Shapley Additive explanations) 값을 적용하여 특성 기여도를 분해하였다.
• 구조적 분석: PELT 알고리즘을 사용하여 구조적 변화를 탐지하였으며, 주요 거시경제적 사건(2018년 무역 전쟁, 2020년 팬데믹 회복, 2022년 금리 인상, 2024년 금리 인하)에 대응하는 4개의 유의미한 체제 전환(regime shifts)을 식별하였다.

주요 결과

1. 랜덤 워크의 지배력: 나이브 랜덤 워크(ARIMA(0,1,0)과 동일)가 가장 견고한 벤치마크로 남았다. 이 모델은 모든 모델 중 가장 낮은 RMSE(0.0158)와 MAPE(0.92%)를 달 기록했다.
2. 제한적인 ML 초과 성과:
   • 선형 회귀는 랜덤 워크를 통계적으로 유의미하게 능가한 유일한 모델이었다 (DM 통계량 = 3.0585, $p = 0.0071$). 저자들은 이를 근단위근(near-unit-root) 조건 하에서 낮은 분산을 가지며 랜덤 워크를 근사할 수 있는 모델의 능력 덕분이라고 설명한다.
   • 앙상블 모델: 모든 복잡한 ML 모델(Random Forest, Gradient Boosting, XGBoost, AdaBoost)은 음(-)의 DM 통계량을 나타냈으며, 이는 이들이 랜덤 워크보다 약간 더 성능이 낮음을 의미한다. 다만, 5% 유의 수준에서 항상 통계적으로 유의한 것은 아니었다.
   • ETS 성능: 전통적인 ETS 모델은 최악의 성능을 보였으며, 랜덤 워크보다 유의미하게 낮은 성과를 보였다. 이는 강한 계절성이 없는 시계열에 대한 부적절한 계절성 조정을 수행했기 때문으로 보인다.
3. 특성 중요도 (SHAP): 랜덤 포레스트 모델에 대한 SHAP 분석 결과, 단기 지연값($lag\_1$, $lag\_2$)과 최근 이동 평균이 예측을 주도하는 것으로 나타났다. $lag\_1$은 약 21%의 특성 중요도를 차지했다. 장기 지연값과 계절성 특성은 기여도가 미미했으며, 이는 해당 시계열이 주로 단기 모멘텀을 가진 랜덤 워크처럼 행동함을 확인시켜 준다.
4. 예측 정확도: 랜덤 워크를 통계적으로 이기지는 못했지만, 모든 ML 모델은 "높은 정확도"(MAPE < 10%)를 달eric했으며 ETS 벤치마크보다는 우수한 성능을 보였다. 랜덤 포레스트는 비-랜덤 워크 모델 중 가장 낮은 MAPE(1.17%)를 기록했다.

의의 및 주장
본 논문은 지정된 표본 기간 내에서 USD/CAD 쌍에 대한 미스-로고프 퍼즐에 대해 직접적이고 통계적으로 엄격한 해답을 제공한다고 주장한다. 주요 기여는 다음과 같다:

• 퍼즐의 강화: 본 연구는 고급 앙상블 방법과 엄격한 확장 윈도우 프로토콜을 사용하더라도, 내생적 과거 데이터만을 이용할 경우 선진국 경제의 환율은 랜덤 워크를 넘어 예측하기 어렵다는 점을 확인하였다.
• 방법론적 엄격성: 확장 윈도우 프레임워크와 Diebold-Mariano 검정을 활용함으로써, 본 연구는 ML 예측 문헌에서 흔히 발견되는 데이터 누수 및 과적합 문제를 피하였다.
• 해석 가능성: SHAP 값의 적용은 경제학에서의 "블랙박스" 비판에 대응하며, 모델이 기이한 패턴이 아닌 경제적으로 타당한 근접-랜덤 워크 동작을 학습하고 있음을 입증하였다.
• 실무적 뉘앙스: ML 모델이 랜덤 워크를 능가하지는 못했지만, 전통적인 통계 모델(ETS)보다는 우수했다. 저자들은 실무자들에게 선형 회귀와 랜덤 포레스트(확장 윈도우 하에서)가 특히 전통적 벤치마크와 비교했을 때 유용한 조건부 예측 도구로 기능할 수 있다고 제안하면서도, 이러한 이득을 신뢰할 수 있는 매매 규칙으로 해석하는 것에 대해서는 주의를 당부한다.

저자들은 결론적으로, 환율 예측에서 ML의 이점은 에피소드적(episodic)이며 모델 의존적이며, 데이터의 근접-랜덤 워크 특성에 의해 크게 제약된다고 본다. 따라서 향후의 발전은 단순히 과거 가격 데이터에만 의존하기보다 거시경제적 펀더멘털(예: 금리 차이, 원자재 가격)을 통합하는 데서 올 수 있다고 시사한다.