The Illusion of Accuracy: Machine-Learning and GARCH Forecasts of UK Equity Index Prices

기술 요약: 머신러닝 및 GARCH의 영국 주가지수 예측에 나타나는 정확성의 환상

문제 제기
본 논문은 현대적인 머신러닝(ML) 모델과 전통적인 계량경제학적 벤치마크 간의 엄격한 표본 외(out-of-sample) 비교가 결여된 금융 예측 문헌의 결정적인 공백을 다룬다. AI는 주가를 예측하는 우월한 도구로 점점 더 많이 마케팅되고 있으나, 이를 뒷받침하는 많은 증거는 예측값과 실제 가격 수준 사이의 시각적 비교나 낮은 백분율 오차에 의존하고 있다. 저자들은 주가가 매우 지속성(persistence)이 높기 때문에, 단순히 이전 주의 가격을 반복하는 것과 같은 예측 모델도 가격 차트상에서는 자연스럽게 정확해 보일 수 있으며, 이는 진정한 예측 능력의 부재를 은폐한다고 주장한다. 본 연구는 AI 모델이 단순 벤치마크(랜덤 워크 및 역사적 평균)와 계량경제 모델(ARIMA, GARCH)을 예측력 측면에서 실제로 능가할 수 있는지, 그리고 그러한 통계적 이득이 거래 비용을 제외한 후에도 경제적 가치로 전환되는지를 규명하고자 한다.

방법론
본 연구는 2015년 1월부터 2026년 10월까지의 FTSE 100 및 FTSE 250 지수에 대한 주간 데이터를 사용하여 엄격한 확장 윈도우(expanding-window) 표본 외 설계를 채택하였다. 샘플은 훈련 기간(20152021년)과 테스트 기간(20222026년)으로 나뉘며, 여기에는 2022년 금리 충격과 2025년 관세 폭락과 같은 중요한 시장 사건들이 포함된다.

8개의 서로 다른 모델이 평가된다:

1. 벤치마크: 랜덤 워크(RW) 및 역사적 평균(HM).
2. 계량경제 모델: ARIMA, AR–GARCH, 그리고 (비대칭적 레버리지 효과와 Student-t 오차를 포함한) AR–GJR-GARCH.
3. 머신러닝/통계 학습 모델: 예측 회귀(OLS), 랜덤 포레스트(RF), 피드포워드 신경망(MLP).

모든 학습 모델은 시계열 데이터의 미래 정보를 미리 사용하는 편향(look-ahead bias)을 방지하기 위해 매주 파라미터를 재추정하며, 12개의 예측 변수(지연 수익률, 변동성 척도, 모멘텀, 거래량 포함)를 활용한다. 평가는 다각도로 이루어진다:

• 가격 정확도: 평균 제곱근 오차(RMSE), 평균 절대 오차(MAE), 평균 절대 백분율 오차(MAPE).
• 수익률 예측 가능성: 표본 외 $R^2$, Diebold-Mariano(DM) 검정, 중첩 모델을 위한 Clark-West 검정, 그리고 방향성 예측을 위한 Pesaran-Timmermann 검정.
• 편향 분석: 무편향성($\alpha=0, \beta=1$)을 테스트하는 Mincer-Zarnowitz 회귀 분석.
• 변동성 및 리스크: RiskMetrics(EWMA) 및 12주 이동 분산을 기준으로 한 MSE 및 QLIKE 손실 함수 비교; Kupiec 검정을 통한 가치-위험(VaR) 백테스팅.
• 경제적 가치: 거래 비용 0.10%를 고려하여 (예측 수익률 > 0일 때 매수, 그렇지 않으면 현금 보유) 전략을 시뮬레이션하고, 샤프 지수(Sharpe ratio)와 최대 낙폭(maximum drawdown)을 통해 매수 후 보유(buy-and-hold) 벤치마크와 비교.

주요 결과
본 연구는 주가 예측에 관한 기존의 서사를 반박하는 세 가지 주요 결과를 도출하였다:

1. 가격 수준에서의 "정확성의 환상": 복잡한 ML 구조를 포함한 모든 모델은 1.3~1.6%의 평균 절대 백분율 오차(MAPE)를 기록했다. 그러나 이러한 정확도는 거의 전적으로 가격의 지속성에 의해 기인한다. 랜덤 워크 벤치마크는 모든 복잡한 모델만큼 혹은 그보다 더 나은 성능을 보였다. 특히, FTSE 100에 대해 랜덤 포레스트와 예측 회귀 모델은 랜덤 워크보다 현저히 낮은 정확도를 보였다. 어떤 모델도 수익률 예측 가능성이나 방향성(hit rate) 측면에서 랜덤 워크를 유의미하게 능가하지 못했으며, Mincer-Zarnowitz 회귀 분석 결과 예측 수익률은 실제 수익률의 변동을 거의 설명하지 못했다 ($R^2 < 1.22\%$).

2. 변동성 예측에서의 GARCH 우위: 수익률 예측과는 대조적으로, 비대칭적 GJR-GARCH 모델은 변동성 예측에 있어 역사적 벤치마크를 유의미하게 능가했다. 이 모델은 두 지수 모두에 대해 가장 정확한 변동성 예측을 제공했으며, 95% 및 99% 신뢰 수준에서 적절히 보정된 가치-위험(VaR) 추정치를 산출했다. 이는 가격의 '방향'은 예측 불가능할지라도, 가격 움직임의 '규모'(리스크)는 (특히 레버리지 효과를 고려할 때) 예측 가능하다는 것을 확인시켜 준다.

3. 경제적 가치의 부재: 거래 비용을 고려했을 때, 어떤 예측 기반 거래 전략도 FTSE 100에 대한 단순 매수 후 보유 전략을 능가하지 못했다. FTSE 250의 경우 일부 전략이 약간 높은 수익률을 보였으나, 이는 예측 능력 때문이 아니라 리스크 감소(하락장에서 시장에서 빠져나옴)에 의한 것이었다. 해당 모델들은 통계적 검정에서 유의미한 수익률 예측력을 입증하지 못했기 때문이다.

주요 기여
본 논문은 문헌에 세 가지 구체적인 기여를 한다:

• 영국 시장의 증거: 미국 데이터에 편중된 기존 문헌을 넘어, 영국 시장에 대한 드문 최신 표본 외 증거를 제공한다.
• 포괄적인 비교 설계: 단일하고 견고한 실험 설계 내에서 AI와 GARCH 계열 모델을 가격 정확도, 수익률 예측 가능성, 변동성 예측, 경제적 가치라는 네 가지 서로 다른 기준에 따라 직접 비교한 몇 안 되는 연구 중 하나이다.
• 방법론적 명확화: 예측된 가격 수준과 실제 가격 수준 사이의 시각적 비교가 모델을 평가하는 데 불충분함을 입증한다. 본 논문은 "정확성의 환상"이 가격의 지속성에서 비롯됨을 밝히고, 예측 능력에 대한 어떠한 주장이라도 랜덤 워크를 최소한의 벤치마크로 삼아야 한다고 주장한다.

의의 및 주장
본 논문은 영국 주식 시장에서 정량적 모델의 가치는 수익을 예측하는 것이 아니라 리스크를 측정하는 데 있다고 결론짓는다. 저자들은 가격 수준 차트를 통해 정확성을 입증하려는 AI 도구들의 성공적인 모습은 흔히 시장의 지속성에 의한 통계적 인공물(artifact)이라고 단언한다.

연구는 투자자와 규제 기관이 가격 수준 차트를 정확성의 증거로 제시하는 AI 도구들에 대해 회의적인 태도를 가져야 한다고 제언한다. 대신, 평가의 표준은 랜덤 워크에 대한 통계적 유의성과 비용을 고려한 경제적 생존 가능성이 되어야 한다. 본 연구의 결과는 AI와 ML이 현재 시장 방향에 대한 "수정구슬" 역할을 하지는 못할지라도, 리스크 관리, 포지션 사이징, 스탑로스(stop-loss) 설정 등을 위한 GARCH 계열 모델이 여전히 필수적인 도구라는 견해를 뒷받침한다. 본 논문은 자신의 결과가 거대 언어 모델(LLM)이나 파운데이션 모델을 활용하는 미래의 AI 예측 도구들에 대한 주장을 평가하는 실질적인 테스트 역할을 할 것이라고 완곡하게 주장한다.