기술 요약: 횡단면 변동성 예측을 위한 레짐 게이팅 잔차 혼합 전문가 모델 (Regime-Gated Residual Mixture-of-Experts)

문제 정의

금융 변동성은 본질적으로 레짐(regime) 의존적이며, 과거 관측치와 미래 변동성 사이의 관계는 시장 상태(예: 안정기, 위기기, 회복기)에 따라 변화합니다. 딥 뉴럴 네트워크는 대규모 횡단면 주식 패널로부터 비선형 관계를 학습함으로써 변동성 예측 능력을 향상시켰으나, 레짐 정보를 통합하는 방식은 여전히 까다로운 과제로 남아 있습니다. 기존 방식들은 일반적으로 레жим 변수를 모델 입력값에 직접 추가하거나, 시장 상태에 따라 서로 다른 예측기를 전환하는 방식을 사용합니다. 그러나 이러한 방법들은 레짐 정보의 존재와 *통합 경로(integration pathway)*를 혼동하게 만들어, 성능 향상이 정보 자체 때문인지 아니면 정보가 모델에 진입하는 방식 때문인지 명확히 구분하기 어렵게 만듭나다. 또한, 레짐 변수를 입력값에 직접 추가하는 것은 컴팩트한 뉴럴 아키텍처에서 학습을 불안정하게 만들고 예측 성능을 저하시킬 수 있습니다.

방법론

저자들은 통합 경로의 효과를 격리하기 위해 설계된 새로운 아키텍처인 RG-ResMoE(Regime-Gated Residual Mixture-of-Experts)를 제안합니다. 본 연구는 레짐 변수, 모델 용량, 하이퍼파라미터 및 평가 프로토콜을 동일하게 유지하면서 오직 통합 지점만을 변화시키는 엄격한 정보 일치 비교 프레임워크를 채택하였습니다.

데이터 및 태스크

• 데이터셋: 주요 패널로 1,027개의 미국 주식(2018–2025)을 사용하였으며, 복제 패널로 1,552개의 일본 주식을 사용하였습니다.
• 태스크: 횡단면 주식 패널에 대한 5일 앞선 실현 변동성(연율화된 값) 예측.
• 입력값:
  • 주식 특징 ($x$): 실현 변동성, 수익률, RSI, 로그 수익률을 포함한 16개 특징.
  • 레짐 변수 ($z$): 두 가지 지표—시장 변동성(동일 가중 시장 수익률의 20일 이동 평균 변동성) 및 고유 변동성(잔차 수익률의 20일 이동 평균 변동성).

아키텍처 설계

핵심 혁신은 기본 예측과 레짐 의존적 보정(correction)을 분리하는 데 있습니다:

1. 고정된 베이스 네트워크 (Frozen Base Network): 표준 2개 은닉층 MLP가 주식 특징($x$)만을 사용하여 기본 변동성 수준($\hat{y}_{base}$)을 예측합니다. 이 네트워크는 먼저 학습된 후 고정됩니다.
2. 잔차 전문가 (Residual Experts): $K=4$개의 전문가 네트워크(MLP)는 전체 예측값이 아닌 잔차 보정값($r_k(x)$)을 예측합니다. 이 전문가들은 모델이 베이스 예측값에서 시작할 수 있도록 출력층이 0으로 초기화됩니다.
3. 레짐 게이팅 라우팅 (Regime-Gated Routing): 게이팅 네트워크($g$)는 주식 특징($x$)과 레짐 변수($z$)를 모두 입력으로 받아 전문가들에 대한 소프트 확률 분포($\pi$)를 출력합니다.
4. 최종 예측: 최종 예측값은 베이스 예측값과 전문가 잔차들의 가중 합으로 계산됩니다:
   $$\hat{y} = \hat{y}_{base} + \sum_{k=1}^{K} \pi_k r_k(x)$$
   결정적으로, 레짐 변수 $z$는 예측 네트워크의 입력을 직접 변경하는 것이 아니라 오직 라우팅 가중치 $\pi$를 통해서만 예측에 영향을 미칩니다.

학습 및 규제화

학습은 두 단계로 진행됩니다:

1. 베이스 네트워크 학습.
2. 베이스를 고정하고 전문가와 게이트를 공동 학습.
   손실 함수에는 다음이 포함됩니다:

• 최종 예측에 대한 평균 제곱 오차(MSE).
• 예측값이 베이스 근처에 머물도록 하는 총 잔차 보정 크기에 대한 수축 페널티(shrinkage penalty).
• 라우팅 붕괴(특정 전문가에게 집중되는 현상)를 방 prevent하기 위한 로드 밸런싱(load-balancing) 페널티.

주요 기여

1. 통합 경로의 발견: 논문은 레짐 정보의 위치가 결정적임을 입증합니다. 레짐 변수를 입력값에 직접 추가하면 정확도와 안정성이 저하되는 반면, 이를 잔차 보정의 게이팅 용도로만 사용하면 두 측면 모두 개선됩니다.
2. 잔차 MoE 아키텍처: 저자들은 컴팩트한 금융 예측 모델에서 Mixture-of-Experts(MoE)의 가치가 전체 모델 용량을 늘리는 데 있는 것이 아니라, 비정상성(non-stationary) 정보를 통해 안정적인 베이스 예측을 어떻게 조절하느냐에 있음을 보여줍니다.
3. 소프트 vs 하드 라우팅: 연속적인 소프트 라우팅(학습된 확률 분포)이 하드 라우팅(학습된 Top-1 게이트 또는 수작업으로 구분된 시장 파티션에 기반한 할당)보다 일관되게 우수한 성능을 보입니다.
4. 학습 안정성: RG-ResMoE 아키텍처는 표준 MoE 및 직접 입력 MLP와 비교하여 학습 안정성을 크게 향상시켜, 모델이 수렴하지 못하는 "붕괴된(collapsed)" 학습 실행을 제거했습니다.

결과

1,027개 미국 주식을 대상으로 30개의 비중첩 테스트 윈도우를 사용하는 롤링 워크 포워드(rolling walk-forward) 프레임워크를 통해 평가한 결과는 다음과 같습니다:

• 예측 정확도: RG-ResMoE는 모든 뉴럴 모델 중 가장 높은 정보 계수(IC: 0.5469), 가장 낮은 RMSE(0.2304), 그리고 가장 높은 Out-of-sample $R^2$(0.292)를 달성했습니다. 이는 용량이 매칭된 대형 MLP(MLP-L) 및 표준 MoE보다 유의미하게 높은 수치입니다.
• 안정성: RG-ResMoE는 30회의 실행 중 0회의 붕괴를 기록한 반면, 표준 MoE는 30회 중 24회, MLP-L(+z)는 30회 모두 붕로가 발생했습니다.
• 리스크 캘리브레이션: RG-ResMoE는 특히 고변동성 기간 동안 더 나은 Value-at-Risk(VaR) 캘리브레이션을 제공하였으며, 베이스라인 대비 Kupiec의 커버리지 테스트에서 더 낮은 거부율(rejection rate)을 보였습니다.
• 시장 스트레스 성능: RG-ResMoE의 이점은 변동성이 높았던 기간(예: 2020년 코로나 위기 시기, IC 이득이 전체 샘플 평균의 6.7배)에 가장 두드렷하게 나타났습니다.
• 교차 시장 복제: 일본 TSE Prime 패널에서도 결과가 성공적으로 복제되어, 잔차 라우팅의 이점이 특정 시장에 국한되지 않음을 확인했습니다.

의의 및 주장

본 논문은 컴팩트한 뉴럴 변동성 예측 모델에 있어, 레짐 인식 MoE 모델의 주요 가치는 모델 용량을 확장하는 것이 아니라 비정상적인 레짐 정보가 예측에 영향을 미치는 방식을 제어하는 것에 있다고 주장합니다.

저자들은 단순한 설계 원칙을 제시합니다: 레짐 정보는 일반적인 예측 입력값으로 취급될 때보다 잔차 라우팅을 가이드할 때 가장 효과적이라는 것입니다. 이러한 접근 방식은 모델이 안정적인 베이스 예측에 대한 보정을 조절함으로써 시장 상태에 적응할 수 있게 하여, 예측 정확도와 학습 견고성을 모두 향상시킵니다. 이 연구는 RG-ResMoE 아키텍처를 넘어, 향가적인 뉴럴 예측 모델에 시장 상태 정보를 통합하는 데 있어 이 원칙이 가이드가 될 수 있음을 시사합니다.

저자들이 언급한 한계점으로는 주식 시장과 컴팩트한 MLP 백본에 집중했다는 점이 있으며, 다른 금융 태스크, 더 큰 시퀀스 모델 또는 대안적인 상태 정의에 대한 일반화 가능성은 향후 연구 과제로 남겨두었습니다.