Hybrid Hidden Markov Model for Modeling Equity Excess Growth Rate Dynamics: A Discrete-State Approach with Jump-Diffusion

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"주식 시장의 미래를 예측하는 것이 아니라, 현실과 똑같은 '가짜' 주식 데이터를 만들어내는 새로운 방법"**을 소개합니다.

금융 전문가들은 위험을 테스트하거나 새로운 투자 전략을 검증할 때, 실제 역사에 없는 시나리오 (예: 2008 년 금융위기보다 더 큰 폭락) 가 필요하지만, 단순히 과거 데이터를 복사해 붙여넣으면 새로운 상황을 만들 수 없습니다. 그래서 실제 시장과 통계적으로 똑같은 '가짜' 데이터를 만드는 기술이 필요한데, 기존 방법들은 하나씩 문제가 있었습니다.

이 논문은 이 문제를 해결하기 위해 **'하이브리드 숨은 마르코프 모델 (Hybrid HMM)'**이라는 새로운 장난감을 개발했다고 합니다.

🎡 핵심 비유: "주식 시장의 날씨와 폭풍우"

이 논문의 아이디어를 이해하기 위해 날씨에 비유해 보겠습니다.

기존 방법들의 문제점:
- GARCH 모델 (기존의 정석): 이 모델은 "비가 오면 다음 날도 비가 올 확률이 높다"는 **습기 (변동성 군집)**를 잘 설명합니다. 하지만 "갑자기 태풍이 와서 하루 만에 도시가 파괴된다"는 **극단적인 사건 (꼬리 분포)**을 제대로 묘사하지 못합니다. 마치 "비만 오고, 맑음만 있는 평범한 날씨"만 만들어내는 것과 같습니다.
- 일반적인 HMM (은닉 마르코프 모델): 이 모델은 "맑음, 흐림, 비"라는 **상태 (Regime)**를 구분합니다. 하지만 문제는 "폭풍우 상태"에 들어갔다가도 1~2 일 만에 금방 다시 맑아진다는 것입니다. 실제 시장에서는 한 번 폭풍우가 오면 몇 주 동안 계속 불안정한 상태가 유지되는데, 이 모델은 너무 빨리 진정시켜버립니다.
- 딥러닝 (AI): AI 는 복잡한 패턴을 배우지만, 마치 기억력 좋은 학생처럼 과거 데이터를 외워버리는 경향이 있어, 진짜 새로운 '폭풍우'를 만들어내지 못하거나 통계적 분포가 뭉개져버립니다.
이 논문이 제안한 해결책: "폭풍우를 부르는 시계 (점프 - 확산)"
- 저자들은 기존 모델에 **'폭풍우 시계 (Poisson Jump-Duration Mechanism)'**라는 장치를 추가했습니다.
- 어떻게 작동하나요?
  - 평소에는 일반적인 날씨 (상태) 를 바꾸며 움직입니다.
  - 하지만 아주 가끔 (확률 $\epsilon$ ), 이 **'폭풍우 시계'**가 울립니다.
  - 시계가 울리면, 모델은 **강제로 폭풍우 상태 (꼬리 상태)**에 갇히게 됩니다. 그리고 그 상태에 몇 주 동안 (평균 $\lambda$ 일) 머물도록 강요합니다.
  - 마치 "폭풍우가 오면 최소 3 일간은 비가 그치지 않는다"는 규칙을 시스템에 심어준 것입니다.

🛠️ 이 모델의 특징 (일상적인 언어로)

상태를 숫자 구획으로 나눕니다: 주식 수익률을 '평범한 날', '약간 불안한 날', '폭풍우 날' 등으로 100 개의 작은 구획 (Quantile) 으로 나누어 관리합니다.
복잡한 계산을 피합니다: 기존에는 이 모델을 학습시키기 위해 'Baum-Welch'라는 복잡한 알고리즘을 돌려야 했는데, 이 모델은 단순히 과거 데이터를 세어서 (Counting) 규칙을 정합니다. 마치 "지난 10 년간 폭풍우가 몇 번 왔고, 몇 일 동안 지속되었는지"를 단순히 카운트해서 규칙을 만드는 것과 같습니다. 그래서 계산이 매우 빠르고 쉽습니다.
한 번에 424 개 주식도 만듭니다: SPY(미국 S&P 500 지수) 라는 '큰 시장'의 가짜 데이터를 먼저 만들고, 그 데이터를 바탕으로 나머지 424 개 개별 주식들의 데이터를 만들어냅니다. 마치 큰 배 (시장) 의 파도를 먼저 만들고, 그 위에 있는 **작은 보트 (개별 주식)**들이 그 파도에 따라 흔들리는 모습을 시뮬레이션하는 것과 같습니다.

📊 결과가 어땠나요? (시험 성적표)

이 모델은 1,000 개의 가짜 주식 경로를 만들어 실제 데이터와 비교했습니다.

분포 (날씨의 종류): 가짜 데이터의 '폭풍우 빈도'와 '평온한 날의 분포'가 실제와 거의 똑같았습니다. (97% 이상 통과)
시간적 구조 (폭풍우의 지속성): 기존 모델들은 폭풍우가 금방 그쳤지만, 이 모델은 폭풍우가 실제로처럼 몇 주 동안 지속되는 모습을 잘 재현했습니다.
균형 잡힌 성능:
- GARCH 는 폭풍우 지속성은 잘 재현했지만, 폭풍우의 '강도' (분포) 는 틀렸습니다.
- 일반 HMM 은 폭풍우의 강도는 잘 재현했지만, 지속성은 너무 짧았습니다.
- 이 하이브리드 모델은 둘 다 완벽하진 않지만, 어느 부분에서도 치명적인 실패를 하지 않는 '가장 균형 잡힌' 성능을 보여주었습니다.

💡 왜 이것이 중요한가요?

이 기술은 **금융 기관의 '화재 안전 훈련'**과 같습니다.
실제 화재가 나기 전에, "만약 불이 나면 어떻게 될까?"를 시뮬레이션해야 합니다. 과거에 없던 새로운 형태의 재난 (예: AI 버블 붕괴, 새로운 팬데믹) 을 가정할 때, 이 현실과 통계적으로 똑같은 가짜 데이터를 통해 투자 포트폴리오가 얼마나 견딜 수 있는지 테스트할 수 있습니다.

📝 한 줄 요약

"이 논문은 주식 시장의 '평온한 날'과 '폭풍우'를 구분하는 동시에, 한 번 시작된 폭풍우가 실제처럼 오래 지속되도록 강요하는 새로운 '가짜 데이터 생성기'를 개발하여, 금융 위험 테스트의 정확도를 높였습니다."

이 모델은 복잡한 AI 나 수학 공식에 의존하기보다, 현실의 패턴을 단순하게 세고 규칙을 적용하는 직관적인 방법으로, 빠르고 신뢰할 수 있는 금융 시나리오를 만들어냅니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 제기 (Problem)

금융 공학 및 데이터 품질 연구에서 실제 시장 데이터의 통계적 특성을 충실히 보존하는 합성 금융 시계열 (Synthetic Financial Time Series) 생성은 스트레스 테스트, 리스크 모델 검증, 시나리오 설계 등에 필수적입니다. 그러나 기존 접근법들은 다음과 같은 한계를 가집니다.

실증적 데이터의 특징 (Stylized Facts): 실제 주식 초과 수익률은 (1) 두꺼운 꼬리 (Heavy-tailed/Leptokurtic) 분포, (2) 원시 수익률의 선형 자기상관 부재, (3) **지속적인 변동성 군집 (Volatility Clustering)**이라는 세 가지 특징을 동시에 가집니다.
기존 모델의 실패:
- GARCH 계열: 변동성 군집은 잘 포착하지만, 이산적인 시장 레짐 (Regime) 이나 갑작스러운 점프 (Jump) 를 명시적으로 표현하지 못하며, 두꺼운 꼬리 분포를 재현하기 위해 외부 분포 (예: Student-t) 를 강제해야 합니다.
- 표준 HMM (은닉 마르코프 모델): 이산 상태 전환을 통해 레짐 스위칭을 모델링하지만, 고변동성 상태 (Tail states) 에서의 체류 시간이 너무 짧아 (기하급수적 감쇠) 변동성 군집을 제대로 재현하지 못합니다.
- 딥러닝 (GAN, RNN 등): 복잡한 분포 학습은 가능하지만, 변동성 군집과 같은 시간적 의존 구조를 재현하는 데 어려움을 겪거나 분포적 충실도 (Distributional Fidelity) 가 떨어지는 경향이 있습니다.

핵심 문제: 분포적 충실도 (Heavy tails) 와 시간적 구조 (Volatility Clustering) 를 동시에 재현하면서도 계산적으로 확장 가능한 생성 프레임워크의 부재.

2. 제안된 방법론 (Methodology)

저자들은 **하이브리드 은닉 마르코프 모델 (Hybrid HMM)**을 제안하며, 이는 연속적인 초과 성장률을 이산화하고 점프 - 확산 메커니즘을 결합한 접근법입니다.

A. 이산 상태 정의 및 파라미터 추정

상태 공간 (State Space): 초과 성장률을 라플라스 (Laplace) 분포의 분위수 (Quantile) 를 기반으로 정의된 $N$ $N$ 개의 이산 상태로 분할합니다.
- 라플라스 분포는 평균 주변의 뾰족한 피크가 실제 시장 데이터의 작은 가격 변동 집중도를 잘 반영합니다.
방출 분포 (Emission Distribution): 각 상태 내에서 관측치는 자유도 $\nu=5$ 인 위치 - 척도 Student-t 분포를 따릅니다. 이는 정규 분포보다 두꺼운 꼬리를 가져 과도한 첨도 (Excess Kurtosis) 를 재현합니다.
파라미터 추정 (EM 알고리즘 대체): 전통적인 Baum-Welch (EM) 알고리즘을 사용하지 않고, **직접적인 빈도수 세기 (Direct Frequentist Counting)**를 통해 전이 행렬 (Transition Matrix) 을 추정합니다. 이는 초기값 민감성을 제거하고 계산 효율성을 극대화합니다.

B. 점프 - 확산 메커니즘 (Jump-Duration Mechanism)

표준 HMM 의 고변동성 상태 체류 시간 부족 문제를 해결하기 위해 포아송 (Poisson) 기반의 점프 - 지속 시간 메커니즘을 도입했습니다.

작동 원리: 각 시간 단계에서 확률 $\epsilon$ 로 '점프 사건'이 발생합니다. 점프가 발생하면 모델은 $K \sim \text{Poisson}(\lambda)$ 만큼의 시간 동안 고변동성 꼬리 상태 (Tail states) 에 강제로 머무릅니다.
비대칭성: 점프 발생 시 음의 꼬리 상태 (S-) 에 머무를 확률 ( $p_{neg}$ ) 을 약간 높여 수익/손실 비대칭성을 반영합니다.
효과: 이 메커니즘은 고변동성 레짐이 실제 시장과 유사한 기간 동안 지속되도록 강제하여 변동성 군집 (ARCH 효과) 을 부분적으로 재현합니다.

C. 다중 자산 확장 (Single-Index Model Extension)

단일 자산 (SPY) 모델링을 424 개 자산으로 확장하기 위해 **단일 지수 모델 (Single-Index Model, SIM)**을 적용했습니다.
각 자산의 수익률은 SPY(시장 요인) 의 생성된 경로와 자산별 고유 충격 (Idiosyncratic shock) 의 선형 결합으로 재구성됩니다. 이를 통해 고차원 모델 추정 없이도 교차 상관 구조를 보존하며 확장 가능한 합성 데이터 파이프라인을 구축했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 실험 설정

데이터: SPY (S&P 500) 일별 초과 성장률 (2014-2024: 학습, 2025: 테스트).
비교 대상: GARCH(1,1), 표준 HMM (점프 없음), HSMM (Semi-Markov), GRU(딥러닝), 부트스트랩 등.
평가 지표:
- 분포적 충실도: Kolmogorov-Smirnov (KS), Anderson-Darling (AD) 통과율, Wasserstein-1 거리, Hellinger 거리.
- 시간적 구조: 절대 수익률의 자기상관 함수 평균 절대 오차 (ACF-MAE).

B. 주요 결과

균형 잡힌 품질 프로파일:
- HMM-WJ (제안 모델): 분포적 충실도 (KS 97.6%, AD 91.3%) 와 시간적 구조 (ACF-MAE 0.052) 사이에서 가장 균형 잡힌 성능을 보였습니다.
- GARCH(1,1): 변동성 군집 (ACF-MAE 0.031) 을 가장 잘 재현했으나, 분포적 적합도 (KS 통과율 5.5%) 가 매우 낮았습니다.
- 표준 HMM (HMM-NJ): 분포적 충실도 (KS 99.7%) 는 가장 높았으나, 변동성 군집을 전혀 재현하지 못했습니다 (ACF-MAE 0.059, i.i.d. 수준).
- GRU: 시간적 구조는 잘 학습했으나 분포적 특성 (분산 축소 등) 을 완전히 망가뜨려 분포적 통과율이 0.6% 에 불과했습니다.
점프 메커니즘의 효과:
- 약 24% 의 시뮬레이션 경로에서 포아송 점프 사건이 발생하여 ACF 감쇠를 늦추고 변동성 군집을 부분적으로 재현했습니다.
- 점프 지속 시간 ( $\lambda$ ) 은 자산별 변동성 군집 강도에 따라 자동 조정되었습니다 (예: NVDA, JPM 은 160, 방어주 JNJ 는 30).
아웃 - 오브 - 샘플 (OoS) 성능:
- 2025 년 전체 연도 데이터에서 제안 모델은 KS 94.4%, AD 95.1% 의 통과율을 기록하며 일반화 능력을 입증했습니다.
- GARCH 는 OoS 에서 분포적 특성이 급격히 악화되었으나 (Wasserstein 거리 증가), 제안 모델은 Student-t 방출 분포 덕분에 견고한 일반화 성능을 유지했습니다.
다중 자산 확장:
- 424 개 자산에 적용 시, SPY 단일 모델의 97.6% 에서 66.7% (평균) 로 KS 통과율이 감소했으나, 이는 단일 인자 모델의 한계 때문이며 HMM 엔진 자체의 성능 저하는 아니었습니다.

4. 의의 및 결론 (Significance & Conclusion)

이론적 기여: 표준 HMM 의 구조적 결함 (변동성 군집 부재) 을 EM 알고리즘의 복잡성 없이, 직접적인 빈도수 세기와 간단한 점프 - 지속 시간 메커니즘으로 해결했습니다. 이는 분포적 충실도와 시간적 구조를 동시에 만족하는 새로운 균형점을 제시합니다.
실용적 가치:
- 스트레스 테스트: 실제 관찰되지 않았지만 통계적으로 가능한 극단적 시장 시나리오를 생성하여 리스크 관리에 활용 가능합니다.
- 해석 가능성: 각 은닉 상태가 분위수 기반의 시장 상태 (예: 붕괴, 약세, 중립, 강세) 에 대응되어 리스크 관리자와의 소통이 용이합니다.
- 계산 효율성: EM 알고리즘을 사용하지 않아 대규모 자산 포트폴리오 (424 개) 에 대한 일일/주간 재구성이 가능하며, 초기값 민감성 문제가 없습니다.
- 프라이버시: 생성된 데이터는 학습 데이터의 변형이 아닌 확률적 샘플링이므로, 민감한 금융 데이터 공유 시 프라이버시 보호 효과가 있습니다.

결론적으로, 이 연구는 단일 모델이 모든 품질 지표를 지배할 수 없다는 사실을 인정하면서도, 분포적 정확성과 시간적 구조 보존 사이에서 **파레토 최적 (Pareto Frontier)**에 가까운 하이브리드 HMM 프레임워크를 제안함으로써 합성 금융 데이터 생성의 새로운 표준을 제시합니다.