💰 quantitative finance

Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns

이 논문은 단기 시계에서 꼬리가 두꺼운 금융 수익률을 예측할 때, 출력 헤드(구체적으로 가우시안 혼합 모델)의 선택이 백본 아키텍처의 영향보다 꼬리 위험을 포착하고 분포 정확도를 개선하는 데 있어 훨씬 더 중요하다는 것을 입증하며, 다만 백본은 더 긴 시계에서 더 중요해진다는 점을 보여준다.

원저자: Sichao He, Yansong Zhang

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sichao He, Yansong Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 앞으로 며칠간의 날씨를 예측하려고 한다고 상상해 보십시오. 당신에게는 이를 돕기 위한 두 가지 주요 도구가 있습니다:

엔진 (백본/중추): 모든 데이터(위성 이미지, 기압, 풍속)를 처리하는 복잡한 컴퓨터 시스템입니다.
리포트 (출력 헤드): 최종 예측이 당신에게 어떻게 제시되는가 하는 문제입니다. 단순히 하나의 온도 수치인가요? 아니면 "70°F일 가능성이 높음"이라고 말하는 종 모양의 곡선(벨 커브)인가요? 아니면 "강수 확률 90%, 토네이도 발생 확률 5%, 폭염 발생 확률 5%"와 같이 상세한 지도를 보여주는 것인가요?

**"Heads, Not Backbones"**라는 제목의 이 논문은 금융 시장(특히 S&P 500 주식 지수)을 예측하는 것에 대해 아주 간단한 질문을 던집니다: 엔진의 복잡성이 더 중요한가, 아니면 리포트를 제시하는 방식이 더 중요한가?

저자들은 네 가지의 서로 다른 첨단 "엔진"(현대적인 AI 모델)을 테스트하고, 이를 세 가지 유형의 "리포트"(출력 헤드)와 결합했습니다. 그들이 발견한 내용을 쉬운 비유를 통해 설명합니다.

1. "두터운 꼬리(Fat-Tailed)" 문제

금융 시장은 대부분 완만하게 움직이지만, 가끔씩 무시무시하고 극단적인 급락이나 급등이 발생하는 롤러코스터와 같습니다. 통계학에서는 이를 "두터운 꼬리(fat-tailed)" 분포라고 부릅니다.

표준 모델은 시장이 잔잔한 호수처럼 행동한다고 가정합니다(정규 분포). 이 모델들은 평범한 날을 예측하는 데는 뛰어나지만, 폭락이나 갑작스러운 급등을 예측하는 데는 형편없습니다.
목표: 저자들은 이러한 극단적인 위험을 인정하는 더 나은 "리포트"를 구축할 수 있는지 확인하고자 했습니다.

2. 실험: 리포트 교체하기

연구진은 "엔진"(AI 백본)은 고정시킨 채 "리포트"(헤드)를 교체했습니다:

포인트 헤드 (단일 숫자): 이것은 내일 기온이 "72°F"라고만 말하는 날씨 앱과 같습니다. 폭풍의 위험에 대해서는 알려주지 않습니다.
가우시안 헤드 (종 모양 곡선): 이것은 "내일은 대략 72°F이며, 오차 범위는 ±5도입니다"라고 말합니다. 이는 변동이 대칭적이고 매끄럽다고 가정합니다.
믹스처 헤드 (다중 모드 지도): 이것은 훨씬 정교합니다. "내일은 아마 72°F가 되겠지만, 갑자기 60°F로 떨어질 가능성이 소폭 존재하며, 85°F로 치솟을 가능성도 소폭 존재합니다"라고 말합니다. 이는 "두터운 꼬리"(극단적 위험)를 포착하기 위해 여러 가지 시나리오를 혼합하여 사용합니다.

3. 거대한 발견: 리포트가 승리하다

결과는 놀랍고 명확했습니다: "리포트(헤드)"가 "엔진(백본)"보다 훨씬 더 중요했습니다.

엔진을 바꿀 경우: 가장 좋은 AI 엔진을 가져와서 약간 다른 엔진으로 교체했을 때, 예측 정확도의 변화는 거의 없었습니다(1.5% 미만의 차이). 이는 자동차에서 토요타 엔진을 혼다 엔진으로 바꾸는 것과 같으며, 차는 여전히 비슷하게 달립니다.
리포트를 바꿀 경우: 동일한 엔진을 유지하면서 "단일 숫자" 리포트를 "다중 모드 지도" 리포트로 바꿨을 때, 정확도가 눈에 띄게 향상되었습니다(약 3.7%에서 6.4%).
비유: 만약 당신이 눈을 가린 채 운전하고 있다면(잘못된 리포트), 페라리 엔진(최고의 AI)을 가지고 있는 것은 의미가 없습니다. 하지만 일반적인 엔진을 가지고 있더라도 완벽한 GPS(올바른 리포트)가 있다면, 훨씬 더 정확하게 목적지에 도달할 수 있습니다.

4. 왜 "다중 모드 지도(믹스처)"가 특별한가

"믹스처 헤드(Gaussian Mixture)"가 명확한 승자였으며, 특히 위기 기간(1970년대 스태그플레이션이나 2008년 금융 위기 같은 시기)에 더욱 그러했습니다.

단일 숫자는 폭락의 위험을 무시합니다.
종 모양 곡선은 폭락을 그저 매끄러운 곡선 위의 "큰 변동" 중 하나로 간주합니다.
다중 모드 지도는 폭락 시나리오를 위한 별도의 "차선"을 구체적으로 구축합니다. 이는 다른 모델들이 놓치는 "두터운 꼬리"를 포착합니다.

논문은 이 추가적인 가치가 혼란스러운 상황에서 가장 잘 드러난다고 언급합니다. 시장이 평온할 때는 화려한 지도가 단순한 추측보다 크게 나을 것이 없습니다. 하지만 시장이 패닉에 빠졌을 때, 그 화려한 지도는 위험을 감지할 수 있는 유일한 도구가 됩니다.

5. 중요한 주의사항 (논문이 말하지 않는 것들)

저자들은 자신들의 연구 결과에 대해 매우 솔직합니다:

이것은 "빨리 부자가 되는 법"이 아닙니다: 그들은 이 예측을 이용한 간단한 트레이딩 전략을 테스트했으나, 손실을 보았습니다. 위험에 대한 더 나은 예측을 갖는다고 해서 자동으로 더 많은 수익을 낼 수 있는 것은 아닙니다. 그 정보를 활용할 수 있는 스마트한 전략이 여전히 필요합니다.
기간에 따라 달라집니다: "리포트(헤드)"는 단기 예측(며칠 또는 몇 달)에서 왕입니다. 그러나 장기 예측(6개월 또는 1년)으로 가면 "엔진(백본)"의 중요성이 다시 커지기 시작합니다.
자산에 따라 달라집니다: 이 방식은 변동성이 크고 두터운 꼬리를 가진 주식 수익률에는 매우 효과적입니다. 하지만 국채 수익률이나 환율처럼 마치 잔잔한 강물처럼 움직이는 대상에는 잘 작동하지 않습니다. 그런 자산의 경우, 단순한 "단일 숫자" 리포트가 충분히 좋은 경우가 많습니다.

결론

만약 당신이 주식 시장의 예측 불가능하고 격렬한 변동을 예측하려 한다면, 어떤 복잡한 AI 모델을 사용하는지에 집착하지 마십시오. 대신, 데이터를 어떻게 해석하느냐에 집중하십시오.

여러 가지 가능한 미래(무서운 시나리오를 포함하여)를 설명할 수 있는 모델을 사용하는 것이 가장 정교한 컴퓨터 아키텍처를 사용하는 것보다 훨씬 더 중요합니다. "헤드(출력)"가 "백본(아키텍처)"을 압도합니다.

기술 요약: 백본이 아닌 헤드(Heads, Not Backbones)

문제 정의

금융 수익률(특히 단기 호라이즌)의 두터운 꼬리(fat-tailed) 분포를 예측하기 위한 딥러닝 파이프라인에서, 아키텍처의 복잡성(즉, "백본")이 성능의 주요 동인이라는 가설이 지배적이다. 그러나 리스크 관리, 자본 배분, 규제 스트레스 테스트에는 점 추정치(point estimates)가 아닌 분포 예측(예: Value-at-Risk, Expected Shortfall)이 필요하다.

지배적인 딥러잉 예측 아키텍처들(TimesNet, DLinear, N-BEATS, iTransformer)은 일반적으로 Huber 또는 MSE 손실 함수로 학습된 **점 헤드(point heads)**를 탑재하여 출시된다. 이러한 손실 함수는 조건부 중앙값이나 평균을 유도하지만, 두터운 꼬리를 가진 분포에 대해 엄격한 적절한 점수 규칙(strictly proper scoring rules)이 아니며, 꼬리 리스크(tail risk)를 포착하는 데 실패한다. 표준적인 해결책은 점 헤드를 밀도 헤드(density head, 예: 가우시안 혼합 모델)로 교체하고 음의 로그 가능도(NLL)를 통해 학습시키는 것이다.

본 논문은 다음과 같은 근본적인 질문을 조사한다: 두터운 꼬리를 가진 금융 수익률에 대하여, 예측 정확도에 더 중요한 것은 백본 아키텍처인가, 아니면 출력 헤드인가?

방법론

데이터 및 프로토콜

데이터셋: Shiller 데이터셋에서 추출한 S&P 500 월간 로그 수익률 (1871–2023, 1,832개 관측치). 경험적 첨도(kurtosis)는 약 6으로, 가우시안 값인 3보다 현저히 높다.
검증: 5개의 앵커드 워크 포워드 폴드(anchored walk-forward folds)를 사용하며, 훈련 비율 0.50, 테스트 윈도우 0.07, 스텝 0.10을 적용한다. 실험은 세 개의 랜덤 시드에 대해 반복 수행된다.
호라이즌(Horizons): $h \in \{1, 3, 6, 12\}$ 개월.

실험 설계

저자들은 백본과 헤드의 효과를 격리하기 위해 정교한 $4 \times 3$ 요인 설계(12개 변형)를 구축한다:

백본 (4종):
- TimesNet: FFT 기반 주기 발견 + 2D 컨볼루션.
- DLinear: 추세/계절성 분해 + 선형 투영.
- N-BEATS: 일반적인 기저 확장 블록의 잔차 스택.
- i-Transformer: 타임스텝별 임베딩 + 시간 차원에 대한 셀프 어텐션.
- 참고: PatchTST는 패칭- $\sigma$ 문제로 인해 밀도 헤드와의 호환성 문제로 제외되었다.
출력 헤드 (3종): 모두 동일한 백본 은닉 상태( $d_{hidden}=64$ $d_{hi dd e n} = 64$ )를 공유한다.
- 점 헤드(Point Head): $\hat{y} \in \mathbb{R}^H$ 로의 선형 투영, Huber 손실로 학습. (CRPS 평가를 위해 사후 가우시안 근사 적용).
- 단일 가우시안 헤드(Single-Gaussian Head): $(\mu, \sigma) \in \mathbb{R}^{2H}$ 로의 선형 투영, 가우시안 NLL로 학습.
- 가우시안 혼합 헤드(GMM): $(\mu, \sigma, \pi) \in \mathbb{R}^{3HK}$ 로의 선형 투영 ( $K=4$ 성분), GMM NLL로 학습.

지표

주 지표: 연속 확률 순위 점수(CRPS) 및 CRPS-스킬-스코어(TimesNet 점 헤드 베이스라인 대비).
부 지표: $\tau \in \{0.05, 0.95\}$ 에서의 핀볼 손실(quantile loss), 예측 구간 커버리지, 평균 제곱 오차(MSE).
통계 검정: 제곱 오차에 대한 Hansen–Lunde–Nason 모델 신뢰 집합(MCS); 폴드별 CRPS 차이에 대한 Diebold–Mariano paired $t$ -test.

주요 결과

1. 헤드가 백본을 압도함 (단기 호라이즌)

단기 호라이즌( $h < 6$ )의 월간 S&P 500 수익률에서, 출력 헤드가 지배적인 요인이다:

엄격한 경사(Strict Gradient): 점 헤드 $\to$ $\to$ 가우시안 $\to$ $\to$ GMM으로 이동함에 따라 CRPS가 엄격하게 개선된다.
- 점 $\to$ 가우시안: 약 $+1.3\%$ 개선.
- 가우시안 $\to$ GMM: 약 $+2.4\%$ 개선.
- 전체 점 $\to$ GMM: 약 $+3.7\%$ 개선.
백본 영향: 헤드를 고정한 상태에서 백본을 교체할 경우, 점 헤드 행에서 CRPS 변화는 1.5% 미만이다. 밀도 헤드에서도 백본 간의 편차(N-BEATS에 의한 최대 5.1%)는 일반적으로 헤드의 경사보다 작다.
MCS 결과: 제곱 오차에 대한 모델 신뢰 집합(MCS)은 5% 수준에서 12개의 변형 중 어느 것도 배제하지 않는다. 즉, 어떤 백본도 점 예측 정확도(MSE) 측면에서 모델을 구분 짓지 못한다. 헤드만이 분포적 지표(CRPS, Pinball, 커버리지)에서 모델을 구분한다.

2. "h-분리" (호라이즌 의존성)

헤드의 지배력은 호라이즌에 따라 달라진다:

단기 호라이즌 ( $h \le 3$ ): 헤드가 지배한다. 딥 백본을 사용한 GMM 헤드는 고전적 베이스라인보다 우수한 성능을 보인다.
장기 호라이즌 ( $h \ge 6$ ): 백본이 다시 주도권을 잡는다. 고전적인 재귀 모델(GARCH, ARIMA)은 GMM 헤드를 사용하더라도 성능이 붕괴된다 (예: GARCHgmm은 $h=6$ 에서 CRPS 스킬이 $-50\%$ 로 급락). 이는 변동성 예측이 무조건적 평균으로 회귀하기 때문이다. 반면, 다단계 직접 학습(multi-step direct training)을 수행하는 딥 백본은 성능을 유지하며, $h=6$ 에서 고전적 모델보다 약 55 퍼센트 포인트 더 높은 성능을 보인다.

3. 교차 자산 일반화

헤드의 경사는 보편적이지 않으며, 데이터 생성 과정에 따라 달라진다:

수익률 유사 프로세스: (월간/일간 S&P 500 수익률, 일간 VIX). GMM 헤드가 일관되게 가장 우수하다.
- VIX 사례: 단일 가우시안 헤드는 극심한 우측 꼬리 스파이크로 인해 VIX에서 처참하게 실패한다( $-24.4\%$ ). GMM( $K=4$ )은 이러한 다봉형(multimodal) 체제를 성공적으로 포착한다.
수익률 비유사 프로세스: (국채 수익률, EUR/USD). 이들은 구조적 목표치를 중심으로 평균 회귀한다. 여기서 GMM 헤드는 구조적 이득 없이 파라미터 노이즈만 추가하여, 종종 점 헤드보다 성능이 떨어진다.

4. 리스크 관리 가치

보정(Calibration): GMM 헤드는 사후 분산 팽창으로 인해 과잉 커버리지(0.96)를 보이는 점 헤드와 달리, 우수한 보정 능력(90% 커버리지 $\approx 0.88\text{--}0.93$ )을 제공한다.
꼬리 리스크: 단일 가우시안 대비 혼합 모델의 증분 가치는 고변동성 국면(예: 1970년대 스태그플레이션 기간 중 $+13.9\%$ 개선)에서 가장 크다.
규제 지표: N-BEATS와 GMM 헤드 조합은 5%, 2.5%, 1% VaR 수준에서 Kupiec의 무조건적 커버리지 테스트를 통과하며, 테스트된 모델 중 가장 낮은 기대 손실(ES)을 달ей한다.
한계: 극단적인 1%-VaR 임계값에서, 제한된 $K=4$ GMM은 가우시안 성분의 꼬리 특성 때문에 점 헤드보다 꼬리 리스크를 과소평가한다. 이는 GMM+EVT 하이브리드 모델의 필요성을 시사한다.

5. 트레이딩 전략 백테스트

이러한 밀도 예측을 사용하는 단순 평균 회귀 전략은 모든 변형에서 손실을 기록한다 (연율화 수익률 $-41\%$ ~ $-50\%$ ). 이는 개선된 분포 예측이 리스크 관리에는 필수적이지만, 정교한 포지션 사이징과 거래 비용 모델링 없이는 자동으로 트레이딩 알파로 전환되지 않음을 확인시켜 준다.

의의 및 주장

본 논문은서, 두터운 꼬리를 가진 금융 수익률에 대해서는 백본이 아닌 출력 헤드에 엔지니어링 노력을 집중하는 것이 최선이라고 결론짓는다.

아키텍처 중립성: 점 예측에 있어, 딥 백본은 이 데이터상에서 통계적으로 구분이 불가능하다. 백본을 구분 짓는 "신호"는 점 예측 정확도 지표의 노이즈 수준 아래에 있다.
손실 함수의 우선순성: 이득은 꼬리 미보정을 페널티를 주는 엄격한 적절한 점수 규칙(GMM NLL)을 사용하는 데서 온다. Huber/MSE 손실은 꼬리 리스크를 무시한다. GMM 헤드는 단일 가우시안이 포착할 수 없는 과잉 첨도와 꼬리 리스크를 포착한다.
맥락적 유효성: "헤드 지배" 주장은 수익률 유사, 두터운 꼬리 프로세스에 국한된다. 이는 국채 수익률이나 FX와 같이 비정상성(non-stationary) 및 평균 회귀적 성격을 가진 프로세스에는 적용되지 않으며, 그런 경우 점 헤드가 여전히 경쟁력이 있다.
실무적 시사점: 리스크 관리(VaR, ES, 자본 충당금)를 위해 표준 점 헤드에서 GMM 헤드로 전환하는 것은, 백본을 교체하는 것보다 훨씬 높은 가치를 제공하는 저비용 고효치 개입(단 "두 줄의 코드 변경"만으로 가능)이다.

본 논문은 새로운 백본이나 새로운 트레이딩 전략, 혹은 모든 시계열에 대한 보편적 솔루션을 제안하는 것이 아님을 명시한다. 대신 경계 조건을 설정한다: 두터운 꼬리를 가진 수익률에서는 헤드가 지배적이며, 다른 프로세스에서는 그렇지 않다.