A Controlled Comparison of Deep Learning Architectures for Multi-Horizon Financial Forecasting: Evidence from 918 Experiments

1. 연구 배경 및 문제 정의 (Problem)

금융 시계열 예측, 특히 포트폴리오 할당, 리스크 관리, 알고리즘 트레이딩의 핵심인 다중 시간 범위 (Multi-horizon) 가격 예측은 중요한 과제입니다. 그러나 최근 5 년간 Transformer, MLP, CNN, RNN 등 다양한 딥러닝 아키텍처가 급격히 발전함에 따라, 어떤 모델이 특정 금융 자산과 예측 구간에서 가장 효과적인지에 대한 엄격한 비교 연구가 부족했습니다.

기존 벤치마크 연구들은 다음과 같은 5 가지 방법론적 결함을 가지고 있어 신뢰할 수 있는 결론을 도출하기 어렵습니다:

1. 통제되지 않은 하이퍼파라미터 예산: 모델 간 튜닝 노력의 불균형으로 인한 편향.
2. 단일 시드 (Single-seed) 평가: 무작위 초기화의 영향이 알고리즘적 우위를 가리는 경우.
3. 단일 시간 범위 분석: 예측 구간이 길어질수록 아키텍처의 성능 저하 양상을 분석하지 못함.
4. 쌍별 통계적 보정 부재: 순위 차이의 통계적 유의성을 검증하지 않음.
5. 좁은 자산 클래스 커버리지: 암호화폐, 외환, 주식 지수 등 구조적으로 다른 시장의 일반화 능력 검증 부재.

이 연구는 이러한 결함들을 모두 해결하고, 9 가지 최신 딥러닝 아키텍처를 3 가지 자산 클래스와 2 가지 예측 구간에서 엄격하게 비교하는 것을 목표로 합니다.

2. 방법론 (Methodology)

이 연구는 918 회 실험 (270 회 하이퍼파라미터 최적화 + 648 회 최종 훈련) 을 수행한 통제된 실험 프로토콜을 기반으로 합니다.

2.1 실험 설계

• 대상 모델 (9 개, 4 가지 패밀리):
  • Transformer: Autoformer, PatchTST, iTransformer, TimeXer
  • MLP/Linear: DLinear, N-HiTS
  • CNN (Temporal Convolution): TimesNet, ModernTCN
  • RNN: LSTM (기존 베이스라인)
• 데이터: 12 개 금융 상품 (암호화폐 4 개, 외환 4 개, 주식 지수 4 개) 의 1 시간 (H1) OHLCV 데이터.
• 예측 구간: 단기 (h=4 시간), 장기 (h=24 시간).
• 5 단계 실험 프로토콜:
  1. 고정 시드 하이퍼파라미터 최적화 (HPO): 각 아키텍처당 대표 자산 3 개 (BTC, EUR/USD, Dow Jones) 에서 Optuna TPE 를 사용하여 5 회 시도로 최적 설정 탐색 (시드 42 고정).
  2. 설정 고정 (Configuration Freezing): HPO 로 선정된 최적 설정을 해당 자산 클래스 내 모든 자산에 적용 (과적합 방지).
  3. 다중 시드 최종 훈련: 고정된 설정으로 12 개 자산 × 2 구간 × 3 시드 (123, 456, 789) = 648 회 훈련 수행.
  4. 지표 집계: 테스트 세트에서 RMSE, MAE, 방향성 정확도 (DA) 계산 및 평균/표준편차 집계.
  5. 통계적 검증: 순위 기반 리더보드, 분산 분해, Friedman-Iman-Davenport 검정, Holm-Wilcoxon 쌍별 비교 등 수행.

2.2 주요 통제 요소

• 입력 특징: 모든 모델이 동일한 원시 OHLCV 데이터만 사용 (기술적 지표 등 추가 특징 제거).
• 직접 다중 단계 예측 (Direct Multi-step): 재귀적 예측이 아닌, 한 번의 포워드 패스로 모든 예측 구간을 출력하여 오차 누적 방지.
• 통계적 엄격성: 3 회 시드 반복을 통해 초기화 변동을 통제하고, 쌍별 통계 검정을 통해 순위 차이의 유의성을 입증.

3. 주요 기여 (Key Contributions)

1. 프로토콜 통제 공정한 비교: 기존 연구의 5 가지 방법론적 결함 (G1~G5) 을 모두 해결한 최초의 통제된 벤치마크 제공.
2. 다중 시드 견고성 정량화: 아키텍처 선택이 예측 분산의 99.90% 를 설명하고, 시드 (초기화) 는 0.01% 만 설명함을 입증. 이는 3 회 시드 반복이 충분함을 의미.
3. 교차 시간 범위 일반화 분석: 예측 구간이 길어짐에 따른 아키텍처별 성능 저하 (Degradation) 특성을 체계적으로 분석.
4. 자산 클래스별 배포 가이드라인: 암호화폐, 외환, 주식 지수별로 최적 모델이 어떻게 다른지 (또는 같은지) 에 대한 실증적 증거 제시.
5. 오픈 벤치마킹 프레임워크: 전체 코드, 데이터, 훈련된 모델, 평가 결과를 공개하여 재현성 보장.

4. 주요 결과 (Results)

4.1 글로벌 성능 순위

• Top Tier (최상위): ModernTCN (평균 순위 1.33, 24 개 평가점 중 75% 1 위) 와 PatchTST (평균 순위 2.00) 가 압도적으로 우세함.
• Middle Tier: iTransformer, TimeXer, DLinear, N-HiTS.
• Bottom Tier: TimesNet, Autoformer, LSTM (LSTM 은 다른 모델보다 7~33 배 높은 오차).
• 통계적 유의성: Holm-Wilcoxon 검정 결과, 상위 2 개 모델과 나머지 모델 간의 차이는 통계적으로 유의미함 (p < 0.05).

4.2 아키텍처별 통찰

• ModernTCN: 대규모 커널을 가진 심층 합성곱 (Large-kernel depthwise convolutions) 과 다단계 다운샘플링을 사용하여 금융 시계열의 다중 스케일 패턴을 효과적으로 포착. 모든 자산 클래스와 구간에서 가장 일관된 성능을 보임.
• PatchTST: 패치 기반 토큰화 (Patch-based tokenization) 와 채널 독립 처리가 효과적임. ModernTCN 과 매우 근접한 성능을 보임.
• N-HiTS: 암호화폐 (특히 ETH, ADA) 와 같은 고변동성 자산에서 다중 속도 풀링 (Multi-rate pooling) 을 통해 우수한 성능을 보임.
• DLinear: 약 1,000 개의 파라미터만으로도 중간 등급 성능을 달성하여, 복잡한 아키텍처보다 단순한 선형 매핑이 효율적일 수 있음을 보여줌.
• LSTM: 재귀적 구조가 다중 단계 직접 예측에 부적합함을 확인 (성능 최하위).

4.3 시간 범위 및 분산 분석

• 시간 범위 안정성: 예측 구간이 4 시간에서 24 시간으로 늘어나면서 절대 오차는 2~2.5 배 증가했으나, 상대적 순위는 유지됨. Top 모델들은 긴 구간에서도 우위를 점함.
• 분산 지배 (Variance Dominance): 예측 오차의 99.90% 는 아키텍처 선택에 의해 설명되며, 시드 (무작위 초기화) 는 0.01% 미만에 불과함. 이는 모델 선택이 성능 향상의 핵심 레버임을 의미.
• 방향성 정확도 (Directional Accuracy): 모든 모델의 방향성 예측 정확도는 50% (동전 던지기 수준) 에 근접함. MSE 손실 함수로 훈련된 모델은 1 시간 단위에서 방향성 예측 능력을 갖지 못함.

4.4 복잡도 - 성능 관계

• 파라미터 수와 성능 간에는 단조적 (Monotonic) 인 관계가 아님.
• 적은 파라미터를 가진 DLinear 가 많은 파라미터를 가진 Autoformer 나 LSTM 보다 성능이 좋음.
• 파레토 효율성: DLinear, PatchTST, ModernTCN 이 효율적인 파레토 프론티어를 형성. 즉, 아키텍처의 유도 편향 (Inductive Bias) 이 단순한 모델 용량 (Capacity) 보다 예측 정확도에 더 중요함.

5. 의의 및 결론 (Significance)

이 연구는 금융 시계열 예측 분야에서 다음과 같은 중요한 시사점을 제공합니다:

1. 모델 선택의 우선순위: 실무자는 복잡한 모델보다 ModernTCN이나 PatchTST와 같은 아키텍처를 기본으로 채택해야 합니다. 특히 현대적인 합성곱 (Convolution) 과 패치 기반 어텐션 메커니즘이 금융 데이터의 비정상성과 다중 스케일 특성을 잘 포착합니다.
2. 실험 설계의 표준: 향후 연구는 단일 시드 평가나 통제되지 않은 하이퍼파라미터 튜닝을 지양하고, 본 논문과 같은 다중 시드, 통제된 HPO, 통계적 검증 프로토콜을 따라야 합니다.
3. 방향성 예측의 한계: 현재 MSE 기반의 회귀 모델들은 가격의 방향을 예측하는 데 실패합니다. 알고리즘 트레이딩에 적용하려면 방향성 손실 함수 (Directional Loss) 나 확률적 접근법의 재설계가 필요합니다.
4. 자원 효율성: 무조건적인 모델 크기 증가가 성능 향상을 보장하지 않으며, 적절한 유도 편향을 가진 모델 (예: DLinear) 이 자원 제약 환경에서 더 효율적일 수 있습니다.

결론적으로, 이 논문은 918 회 실험을 통해 딥러닝 아키텍처의 성능 차이가 무작위성이 아닌 구조적 특성에 기인함을 입증하였으며, 금융 예측을 위한 ModernTCN과 PatchTST를 최우선 추천 모델로 제시합니다.