기술 요약: 지수에서 개별 주식으로: 주가 수익률 예측을 위한 트랜스포머 사전 학습

문제 제기

주식 가격을 예측하는 것은 경제, 정치, 사회적 요인의 복잡한 상호작용에 의해 영향을 받는 금융 시장의 혼란스럽고 비정상적인 특성으로 인해 여전히 formidable한 도전 과제로 남아 있습니다. 전통적인 예측 모델은 종종 훈련 기간과 테스트 기간 사이의 내재적 변동성과 분포 변화에 직면하여 어려움을 겪습니다. 최근 금융 예측에 트랜스포머 아키텍처를 적용한 사례들은 유망한 결과를 보여주었지만, 이러한 모델들은 일반적으로 문맥적 관계를 효과적으로 학습하기 위해 방대한 데이터셋을 필요로 합니다. 본 연구는 개별 주식에 대한 예측 정확도를 향상시키는 특정 과제를 해결하기 위해 전이 학습 전략을 활용하여 토론토 증권거래소 (TSX) 의 개별 주식 예측을 개선하는 데 초점을 맞춥니다. 핵심 가설은 TSX 지수와 같은 집계된 시장 데이터로 사전 학습을 수행함으로써 모델이 개별 주식의 더 변동적이고 노이즈가 많은 데이터에 파인튜닝하기 전에 일반화된 패턴을 학습할 수 있다는 것입니다.

방법론

데이터 및 특징 공학

본 연구는 1980 년 3 월 17 일부터 2023 년 7 월 4 일까지의 1,853 개 TSX 티커로 구성된 데이터셋을 활용하였으며, 이는 490 만 건 이상의 일일 기록을 포함합니다. 데이터는 Yahoo Finance API 를 통해 수집되었습니다.

• 목표 변수: 본 연구는 두 가지 작업을 다뤘습니다:
  1. 분류: 당일 수익률의 방향 (양수 대 음수) 을 예측합니다.
  2. 회귀: 당일 수익률의 구체적인 값을 예측합니다.
• 특징: 입력 특징에는 과거 지연 데이터와 금융 산업에서 널리 사용되는 일련의 기술적 지표를 포함했습니다. 여기에는 스토캐스틱 %K, 가격 변화율 (ROC), 상대강지수 (RSI), 누적분배진동자 (AccDO), 이동평균수렴발산 (MACD), 그리고 다양한 지수 이동평균 (EMA) 이 포함됩니다.
• 입력 구조: 딥러닝 모델 (트랜스포머 및 LSTM) 의 경우, 입력은 하루당 15 개의 특징을 가진 10 일 시퀀스로 구성되었습니다. XGBoost 의 경우, 이는 150 개 특징 벡터로 평탄화되었습니다.
• 전처리: 데이터는 훈련 세트 통계에 기반하여 최소 - 최대 스케일링을 거쳤습니다. 기술적 지표의 이상치 (0 으로 나누기 오류로 인한) 는 중립 값 (%K 의 경우 50, AccDO 의 경우 0) 으로 대체되었으며, 스케일링 왜곡을 완화하기 위해 극단적인 당일 수익률 (>2) 은 클리핑되었습니다. 각 주식의 첫해 데이터는 예측 불가능한 초기 행동을 줄이기 위해 제외되었습니다.

모델 아키텍처 및 학습 전략

본 연구는 여러 아키텍처를 비교했습니다:

1. 트랜스포머: 네 개의 인코더 블록과 세 개의 완전 연결 밀집 레이어 (128, 64, 32 노드) 로 구성된 모델입니다.
2. LSTM: 네 개의 LSTM 레이어로 트랜스포머 인코더 블록을 대체한 벤치마크 모델입니다.
3. XGBoost: 특정 하이퍼파라미터 (100 개의 추정기, 학습률 0.03, 최대 깊이 9) 로 학습된 그래디언트 부스팅 모델입니다.
4. 앙상블: 파인튜닝된 딥러닝 모델과 XGBoost 모델의 예측 평균입니다.

사전 학습 접근법:
핵심 방법론적 기여는 두 단계 학습 프로세스였습니다:

1. 사전 학습: 모델은 먼저 TSX 지수 데이터로 훈련되어 당일 수익률의 방향을 예측했습니다. 이 단계는 일반화된 시장 역학을 학습하기 위해 집계된 시장 데이터를 활용했습니다.
2. 파인튜닝: 사전 학습된 가중치는 개별 주식 데이터로 훈련된 모델로 이전되었습니다. 회귀 작업의 경우, 분류 모델은 연속적인 수익률 값을 예측하도록 출력 레이어를 교체하여 추가로 파인튜닝되었습니다.

실험 설정

• 데이터 분할: 훈련 데이터는 2010 년부터 2022 년까지를, 검증 데이터는 2022 년을, 홀드아웃 테스트 세트는 2023 년 12 월 1 일까지의 데이터를 포함했습니다.
• 평가 지표:
  • 분류: 정확도, 정밀도, F1 점수, 이진 교차 엔트로피 손실.
  • 회귀: 평균 제곱 오차 (MSE).
  • 포트폴리오 성과: 매일 예측된 상위 5 개 주식을 매수하고 하위 5 개 주식을 공매도하는 전략에서 얻은 평균 일일 수익률.
• 적용: 모델의 실용적 배포를 시연하기 위해 실시간 예측과 기술적 지표를 시각화하는 Streamlit 기반 애플리케이션이 개발되었습니다.

주요 결과

분류 성능

TSX 지수에 대한 사전 학습은 트랜스포머가 개별 주식으로 일반화하는 능력을 크게 향상시켰습니다.

• 손실 감소: 사전 학습은 개별 주식 예측의 이진 교차 엔트로피 손실을 무작위 초기화 시 0.6942에서 0.6404로 감소시켰습니다.
• 정확도 대 F1: 기준 트랜스포머는 가장 높은 테스트 정확도 (0.6667) 를 달성했지만, 소수 클래스 (양수 수익률) 를 효과적으로 예측하지 못해 정밀도와 F1 점수가 0.0000 이었습니다. XGBoost 모델은 가장 높은 F1 점수 (테스트 F1: 0.5675) 와 정밀도를 기록하여 가장 강력한 전체 분류 성능을 달성했습니다.
• 비교: 파인튜닝된 트랜스포머는 분류 지표에서 파인튜닝된 LSTM 보다 우수했으나, XGBoost 에는 미치지 못했습니다.

회귀 성능

회귀 작업에서 사전 학습이 적용된 딥러닝 모델은 오차 최소화에 있어 우수한 정확도를 보여주었습니다.

• MSE: 파인튜닝된 트랜스포머는 가장 낮은 테스트 MSE (5.682e-9) 를 달성하여 파인튜닝된 LSTM(5.683e-9) 을 약간 능가했습니다. 두 딥러닝 모델 모두 회귀 정확도 측면에서 XGBoost(9.923e-9) 및 앙상블 (6.147e-9) 모델을 크게 능가했습니다.
• 포트폴리오 수익률: 트랜스포머의 우수한 회귀 정확도에도 불구하고, 앙상블 모델이 가장 높은 평균 일일 포트폴리오 수익률 (0.0069) 을 생성했으며, 이어 XGBoost(0.0059) 가 뒤를 이었습니다. 트랜스포머와 LSTM 모델은 각각 0.0003 과 0.0002 로 더 낮은 수익률을 기록했습니다.
• 분석: 저자들은 MSE 가 낮은 모델 (트랜스포머/LSTM) 은 예측 수익률이 0 에 더 가까운 주식을 선택하는 경향이 있는 반면, XGBoost 와 앙상블 모델은 더 큰 수익률 변동을 가진 주식을 선택하여 이 특정 백테스팅 시나리오에서 실현된 더 높은 이익으로 이어졌다고 지적합니다.

의의 및 주장

이 논문은 달성된 절대 수익률이 긍정적이지만 상대적으로 미미했다고 겸손하게 주장하면서도, 금융 예측에서 전이 학습의 유효성에 대한 증거를 제공한다고 밝힙니다.

• 사전 학습의 가치: 주요 발견은 집계된 시장 지수 데이터에 대한 사전 학습이 모델이 개별 주식 데이터에 내재된 혼란스러운 변동을 완화하는 일반화된 패턴을 학습하도록 돕는다는 것입니다. 이 접근법은 무작위 초기화에 비해 손실을 감소시키고 회귀 정확도를 향상시키는 데 성공했습니다.
• 아키텍처 트레이드오프: 연구는 예측 오차 최소화 (MSE) 와 거래 수익성 극대화 사이의 차이를 강조합니다. 트랜스포머는 회귀 정확도에서 탁월했지만, 앙상블 방법과 트리 기반 모델 (XGBoost) 은 이 특정 컨텍스트에서 수익성 있는 거래 전략에 필요한 변동을 포착하는 데 더 효과적이었습니다.
• 실용적 적용: 기능적 애플리케이션의 개발은 이러한 모델을 실시간 거래 지원 시스템에 통합하는 실현 가능성을 보여줍니다.

저자들은 주식 시장 데이터의 내재적 어려움이 성능을 제한하지만, 제안된 방법론이 개별 주식 예측을 개선하기 위한 유망한 방향을 제시한다고 결론지었습니다. 향후 작업은 모델 용량을 증가시키고, 더 넓은 글로벌 지표를 포함하며, 예측 가능성이 낮은 주식을 필터링하기 위해 위험 관리 전략을 통합하는 것이 제안됩니다.