기술 요약: FinTSB: 금융 시계열 예측을 위한 포괄적이고 실용적인 벤치마크

1. 문제 제기

금융 시계열 예측 (FinTSF) 은 정량적 금융에서 중요한 분야이지만, 이 분야는 예측 모델의 신뢰성 있는 평가와 실전 배포를 방해하는 세 가지 체계적 한계를 안고 있습니다:

1. 다양성 격차: 기존 평가 데이터셋은 종종 주가 변동 패턴의 전체 스펙트럼 (예: 상승세, 하락세, 변동성, 블랙 스완 사건) 을 포착하지 못하거나 시간적 범위가 불충분합니다. 이로 인해 보지 못한 시장 체제에 직면했을 때 일반화 능력이 부족한 모델이 생성됩니다. 또한, 많은 연구가 단일 시장에 집중하여 시장 간의 구조적 차이 (예: 중국 A 주의 높은 개인 투자자 참여 대 미국의 기관 투자자 혼합) 를 무시합니다.
2. 표준화 부족: 통일된 평가 프로토콜이 부재합니다. 평가 지표 (순위 vs 포트폴리오 vs 오차) 의 불일치와 표준화되고 사용자 친화적인 파이프라인의 부재로 인해 연구 간 성능 비교가 무효화됩니다. 독점적 설정에서 최첨단 (SOTA) 모델을 재실행하는 것은 종종 노동 집약적이며 편향되기 쉽습니다.
3. 실제 환경 불일치: 많은 평가는 거래 수수료, 공매도 제한 (예: 중국 A 주의 경우), 거래 정지 (상한가) 와 같은 중요한 시장 제약을 무시합니다. 이로 인해 실제 거래 환경에서의 수익성으로 이어지지 않는 과장된 성능 지표가 발생합니다.

2. 방법론: FinTSB 프레임워크

이러한 한계를 해결하기 위해 저자들은 평가를 표준화하고 실제 거래 조건과 일치하도록 설계된 포괄적이고 실용적인 벤치마크인 FinTSB를 제안합니다.

2.1 데이터셋 구축 및 토큰화

• 데이터 소스: 이 벤치마크는 여러 금융 시장의 15 년간 역사적 주식 데이터를 활용합니다.
• 패턴 분류: 데이터는 중첩되지 않는 250 일 기간으로 세분화됩니다. 일일 변동률 ($\delta$) 을 기반으로 주식은 네 가지 뚜렷한 변동 패턴으로 분류됩니다:
  1. 상승세: 양수 수익의 빈번한 발생.
  2. 하락세: 음수 수익의 빈번한 발생.
  3. 변동성: 명확한 방향성 추세가 없는 빈번한 등락.
  4. 블랙 스완 사건 (극단적): 중요하고 급격한 가격 변동.
• 선정 전략: 각 패턴별로 상위 300 개 주식 (상승세의 경우 양수 변동률 기준, 하락세의 경우 하위 300 개 기준, 변동성의 경우 나머지) 을 선정합니다. 극단적인 이상치는 별도로 분류됩니다.
• 전처리: 민감한 정보는 토큰화 (익명화) 됩니다. 미래 정보 유출을 방지하기 위해 각 거래일마다 주식 차원에서 정규화가 수행됩니다.
• 구조: 최종 벤치마크는 20 개의 데이터셋 (패턴당 5 개) 으로 구성되며, 각 데이터셋은 250 일 동안의 300 개 주식을 포함하며 훈련/검증/테스트 세트로 7:1:2 비율로 분할됩니다.

2.2 시퀀스 특성 분석

FinTSB 는 네 가지 시퀀스 특성을 사용하여 데이터 품질과 고유한 속성을 평가합니다:

• 변동 패턴: 양수/음수 수익의 빈도와 변동 크기로 정의됩니다.
• 비정상성: 금융 데이터에서 전형적인 단위근의 존재를 확인하기 위해 증강 딕키 - 풀러 (ADF) 검사를 통해 측정됩니다.
• 자기상관: 과거 가격이 미래 행동에 미치는 영향을 측정합니다.
• 예측 가능성: 시계열의 이론적 예측 가능성을 결정하기 위해 주파수 영역 특성 (엔트로피) 을 사용하여 평가됩니다.

2.3 통일된 평가 파이프라인

FinTSB 는 네 가지 레이어로 구성된 경량이고 사용자 친화적인 파이프라인을 도입합니다:

1. 데이터 레이어: 특정 변동 패턴을 위한 토큰화, 정규화, 동적 데이터 로딩을 처리합니다.
2. 훈련 레이어: 여섯 가지 백본 아키텍처의 모델을 통합합니다:
   • 고전적 전략 (예: CSM, BLSW)
   • 머신러닝 (예: XGBoost, LightGBM, ARIMA)
   • 딥러닝 (예: LSTM, Transformer, Mamba, GNN)
   • 강화학습 (예: PPO, DDPG)
   • 생성 모델 (예: Diffusion, VAE)
   • LLM 기반 방법 (예: TimeMoe, Chronos)
3. 백테스팅 레이어: Top-K-Drop 전략을 사용하여 실제 거래를 시뮬레이션합니다. 이 전략은 최상위 성과 주식은 유지하고 하위 성과자만 교체하여 회전율을 줄입니다. 중요하게도 거래 수수료 (0.1%) 를 포함하고 특정 컨텍스트에서의 공매도 금지와 같은 시장 제약을 준수합니다.
4. 피드백 레이어: 로그를 아카이브하고 성능 추적을 위한 시각화 도구를 제공합니다.

2.4 평가 지표

이 벤치마크는 포괄적인 평가를 보장하기 위해 세 가지 차원에 걸쳐 11 가지 지표를 사용합니다:

• 순위 지표: 정보 계수 (IC), IC 정보 비율 (ICIR), RankIC, RankICIR. 이러한 지표는 예측 점수와 실제 수익 간의 정렬을 측정합니다.
• 포트폴리오 기반 지표: 연평균 수익률 (ARR), 연평균 변동성 (AVol), 최대 낙폭 (MDD), 연평균 샤프 비율 (ASR), 정보 비율 (IR). 이러한 지표는 수익성과 위험 조정 수익을 평가합니다.
• 오차 지표: 평균 제곱 오차 (MSE) 와 평균 절대 오차 (MAE). 저자들은 낮은 오차가 수익성을 보장하지는 않지만 완전성을 위해 포함되었다고 지적합니다.

3. 주요 기여

이 논문은 네 가지 주요 기여를 요약합니다:

1. 다양성 포함: 다양한 시장의 모든 주요 변동 패턴을 포착하기 위해 역사적 데이터를 토큰화하고 전처리하는 FinTSB 생성으로 다양성 격차를 해결합니다.
2. 표준화 일관성: 순위, 포트폴리오, 오차 지표를 아우르는 통일된 평가 프레임워크를 제안하여 공정하고 재현 가능한 비교를 가능하게 합니다.
3. 실제 환경 정렬: 수수료, 거래 정지, 공매도 규칙과 같은 시장 제약을 엄격히 준수하는 투자 전략을 설계하여 이론적 지표와 실용적 적용 가능성 간의 격차를 해소합니다.
4. 심층 평가: 다양한 시장 조건 하에서 모델 성능에 대한 중요한 통찰력을 제공하는 광범위한 FinTSF 방법에 대한 포괄적인 평가를 수행합니다.

4. 실험 결과

통일된 파이프라인을 사용하여 FinTSB 에서 광범위한 실험이 수행되었습니다:

• 성능 이질성: 단일 방법이 세 가지 지표 차원 모두에서 최고의 성과를 달성하지는 못했습니다. 동일한 백본 카테고리 내에서도 상당한 이질성이 존재하여, 시간적 의존성과 횡단면적 관계를 포착하는 것이 방법론에 크게 의존함을 시사합니다.
• LLM 성능: LLM 기반 방법은 역설적인 스케일링 패턴을 보였습니다. 모델 스케일링 초기에는 성능이 저하되었으나 더 큰 규모 (예: Chronos-boltBase) 에서 뚜렷한 개선이 나타났습니다. 이는 복잡한 시장 노이즈를 분리하는 데 필요한 임계 파라미터 역치를 넘어서야 금융 시계열 역량이 발현될 수 있음을 시사합니다.
• 딥러닝 vs 전통적 방법: 예상과 달리, 현대 딥러닝 기술은 포트폴리오 수익 측면에서 전통적 정량 전략이나 트리 기반 모델 (예: XGBoost, LightGBM) 보다 보편적으로 우월하지 않았습니다.
• 전이 학습: FinTSB 에서 사전 훈련된 모델은 2024 년 CSI 300 시장으로 제로샷 전이되었을 때 놀라운 일관성을 보이며 우수한 위험 조정 수익을 달성했습니다. 이는 벤치마크가 상승, 하락, 전환기와 같은 다양한 시장 체제에 걸쳐 견고하고 일반화 가능한 패턴을 포착할 수 있음을 검증합니다.
• 효율성: 이 연구는 계산 비용과 메모리 발자국과 ASR 성능 간의 균형을 맞추기 위해 추론 효율성 분석을 포함했습니다.

5. 중요성과 주장

저자들은 FinTSB 가 FinTSF 방법을 개선하고 평가하기 위한 혁신적이고 포괄적인 플랫폼을 제공한다고 주장합니다. 다양성 격차, 표준화 부족, 실제 환경 불일치를 해결함으로써 이 벤치마크는 다음과 같은 목표를 가집니다:

• FinTSF 커뮤니티의 모델 평가에 대한 견고한 기반을 확립합니다.
• 다양한 시장 조건 하에서 적절한 모델을 선택하도록 연구자를 안내합니다.
• 더 실용적이고 실제 적용 가능한 투자 전략을 향해 해당 분야를 발전시킵니다.

이 논문은 단편적인 결과를 넘어가기 위해서는 엄격한 벤치마킹이 필수적이며, FinTSB 는 이론적 예측 모델을 실제 금융 시장의 복잡성과 정렬하는 데 필요한 단계라고 결론지었습니다. 코드와 데이터셋은 추가 연구를 촉진하기 위해 공개적으로 제공됩니다.