Sequential Structure in Intraday Futures Data: LSTM vs Gradient Boosting on MNQ

특정 도시의 날씨를 예측하려고 하지만, 매일의 날씨 기록이 4 년분밖에 없다고 상상해 보세요. 당신은 다음과 같은 질문을 하고 싶습니다: "하루의 첫 시간에 비가 온다면, 하루 종일 비가 올까요?"

이 논문은 Mathias Mesfin 이라는 연구자가 그 질문에 답하기 위해 시도한 보고서입니다. 다만 그는 날씨 대신 주식 시장 선물 (특히 Nasdaq 100 을 추종하는 MNQ) 을 살펴보았습니다. 그는 현대의 첨단 컴퓨터 두뇌 (머신러닝) 가 인간이 놓치는 시장의 "심장 박동" 속에 숨겨진 패턴을 찾아낼 수 있는지 확인하고 싶었습니다.

그가 무엇을 했는지, 어떻게 했는지, 그리고 무엇을 발견했는지에 대한 이야기를 간단히 설명해 드리겠습니다.

큰 아이디어: "크로노스" 대 "지역 상점"

최근 크로노스 (Kronos) 라는 거대한 AI 모델이 출시되었습니다. 이 모델은 수많은 다른 시장의 수백만 개 주식 차트들로 훈련되었습니다. 가격 막대 (price bars) 가 나타나는 순서 (시퀀스) 가 실제로 다음에 일어날 일에 대한 단서를 담고 있다는 것을 학습했습니다. 이는 수백만 개의 요리를 맛본 요리사가 특정 재료의 순서가 어떻게 맛을 내는지 정확히 아는 것과 같습니다.

Mathias 는 단순한 질문을 던졌습니다: "그 동일한 아이디어를 하나의 시장 (MNQ) 에 4 년 동안만 적용한다면, 여전히 작동할까요?"

그는 두 가지 유형의 컴퓨터 학습자 사이에 경주를 설정했습니다:

1. "산탄총" (Gradient Boosting): 이 모델은 "어제는 더웠다", "갭이 컸다"와 같은 사실 목록을 보지만, 이를 관련 없는 물건들의 뭉치로 취급합니다. 발생한 순서에는 관심이 없습니다.
2. "이야기꾼" (LSTM): 이 모델은 이야기를 읽도록 설계되었습니다. 아침 12 개의 5 분 막대를 보고 단어마다 문장을 읽듯이 사건의 순서를 이해하려고 노력합니다.

실험: 엄격한 테스트

Mathias 는 컴퓨터에게 단순히 추측하게 하지 않았습니다. 그는 Walk-Forward Validation이라는 매우 엄격한 테스트를 설정했습니다.

• 규칙: 컴퓨터는 2022 년 데이터로 학습한 후 2023 년을 예측합니다. 그다음 20222023 년 데이터로 학습하여 2024 년을 예측합니다. 마지막으로 20222024 년 데이터로 학습하여 2025 년을 예측합니다.
• 목표: 시장이 오전 10 시 30 분에 개장한 가격보다 최소 10 포인트 이상 높게 마감할지 예측하는 것입니다.
• 기준선: 동전을 던지기만 해도 약 51.8% 의 확률로 맞습니다 (시장이 하락보다 상승하는 경우가 약간 더 많기 때문입니다). 이 컴퓨터는 동전 던지기보다 더 좋은 성과를 내야 승리할 수 있었습니다.

결과: 컴퓨터들이 길을 잃었습니다

결과는 "첨단 기술"에 대한 희망에는 솔직하고 실망스러웠지만, 과학적으로는 매우 유익했습니다:

1. "산탄총" (Gradient Boosting): 이 모델은 일일 데이터에서 패턴을 찾으려 했습니다. 때로는 운이 좋아 (한 해에 54% 정확도) 성공하기도 했지만, 다른 해에는 동전 던지기보다 틀리는 경우가 더 많았습니다. Mathias 가 왜 그런 결정을 내렸는지 확인했을 때, 그 이유는 매년 달랐습니다. 한 해에는 "야간 갭"을 중요하게 여겼다가, 다음 해에는 "거래량"을 중요하게 여겼습니다. 이는 작년 시험의 정답을 외웠지만 실제 수학을 배우지 못한 학생과 같았습니다.
2. "이야기꾼" (LSTM): 이것이 주요 테스트였습니다. 아침 막대의 순서가 중요했을까요? 답은 아니요였습니다. 이 모델은 사실상 포기했습니다. 아침 모습이 어떠하든 매일 50/50 확률로 예측했습니다. 그 "신뢰도"는 평평했습니다. 아무것도 학습하지 못했습니다.

판결: 어떤 모델도 동전 던지기보다 시장을 더 잘 예측하지 못했습니다. "이야기꾼"은 이야기를 찾지 못했고, 단지 잡음만 발견했습니다.

"왜": 도서관 비유

왜 첨단 AI 는 실패했을까요? 이 논문은 도서관 비유를 통해 훌륭한 설명을 제공합니다:

• 크로노스 모델 (승자): 900 만 권의 책이 있는 도서관을 상상해 보세요. 희귀한 언어를 배우고 싶다면 수백만 개의 예시를 읽고 규칙을 찾을 수 있습니다.
• Mathias 의 데이터셋 (패자): 944 페이지 (4 년 동안 하루씩) 만 있다고 상상해 보세요.
  • 특정 패턴이 5% 만 발생할 경우, 전체 도서관에서 단 47 번만 나타납니다.
  • 47 번만 나타나는 패턴을 복잡한 AI 에게 가르치려는 시도는, 4 년 동안 2 주에 한 번씩 그 구름 사진만 보여 주며 아이에게 특정 구름을 인식하게 하려는 것과 같습니다. 엔진을 가동할 "데이터 연료"가 전혀 없습니다.

AI 가 "멍청해서" 실패한 것이 아닙니다. 데이터가 부족해서 굶주렸기 때문입니다. 시장의 "문법"을 배우려면 수백만 개의 예시가 필요했지만, 그에게는 수백 개만 주어졌습니다.

결론: 솔직한 "아니요"

이 논문에서 가장 중요한 부분은 모델들이 실패했다는 사실이 아니라, 연구자가 그 실패를 인정하고 그 이유를 정확히 설명했다는 점입니다.

• 주장: 5 분 데이터 4 년분만을 사용하여 단일 주식 시장의 일간 방향을 예측하기 위해 고급 AI 를 사용할 수 없습니다. 데이터가 너무 적습니다.
• 교훈: 이러한 모델을 작동시키려면 다음 중 하나가 필요합니다:
  1. 훨씬 더 긴 역사 (수십 년이 아니라, 수년).
  2. 훨씬 더 빠른 데이터 (틱 - 바이 - 틱 데이터로, 데이터 포인트 수를 50 배 증가시킵니다).
  3. 더 많은 시장 (나스닥, S&P, 다우 존스를 동시에 훈련하여 AI 에게 더 많은 예시를 제공합니다).

간단히 말해: "크로노스" 슈퍼 AI 는 시장의 전체 백과사전을 읽었기 때문에 작동합니다. Mathias 는 사전의 한 페이지만으로 비슷한 AI 를 가르치려 했고, 놀랍지 않게도 언어를 배우지 못했습니다. 이 논문은 연구자들이 데이터가 부족하여 그 "데이터 절벽"을 뛰어넘으려 시간을 낭비하지 않도록, 그 절벽이 정확히 어디에 있는지 보여주는 귀중한 지도입니다.