TradeFM: A Generative Foundation Model for Trade-flow and Market Microstructure

이 논문은 9,000 개 이상의 주식에서 수십 억 건의 거래 데이터를 학습하여 자산별 보정이 필요 없는 범용 토큰화 방식을 도입하고, 기존 베이스라인보다 우수한 성능으로 시장 미시구조의 핵심 특징을 재현하며 제로샷 일반화 능력을 입증한 새로운 생성형 기초 모델 'TradeFM'을 제시합니다.

핵심

📈 트레이드 FM (TradeFM): 주식 시장의 '예측 천재'를 만든 AI

이 논문은 J.P. Morgan AI 연구소에서 발표한 흥미로운 연구입니다. 핵심은 **"수십억 개의 주식 거래 데이터를 학습한 AI 가, 마치 시장의 숨결을 읽듯 다음 거래를 예측하고 시뮬레이션할 수 있다"**는 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 이 AI 는 무엇인가요? (TradeFM)

상상해 보세요. 수만 개의 다른 나라와 도시에서 벌어지는 거대한 경매가 있다고 칩시다. 각 경매마다 참여하는 사람, 물건 가격, 거래 속도가 모두 다릅니다. 보통은 각 경매마다 별도의 전문가가 필요하지만, 이 TradeFM은 그 모든 경매를 한 번에 공부한 초월적인 마스터입니다.

• 규모: 5 억 2,400 만 개의 '뇌세포' (파라미터) 를 가진 거대 AI 입니다.
• 학습 데이터: 미국 주식 시장의 100 억 개가 넘는 거래 기록을 먹었습니다. (약 9,000 개 이상의 주식 종목을 1 년 넘게 관찰한 양입니다.)
• 목표: 단순히 주가가 오르는지 내리는지 맞추는 게 아니라, "거래가 어떻게 일어나는지" 그 자체의 규칙을 배우는 것입니다.

2. 왜 이것이 특별한가요? (기존 방식 vs 새로운 방식)

🧩 기존 방식: "맞춤형 의류"

과거의 모델들은 각 주식마다 따로 공부했습니다. 애플 (AAPL) 을 공부하려면 애플 전용 모델을, 테슬라 (TSLA) 를 공부하려면 테슬라 전용 모델을 만들어야 했습니다. 마치 각 사람 체형에 맞춰 옷을 재단하는 것과 같습니다. 효율이 떨어지고, 새로운 주식 (예: 아직 본 적 없는 주식) 이 나오면 당황합니다.

🌍 TradeFM 방식: "유니버설 사이즈 (Universal Fit)"

TradeFM 은 모든 주식이 기본적으로 같은 규칙을 따른다는 통찰을 이용합니다.

• 비유: 거대한 쇼핑몰에서 모든 사람이 입는 유니폼을 디자인하는 것과 같습니다.
• 핵심 기술: "규모 불변 (Scale-Invariant)" 특징을 사용합니다.
  • 비유하자면, 100 원짜리 동전과 100 만 원짜리 지폐의 '가격 차이'를 절대 금액이 아닌 비율로 봅니다.
  • "애플 주가가 1 달러 올랐다"와 "저가주 10 원이 올랐다"를 상대적인 변화로만 비교합니다.
  • 덕분에 어떤 주식이라도, 어떤 시장 (미국, 중국, 일본) 이라도 별도의 재학습 없이 바로 적용할 수 있습니다. (Zero-shot Generalization)

3. 어떻게 작동하나요? (토큰화 과정)

AI 는 숫자나 글자만 이해합니다. 하지만 주식 거래는 "시간, 가격, 물량, 매수/매도" 등 여러 정보가 섞여 있습니다. TradeFM 은 이를 레고 블록처럼 잘게 나누어 AI 가 이해할 수 있는 언어로 바꿉니다.

1. 데이터 정제: "100 주를 150 달러에 매수했다"는 복잡한 정보를 AI 가 이해하는 숫자 코드로 바꿉니다.
2. 예측: AI 는 "지금까지의 거래 흐름을 보니, 다음에 일어날 일은 이 코드일 확률이 높다"고 예측합니다.
3. 시뮬레이션: AI 가 예측한 거래를 가상 시장 (시뮬레이터) 에 넣고 실행합니다. 그 결과가 다시 AI 에게 피드백되어, 다음 거래를 예측하는 데 쓰입니다.
   • 비유: AI 가 가상의 주식 시장을 직접 운영하며, "내가 이렇게 주문을 넣으면 가격이 어떻게 변할까?"를 수천 번 연습하는 것입니다.

4. 이 AI 가 뭘 잘하나요? (성능 검증)

연구진은 이 AI 가 만든 가상의 시장이 실제 시장과 얼마나 닮았는지 검증했습니다.

• 실제 시장의 특징을 완벽하게 재현:
  • 갑작스러운 폭락/폭등 (Heavy Tails): 평범한 모델은 극단적인 상황을 못 예측하지만, TradeFM 은 "갑작스러운 큰 거래"가 일어날 확률을 실제처럼 잘 냅니다.
  • 변동성 군집 (Volatility Clustering): "요즘 시장이 불안해서 큰 변동이 계속 이어진다"는 현상을 잘 포착합니다.
• 다른 지역에도 통합니다: 미국 주식으로만 배웠는데, 중국이나 일본 시장 데이터에도 적용했을 때 놀라울 정도로 잘 작동했습니다. (비유: 미국 요리만 배웠는데, 한국 음식도 맛있게 만들어내는 셰프)
• 기존 모델보다 정확도 2~3 배: 과거의 수학적 모델 (Hawkes 과정 등) 보다 훨씬 정확한 분포를 만들어냅니다.

5. 이 기술이 우리 삶에 어떤 영향을 줄까요?

이 AI 는 단순히 주가를 맞추는 도구가 아닙니다. 더 큰 그림을 그립니다.

1. 가상 데이터 생성 (Synthetic Data):
   • 비유: 실제 은행 거래 내역은 비밀이지만, AI 가 완전 똑같은 가짜 거래 내역을 만들어냅니다.
   • 용도: 금융 기관이 고객 정보를 공개하지 않고도 연구나 교육용 데이터를 공유할 수 있게 됩니다.
2. 스트레스 테스트 (Stress Testing):
   • 비유: "만약 내일 갑자기 모든 사람이 한꺼번에 주식을 팔면 어떻게 될까?"라는 가상의 재난 상황을 시뮬레이션해 봅니다.
   • 용도: 금융 위기가 오기 전에 미리 대비책을 세울 수 있습니다.
3. 자동 매매 트레이너:
   • AI 트레이더들이 이 가상 시장에서 수천 번의 실전 연습을 하고, 실제 시장에 나가기 전에 실력을 다질 수 있습니다.

📝 한 줄 요약

TradeFM은 "수만 개의 서로 다른 주식 시장을 한 번에 공부한 AI"로, 실제와 구별하기 힘든 가상의 시장을 만들어내어 금융 위기를 미리 예측하고, 더 안전한 투자를 도와주는 초고성능 시뮬레이션 엔진입니다.

이 기술은 금융 시장의 복잡함을 단순화하고, AI 가 시장의 '숨결'을 읽을 수 있게 했다는 점에서 금융 AI 의 새로운 시대를 연다고 평가받습니다.

기술 요약

TradeFM: 거래 흐름 및 시장 미시구조를 위한 생성형 기반 모델

1. 문제 정의 (Problem)

금융 시장은 이질적인 참여자들의 전략적 상호작용으로 인해 고빈도, 비정상성 (non-stationary) 동역학을 보이는 복잡한 적응 시스템입니다. 이러한 상호작용의 기본 단위는 **주문 흐름 (Order Flow)**입니다. 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

• 자산별 특성화: 대부분의 모델은 특정 자산이나 유동성 환경에 맞춰져 있어, 다른 자산으로의 일반화가 어렵습니다.
• 완전한 정보 의존: 기존 딥러닝 모델들은 대부분 완전한 호가창 (Limit Order Book, LOB) 데이터를 입력으로 요구했으나, 실제 시장 참여자는 부분적인 정보 (거래 이벤트 스트림) 만을 관찰합니다.
• 단순한 통계 모델: Hawkes 과정 (Hawkes processes) 과 같은 전통적인 확률적 모델은 데이터의 무거운 꼬리 (heavy tails) 나 복잡한 비선형 상호작용을 포착하는 데 한계가 있습니다.

이러한 배경 하에서, 단일 기반 모델 (Foundation Model) 이 원시적이고 이질적인 다중 자산 주문 흐름 데이터로부터 범용적인 시장 메커니즘을 학습할 수 있는지가 핵심 질문이었습니다.

2. 방법론 (Methodology)

저자들은 5 억 2,400 만 개의 파라미터를 가진 생성형 트랜스포머 (Transformer) 인 TradeFM을 제안하며, 다음과 같은 기술적 혁신을 통해 문제를 해결합니다.

가. 데이터 및 특징 공학 (Data & Feature Engineering)

• 데이터 규모: 미국 주식 시장 (>9,000 개 종목) 의 100 억 개 이상의 토큰 (약 190 억 개 거래 이벤트) 으로 사전 학습되었습니다.
• 부분 관측성 (Partial Observability): 완전한 호가창 대신, 실제 참여자가 접근 가능한 '거래 이벤트 스트림' (Level 3 메시지) 만을 입력으로 사용합니다.
• 규모 불변 특징 (Scale-Invariant Features): 자산별 가격, 유동성, 거래량의 절대적 차이를 제거하기 위해 다음과 같은 정규화를 수행합니다.
  • 로그 변환된 거래량: 지수 분포를 따르는 거래량의 동적 범위를 압축.
  • 정규화된 가격 깊이 (Price Depth): 중가 (Mid-price) 대비 상대적인 가격 차이 (bps 단위) 로 변환.
  • 상대적 가격 수준: 당일 시가 대비 현재 중가 변화율.
  • EW-VWAP: 노이즈가 있는 실행 가격을 기반으로 한 지수 가중 평균 가격 추정기를 사용하여 중가를 추정.

나. 토큰화 (Tokenization)

• 혼합형 이산화: 연속형 특징 (시간, 가격, 거래량) 과 범주형 특징 (매수/매도, 주문 유형) 을 통합하여 단일 이산 토큰 시퀀스로 변환합니다.
• 하이브리드 베이스 인코딩: 특징들의 빈도수 (Bin) 를 혼합 기수 (Mixed Base) 시스템으로 결합하여 하나의 정수 토큰 (itrade) 으로 인코딩합니다.
  • 예: 가격 깊이, 거래량, 시간 간격, 행동, 매수/매도 측을 하나의 정수로 매핑 (어휘 크기 16,384).
• 컨텍스트 특징: 유동성 등급, 가격 변화 구간, 시장/참여자 수준 구분자 (IMP) 등을 입력에 포함시켜 모델이 맥락을 이해하도록 합니다.

다. 아키텍처 및 시뮬레이션

• 아키텍처: Llama 계열을 기반으로 한 디코더 전용 (Decoder-only) 트랜스포머로, Grouped-Query Attention (GQA) 과 Rotary Positional Encoding (RoPE) 을 적용하여 효율성과 성능을 극대화했습니다.
• 폐루프 시장 시뮬레이션 (Closed-Loop Simulator): 생성된 거래 이벤트를 결정론적인 호가창 매칭 엔진에 입력하여 실제 시장 상태를 업데이트하고, 이를 다시 모델의 입력으로 피드백하는 순환 구조를 구축했습니다. 이를 통해 모델이 생성한 데이터의 현실성을 평가하고 2 차 효과 (가격 영향 등) 를 연구할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 시장 미시구조를 위한 대규모 생성 기반 모델: 미국 주식 시장 전역의 수십억 건 거래로부터 통합된 거래 흐름 역학을 학습한 최초의 모델.
2. 부분 관측성에서의 학습: 완전한 호가창 데이터 없이도, 실제 참여자가 볼 수 있는 이벤트 스트림만으로 학습 가능함을 증명.
3. 규모 불변 표현 및 범용 토큰화: 자산별 보정 없이도 다양한 자산과 유동성 regimes 에서 일반화되는 특징 공학 및 토큰화 방법론 제시.
4. 폐루프 시뮬레이션 통합: 생성된 데이터가 실제 시장의 '스타일라이즈드 팩트 (Stylized Facts)'를 재현할 수 있음을 검증하는 고충실도 환경 구축.

4. 실험 결과 (Results)

TradeFM 은 Compound Hawkes 과정 및 Zero-Intelligence (ZI) 에이전트와 비교하여 다음과 같은 성과를 보였습니다.

• 스타일라이즈드 팩트 재현:
  • 과도한 꼬리 (Heavy Tails): 짧은 시간 간격에서 높은 첨도 (Kurtosis) 를 보임.
  • 변동성 군집 (Volatility Clustering): 절대 수익률의 자기상관이 느리게 감소함.
  • 수익률의 자기상관 부재: 효율적 시장 가설과 일치하게 짧은 지연 시간 이후 자기상관이 0 에 수렴.
  • 집합적 가우시안성: 시간 간격이 길어질수록 수익률 분포가 정규 분포에 근접함.
• 분포적 충실도 (Distributional Fidelity):
  • 생성된 주문 흐름 (거래량, 시간 간격, 호가창 불균형 등) 과 실제 데이터 간의 Kolmogorov-Smirnov (K-S) 거리 및 Wasserstein 거리가 기존 베이스라인 (Compound Hawkes) 보다 2~3 배 낮음.
• Zero-Shot 일반화:
  • 미국 주식 데이터로만 학습된 모델이 훈련 데이터에 포함되지 않은 APAC 지역 (중국, 일본) 시장에서도 중간 수준의 퍼플렉시티 (Perplexity) 저하만 보이며 성공적으로 일반화됨. 이는 규모 불변 특징이 시장 역학의 보편적 원리를 포착했음을 시사.
• 조절 가능성 (Controllability):
  • 유동성 (Liquidity) 및 관찰 수준 (Market vs. Participant) 토큰을 조절하여 생성된 주문 흐름의 통계적 특성 (분산 등) 을 의도적으로 제어할 수 있음.

5. 의의 및 결론 (Significance)

• 이론적 의의: 시장 미시구조의 복잡한 역학이 원시 데이터로부터 직접 학습 가능하며, 자산별 보정 없이도 보편적인 구조를 포착할 수 있음을 입증했습니다.
• 실무적 응용:
  • 가상 데이터 생성: 유동성이 낮은 자산이나 민감한 데이터에 대한 프라이버시 보호형 합성 데이터 생성.
  • 스트레스 테스트: 반事实 (Counterfactual) 시나리오 (예: 비정상적인 대량 주문 유입) 하에서의 시장 안정성 및 시스템 리스크 분석.
  • 학습 기반 트레이딩 에이전트: 강화 학습 (RL) 에이전트 훈련을 위한 고충실도 환경 제공.

TradeFM 은 금융 데이터의 생성형 AI 적용에 있어 새로운 패러다임을 제시하며, 단순한 예측을 넘어 시장 구조 자체를 이해하고 시뮬레이션하는 도구로서의 가능성을 열었습니다.