Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha

이 논문은 LLM 을 활용하여 생성된 감성 인식형 공식적 알파 (formulaic alpha) 를 Transformer 모델에 통합함으로써 주식 가격 예측의 정확도와 해석 가능성을 동시에 향상시키는 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **"주식 가격을 예측하는 새로운 방법"**에 대해 이야기합니다. 전통적인 방식과 이 논문이 제안하는 방식을 쉽게 비유해서 설명해 드릴게요.

📚 핵심 비유: "주식 예언가"와 "AI 요리사"

1. 기존 방식의 문제점: "손으로 만든 레시피"

전통적으로 주식 분석가들은 **"알파 (Alpha)"**라는 것을 만들었습니다. 알파는 "주가가 오를지 내릴지 알려주는 비밀 공식"이라고 생각하시면 됩니다.

• 비유: 마치 요리사가 손으로 직접 재료를 다져서 새로운 요리를 만드는 것과 같습니다.
• 문제점: 이 과정은 매우 느리고, 사람마다 재능이 다릅니다. 게다가 한 번 만든 레시피 (공식) 는 시간이 지나면 사람들이 다 알게 되어 효과가 떨어집니다. 이를 **'알파의 부패 (Alpha Decay)'**라고 부릅니다.

2. 이 논문의 혁신: "AI 요리사 (LLM) 가 새로운 레시피를 발명하다"

이 논문은 **거대 언어 모델 (LLM, 예: 챗GPT 같은 AI)**을 활용해서 이 '비밀 공식'을 자동으로 만들어내는 시스템을 제안합니다.

• 비유: 이제 AI 요리사가 등장했습니다. AI 는 수만 권의 요리책 (뉴스, 과거 데이터) 을 읽은 뒤, "오늘의 재료 (주가, 기술적 지표) 와 주변 상황 (감정, 관련 기업 뉴스) 을 보면 어떤 새로운 요리를 만들면 좋을까?"라고 생각해서 **새로운 레시피 (공식)**를 직접 써냅니다.
• 특징:
  • 감정 분석 포함: 단순히 주가만 보는 게 아니라, "애플 뉴스가 좋으면 삼성도 오를까?", "토요타 뉴스에 현대차가 자주 나오면?" 같은 **연관 기업들의 기분 (감정)**까지 고려합니다.
  • 해석 가능: AI 가 만든 공식은 사람이 읽을 수 있는 수식으로 나오기 때문에, "왜 이 공식을 썼는지" 이유를 알 수 있습니다. (블랙박스 아님)

3. 예측 과정: "요리사가 만든 재료를 요리사 (Transformer) 가 요리하다"

이 시스템은 두 단계로 작동합니다.

1. 1 단계 (레시피 발명): AI 가 주식 데이터와 뉴스 감정을 분석해서 5 가지 새로운 '비밀 공식 (알파)'을 만들어냅니다.
2. 2 단계 (예측): 이 새로운 공식들을 **트랜스포머 (Transformer)**라는 정교한 예측 모델에 넣어줍니다. 트랜스포머는 이 새로운 재료를 먹고 "내일 주가가 어떻게 될지"를 예측합니다.

🌟 왜 이 방법이 좋은가요?

1. 빠른 적응: 시장이 변하면 AI 가 바로 새로운 레시피를 만들어냅니다. 사람이 수개월 걸려 고민할 일을 AI 는 순식간에 해결합니다.
2. 더 정확한 예측: 실험 결과, AI 가 만든 공식을 사용하면 기존 모델들보다 주가 예측 정확도가 훨씬 높아졌습니다.
3. 이해하기 쉬움: AI 가 "왜 이 공식을 썼는지" 설명을 덧붙여주기 때문에, 투자자가 신뢰하고 결정하는 데 도움이 됩니다.

📊 실험 결과 요약

• 대상: 애플, HSBC, 펩시, 도요타, 텐센트 등 5 개 기업.
• 결과: AI 가 만든 공식을 쓴 모델이, 사람이 만든 공식이나 다른 기계학습 모델보다 오차 (MSE) 가 훨씬 적게 나옵니다. 즉, 더 정확하게 예측합니다.
• 통계적 검증: 이 차이가 우연이 아니라 통계적으로 유의미하다는 것도 증명했습니다.

💡 결론

이 논문은 **"AI 가 주식 시장의 '감정'과 '데이터'를 섞어 새로운 예측 공식을 만들어내면, 우리가 주가를 훨씬 잘 예측할 수 있다"**는 것을 보여줍니다. 마치 AI 가 매일 아침 "오늘은 어떤 레시피로 요리를 해야 가장 맛있을까?" 고민해 주는 것과 같습니다.

이 기술은 투자자들이 더 현명한 결정을 내리는 데 도움을 줄 수 있는 매우 유망한 방법입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 알파 감쇠 (Alpha Decay) 문제: 전통적으로 금융 데이터의 패턴을 식별하는 수학적 표현인 '포뮬러 알파 (Formulaic Alpha)'는 전문가의 직관과 시행착오를 통해 수동으로 생성됩니다. 그러나 시장이 진화함에 따라 기존 알파의 예측력은 빠르게 약화되는 '알파 감쇠' 현상이 발생합니다.
• 수동 생성의 한계: 새로운 알파를 찾는 수동 과정은 시간 소모가 크고 확장성이 부족하며, 인간의 창의성에 제한을 받습니다.
• 데이터의 복잡성: 주식 가격 예측은 기업의 기본적 요소, 기술적 패턴, 시장 심리 (Sentiment), 외부 이벤트 등 다양한 비선형 관계를 고려해야 하므로 기존 통계 모델이나 단순 딥러닝 모델만으로는 정확한 예측이 어렵습니다. 특히 관련 기업 (경쟁사, 협력사 등) 의 뉴스 감정이 목표 기업의 주가에 미치는 영향을 효과적으로 통합하는 데 어려움이 있었습니다.

2. 방법론 (Methodology)

이 논문은 LLM 기반의 포뮬러 알파 생성과 Transformer 기반의 주가 예측을 결합한 새로운 프레임워크를 제안합니다.

A. 데이터 수집 및 전처리

• 대상 기업: Apple, HSBC, Pepsi, Toyota, Tencent 등 5 개 기업 (다양한 산업군).
• 입력 데이터:
  • 주가 데이터: Open, High, Low, Close, Volume.
  • 기술적 지표: SMA, EMA, RSI, MACD, 볼린저 밴드, OBV 등 (pandas-ta 라이브러리 사용).
  • 감정 데이터 (Sentiment): 목표 기업 및 관련 기업 (Related Companies) 의 뉴스 감정 점수.
    • 관련 기업 선정: NER(명명 개체 인식) 를 통해 뉴스 기사에서 목표 기업과 함께 자주 언급되는 기업들을 추출하고, 빈도순으로 상위 10 개를 선정 (예: Toyota 의 경우 BYD, Tesla 등).
    • 감정 점수 계산: VADER 를 사용하여 뉴스 텍스트의 극성 (Polarity) 점수를 산출.

B. LLM 을 이용한 포뮬러 알파 생성 (Core Innovation)

• 모델: DeepSeek-R1-Distill-Llama-70b 모델 사용.
• 프롬프트 엔지니어링: 구조화된 프롬프트를 통해 LLM 에게 다음을 수행하도록 지시:
  1. 주식 특성, 기술적 지표, 목표 및 관련 기업의 감정 데이터를 입력받음.
  2. 이들을 결합하여 5 개의 새로운 포뮬러 알파 공식을 생성.
  3. 생성된 공식은 인간이 읽을 수 있는 형태 (예: Momentum_3 + Amazon_polarity) 로 출력되어 해석 가능성을 확보.
• 특징: LLM 은 단순히 공식을 생성하는 것을 넘어, 기술적 지표와 감정 데이터 간의 비직관적인 상관관계 (예: 이커머스 기업인 Amazon 의 감정이 소비재 기업인 Pepsi 의 주가에 미치는 영향) 를 추론하여 알파에 반영합니다.

C. 예측 모델 (Transformer)

• 생성된 알파들을 고차원 특징 (High-level Features) 으로 활용하여 Vanilla Transformer (Encoder-Decoder 구조) 에 입력합니다.
• 입력: 5 일 슬라이딩 윈도우를 가진 5 개의 LLM 생성 알파.
• 구조:
  • 인코더: 1D Convolution Embedding (패턴 학습) + Temporal Embedding (시간 주기성) + Position Embedding.
  • 디코더: 과거 5 일의 Close 가격 정보를 입력받아 다음 날의 Close 가격을 예측.
• 학습: MSE 손실 함수, Adam 옵티마이저 사용.

D. 비교 모델 및 평가

• 비교 대상: LSTM, TCN, SVR, Random Forest, XGBoost, Informer.
• 평가 지표: MSE (평균 제곱 오차), Diebold-Mariano (DM) 검정 (통계적 유의성), IC (Information Coefficient).
• 실험 설계:
  • 감정 정보 유무에 따른 비교.
  • 고정된 알파 세트를 사용한 모델 간 비교.
  • Featuretools(자동 특징 생성) 및 인간이 정의한 알파 (101 Formulaic Alphas) 와의 비교.

3. 주요 기여 (Key Contributions)

1. LLM 기반 자동 알파 생성 프레임워크: 수동으로 알파를 설계하는 대신, LLM 의 추론 능력을 활용하여 구조화되고 해석 가능한 포뮬러 알파를 자동 생성하는 새로운 접근법을 제시했습니다.
2. 감정 인식 (Sentiment-Aware) 관련 기업 통합: 목표 기업뿐만 아니라 관련 기업 (경쟁사, 파트너 등) 의 뉴스 감정을 알파 생성에 통합하여, 기업 간 상호작용이 주가에 미치는 영향을 포착했습니다.
3. 해석 가능성 (Interpretability) 강화: LLM 이 생성한 알파는 블랙박스 형태의 임베딩이 아닌 명시적인 수식 형태로 제공되어, 투자 의사결정의 투명성을 높였습니다.
4. 알파 감쇠 완화: LLM 이 실시간 데이터와 최신 시장 맥락을 반영하여 새로운 알파를 지속적으로 생성함으로써, 기존 알파의 수명 연장 및 예측력 유지에 기여했습니다.

4. 실험 결과 (Results)

• 예측 정확도 (MSE):
  • 제안된 Transformer + LLM 알파 모델이 모든 비교 모델 (LSTM, TCN, SVR 등) 보다 낮은 MSE 를 기록하며 가장 우수한 성능을 보였습니다.
  • Informer 모델도 좋은 성능을 보였으나, Transformer 와 통계적으로 유의미한 차이는 없었습니다.
  • 전통적인 머신러닝 모델 (SVR, RF, XGBoost) 은 성능이 상대적으로 낮았습니다.
• 감정 정보의 효과:
  • 관련 기업 및 목표 기업의 감정 정보를 포함한 경우, 포함하지 않은 경우보다 MSE 가 감소하고 표준편차가 줄어들어 모델의 안정성이 향상됨이 확인되었습니다.
• 알파 생성 방식 비교:
  • LLM 생성 알파 > Featuretools 생성 알파 > 인간 정의 알파 (101 Alphas) 순으로 예측 정확도가 높았습니다.
  • 인간이 정의한 알파는 시장 변화에 적응하지 못해 성능이 급격히 저하되는 알파 감쇠 현상이 뚜렷하게 나타났습니다.
• 통계적 유의성: Diebold-Mariano 검정 결과, Transformer 모델의 성능 우위가 통계적으로 유의미함 (p < 0.01) 이 확인되었습니다.
• IC (Information Coefficient): 생성된 알파의 수익률 예측 능력 (IC) 은 낮았으나, 주가 수준 예측 능력은 매우 뛰어났습니다. 이는 LLM 이 절대적 가격 변동 패턴을 학습하는 데 더 효과적임을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 금융 AI 의 새로운 패러다임: 이 연구는 LLM 을 단순한 텍스트 분석 도구를 넘어, 수학적 거래 신호 (Alpha) 를 생성하는 엔지니어로 활용하는 가능성을 입증했습니다.
• 실무적 가치: 생성된 알파는 인간 투자자가 이해할 수 있는 형태로 제공되므로, 블랙박스 모델의 불투명성을 해소하고 더 나은 투자 의사결정을 지원합니다.
• 확장성: 이 프레임워크는 다양한 산업과 시장 조건에 적용 가능하며, LLM 의 프롬프트를 조정하여 다양한 투자 전략 (모멘텀, 역추세 등) 을 탐색할 수 있습니다.
• 한계 및 향후 과제: 현재는 5 개 기업과 단일 기간으로 실험되었으므로, 더 넓은 데이터셋과 다양한 시계열 모델 (N-BEATS 등) 을 포함한 검증이 필요하며, 생성된 알파의 수와 프롬프트 설계가 성능에 미치는 영향에 대한 추가 연구가 요구됩니다.

요약하자면, 본 논문은 LLM 의 추론 능력을 활용하여 동적이고 해석 가능한 알파를 생성하고, 이를 Transformer 모델에 결합함으로써 기존 방법론보다 우수한 주가 예측 성능과 안정성을 달성했다는 점에서 중요한 의의를 가집니다.