Impact of LLMs news Sentiment Analysis on Stock Price Movement Prediction

이 논문은 DeBERTa, RoBERTa, FinBERT 등 3 가지 LLM 기반 뉴스 감정 분석을 주식 가격 예측에 적용한 비교 평가 연구를 통해 DeBERTa 가 단일 모델로 75% 의 정확도를 보이며, 세 모델을 결합한 앙상블은 80% 까지 정확도를 높이고 감정 정보가 다양한 시계열 모델의 예측 성능을 소폭 향상시킨다는 것을 밝혔습니다.

핵심

📰 주가 예측: 날씨 예보와 뉴스의 관계

주식 시장은 마치 날씨처럼 끊임없이 변합니다. 과거의 데이터만 보고 내일 비가 올지 말지 예측하는 것은 어렵죠. 연구자들은 "뉴스라는 날씨 예보를 함께 보면 더 정확하지 않을까?"라고 생각했습니다.

예를 들어, 어떤 회사의 좋은 뉴스 (해당하는 감성 분석) 가 나오면 주가가 오를 가능성이 높고, 나쁜 뉴스가 나오면 떨어질 가능성이 높다는 논리입니다. 하지만 문제는 **"어떤 뉴스 분석 도구 (AI) 를 써야 가장 정확한 예보를 할 수 있을까?"**와 **"그 정보를 어떻게 주식 예측 모델에 섞어야 할까?"**였습니다.

🔍 연구 내용: 세 명의 '뉴스 해석 전문가'와 네 명의 '주가 예보사'

이 연구는 두 가지 역할을 가진 AI 들을 시험대에 올렸습니다.

1. 뉴스 해석 전문가 (감성 분석 모델 3 명):

   • DeBERTa, RoBERTa, FinBERT: 이 세 명은 뉴스 기사를 읽고 "이 기사는 긍정적일까, 부정적일까?"를 판단하는 AI 입니다.
   • 결과: DeBERTa가 가장 똑똑했습니다. 약 75% 의 확률로 감정을 정확히 파악했습니다. FinBERT 는 그다음, RoBERTa 는 조금 뒤처졌습니다.
   • 팀워크의 힘: 각자 다른 관점을 가진 세 전문가가 의견을 모으면 더 정확해집니다. 연구진은 이 세 명을 하나로 합쳐 (앙상블 모델) 약 80% 의 정확도를 달성했습니다. 마치 세 명의 요리사가 각자 재료를 다듬어 함께 요리하면 더 맛있는 요리가 나오는 것과 같습니다.

2. 주가 예보사 (주가 예측 모델 4 명):

   • LSTM, PatchTST, TimesNet, tPatchGNN: 이들은 과거 주가 데이터를 보고 "내일 주가는 오를까, 내릴까?"를 예측하는 AI 입니다.
   • 연구진은 앞서 판단한 '뉴스 감정'이라는 정보를 이 예보사들에게 주입해 보았습니다.

📊 실험 결과: 뉴스 정보가 도움이 될까?

결과는 **"상황에 따라 다르다"**였습니다.

• 어떤 예보사는 뉴스가 필요 없었어요:
  • LSTM과 tPatchGNN 같은 모델은 이미 과거 데이터만으로도 충분히 잘 예측했습니다. 뉴스 정보를 추가해도 큰 변화가 없었습니다. (이미 숙련된 요리사가 레시피만으로도 맛있는 요리를 하는 것과 비슷합니다.)
• 어떤 예보사는 뉴스가 큰 도움이 되었어요:
  • PatchTST와 TimesNet 같은 최신 모델은 뉴스 정보를 받으면 예측 정확도가 상당히 향상되었습니다. 마치 새로운 요리법을 배운 요리사가 더 좋은 재료를 만나면 요리의 퀄리티가 급상승하는 것과 같습니다.
  • 특히 주가가 오르는지 내리는지 (이진 분류) 나 주가 변동 폭 (회귀 분석) 을 예측할 때 뉴스 정보가 큰 힘을 발휘했습니다.

💡 핵심 교훈 (요약)

1. 단독보다 팀워크가 낫다: 뉴스 감정을 분석할 때, 한 가지 AI 모델만 쓰는 것보다 여러 모델을 합쳐서 (Ensemble) 판단하는 것이 훨씬 정확합니다. (약 80% 정확도 달성!)
2. 모델에 맞는 정보가 중요하다: 모든 주식 예측 모델이 뉴스 정보를 다 잘 활용하는 것은 아닙니다. 최신 기술 (PatchTST, TimesNet) 을 쓴 모델일수록 뉴스의 힘을 더 잘 빌려와 성능을 높였습니다.
3. DeBERTa 가 최고: 뉴스 감정을 분석하는 데는 DeBERTa라는 모델이 현재 가장 뛰어납니다.

🎯 결론

이 연구는 **"뉴스를 분석하는 AI 와 주가를 예측하는 AI 가 손잡으면, 특히 최신 기술을 쓴 예측 모델은 더 똑똑해진다"**는 것을 증명했습니다. 하지만 모든 경우에 만능은 아니므로, 어떤 예측 도구를 쓰느냐에 따라 뉴스 정보의 활용법을 다르게 해야 한다는 점을 알려줍니다.

즉, 주식 투자를 할 때 단순히 과거 차트만 보는 것이 아니라, 올바른 AI 도구를 통해 뉴스의 감정을 잘 읽어내는 것이 더 나은 투자 전략이 될 수 있다는 희망을 주는 연구입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 주가 예측은 투자 전략과 금융 리스크 평가에 중요하지만, 경제, 기술, 정치적 요인으로 인해 매우 어렵습니다. 기존 연구들은 뉴스 감정 분석 (Sentiment Analysis) 이 주가 변동과 직접적인 상관관계가 있음을 시사해 왔으나, 대규모 언어 모델 (LLM) 을 활용한 감정 분석과 주가 예측 모델의 결합에 대한 체계적인 연구는 부족합니다.
• 기존 연구의 한계:
  1. 개별 LLM 모델을 독립적으로 평가하거나, 동일한 레이블된 금융 데이터셋에서 다른 모델과 비교하지 않음.
  2. LLM 의 감정 출력 (확률 점수, 이산 레이블 등) 과 일별 집계 (Aggregation) 방법에 대한 포괄적인 연구가 부재함.
  3. 감정 분석 결과를 최신 시계열 아키텍처 (Patch-based Transformer, Temporal GNN 등) 와 융합하는 연구가 충분히 탐구되지 않음.
• 연구 목표: 다양한 LLM 기반 감정 분석 모델과 최신 시계열 예측 아키텍처를 결합하여, 뉴스 감정이 주가 예측 (분류 및 회귀) 에 미치는 영향을 정량적으로 평가하고 최적의 조합을 찾는 것.

2. 방법론 (Methodology)

가. 데이터셋 (Datasets)

• 대상: 마이크로소프트 (MSFT), 아마존 (AMZN), 애플 (AAPL), 넷플릭스 (NFLX), 테슬라 (TSLA) 등 5 개 주요 기업.
• 기간: 2022 년 3 월 10 일 ~ 2025 년 4 월 2 일.
• 데이터 소스:
  • 주가 데이터: Yahoo Finance (일별 거래량, 종가).
  • 뉴스 데이터: AlphaVantage API 를 통해 수집된 약 96,000 건 이상의 뉴스.
  • 감정 레이블링: SEntFiN 1.0 데이터셋 (10,700 개 이상의 뉴스 헤드라인과 감정 쌍) 을 사용하여 LLM 모델의 성능을 평가 및 앙상블 학습에 활용.
• 전처리: 주말/공휴일 뉴스는 다음 거래일로 매핑, 결측치는 Forward Filling 처리.

나. 감정 분석 모델 (Sentiment Analysis Models)

• 기반 모델: 3 가지 Transformer 기반 LLM 사용.
  • FinBERT: 금융 도메인에 특화된 BERT 변형.
  • RoBERTa: 일반 목적 최적화 BERT 변형.
  • DeBERTa: 일반 목적 최적화 BERT 변형 (최신 아키텍처).
  • 특징: 생성형이 아닌 결정론적 (Deterministic) 모델로 사용되어 재현성 확보 및 할루시네이션 최소화.
• 앙상블 모델: 위 3 개 모델의 예측 결과를 입력으로 받아 학습한 3 가지 전통적 머신러닝 모델 (Logistic Regression, Random Forest, SVM).

다. 주가 예측 모델 (Stock Prediction Methods)

• 분류 (Classification): 주가 상승/하락 (Binary Trend) 예측.
• 회귀 (Regression): 주가 변동 폭 (Price Factor) 예측.
• 사용된 아키텍처:
  • LSTM: 시퀀스 모델링을 위한 베이스라인.
  • PatchTST: 패치 (Patching) 메커니즘을 활용한 시계열 Transformer.
  • TimesNet: 2 차원 공간에서 시간적 변형을 모델링하는 Transformer.
  • tPatchGNN: 시간적 패치와 그래프 신경망 (GNN) 을 결합하여 자산 간 관계 의존성 포착.

라. 감정 특징 집계 (Sentiment Aggregation)

• 동일 거래일의 여러 뉴스를 단일 일별 특징으로 집계하는 4 가지 방법 적용:
  1. Sum: 감정 점수의 일별 합계 (전체 감정 강도).
  2. Min/Max: 가장 비관적/낙관적 신호 반영.
  3. Majority Vote: 우세한 감정 클래스 요약.
  4. Count: 각 감정 레이블별 뉴스 개수.

마. 실험 설정

• 데이터 분할: 시간 순서대로 70% (학습), 10% (검증), 20% (테스트) 분할 (Look-ahead bias 방지).
• 평가 지표: 분류 (F1-Score, AUC), 회귀 (MAE, RMSE).
• 실험 반복: 각 모델 조합을 10 회 실행 (랜덤 시드 변경) 하여 평균 및 표준편차 산출.

3. 주요 결과 (Key Results)

가. 감정 분석 모델 성능 및 상호 보완성

• 단일 모델 성능: DeBERTa가 가장 우수한 성능을 보임 (정확도 75.2%). FinBERT(69.6%), RoBERTa(58.9%) 순.
• 앙상블 효과: 세 모델의 예측 결과를 SVM 으로 결합한 앙상블 모델이 약 80% 의 정확도를 달성하여 단일 모델보다 우월함. Venn 도를 통해 각 모델이 서로 다른 뉴스에 대해 정확한 예측을 함을 확인 (상호 보완적).

나. 주가 분류 예측 (Binary Classification) 결과

• 아키텍처별 성능: LSTM 과 TimesNet 이 PatchTST 와 tPatchGNN 보다 전반적으로 높은 성능을 보임.
• 감정 특징의 영향:
  • LSTM: FinBERT 기반 감정 특징을 추가했을 때 AUC 가 0.521 → 0.562 로 가장 크게 향상됨.
  • TimesNet: DeBERTa 기반 감정 특징 추가 시 AUC 가 0.521 → 0.533 으로 향상됨.
  • tPatchGNN: 감정 특징 추가 시 성능 향상폭이 상대적으로 작거나 일관되지 않음.
  • 의미: 모든 모델이 감정 정보를 동일하게 활용하는 것은 아니며, LSTM 과 PatchTST 계열이 분류 작업에 더 적합함.

다. 주가 회귀 예측 (Regression) 결과

• PatchTST & TimesNet: 감정 정보를 통합했을 때 매우 큰 성능 향상을 보임.
  • PatchTST: NS(감정 없음) 대비 MAE 가 0.391 → 0.205(SVM 기반) 로 감소.
  • TimesNet: NS 대비 MAE 가 0.483 → 0.254(RoBERTa 기반) 로 감소.
• LSTM & tPatchGNN: 감정 정보 통합에 따른 민감도가 낮음. 오히려 감정 특징을 사용하지 않았을 때 (NS) 최소 오차를 기록한 경우도 있음.

라. 특징 집계 방법의 중요성

• LSTM 에 대한 Ablation Study 결과, '뉴스 개수 (Count)'와 '감정 점수 합계 (Sum)' 특징이 분류 성능에 핵심적인 역할을 함. '다수결 (Majority Vote)' 특징 제거는 성능에 큰 영향을 미치지 않음.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 포괄적인 비교 평가: 동일한 금융 데이터셋에서 DeBERTa, RoBERTa, FinBERT 등 3 가지 주요 LLM 과 다양한 시계열 아키텍처 (Transformer, GNN 등) 를 결합하여 체계적으로 비교 평가한 최초의 연구 중 하나.
2. 앙상블의 유효성 입증: 단일 LLM 모델보다 여러 모델의 출력을 앙상블 (SVM 등) 하는 것이 감정 예측 정확도를 약 80% 까지 높일 수 있음을 증명.
3. 모델별 최적화 전략 제시:
   • 분류 작업: LSTM 기반 모델이 감정 특징과 결합 시 가장 효과적임.
   • 회귀 작업: PatchTST 와 TimesNet 기반 모델이 감정 정보를 통해 예측 오차를 크게 줄일 수 있음.
   • 이는 "모든 모델에 동일한 감정 특징이 적용되는 것이 아니다"는 중요한 통찰을 제공.
4. 실용적 가이드: 금융 뉴스 감정 분석을 주가 예측 파이프라인에 통합할 때, 어떤 LLM 과 어떤 시계열 아키텍처를 조합해야 하는지에 대한 실증적인 지침을 제공.

5. 결론

이 연구는 LLM 기반 뉴스 감정 분석이 주가 예측에 유의미한 영향을 미치지만, 그 효과는 사용된 예측 모델의 아키텍처와 감정 특징의 집계 방식에 따라 달라진다는 것을 밝혔습니다. 특히 DeBERTa 기반의 앙상블 모델이 감정 예측에 가장 우수하며, PatchTST 및 TimesNet 기반의 회귀 모델과 LSTM 기반의 분류 모델이 감정 정보를 가장 효과적으로 활용하여 예측 성능을 향상시킵니다. 이는 금융 AI 분야에서 다중 모델 앙상블과 도메인 특화 아키텍처의 중요성을 강조합니다.