💻 computer science

Integrating Transformer-Derived Sentiment Signals with Technical Indicators for Emerging Market Direction Prediction: A NIFTY 50 Study

본 연구는 금융 뉴스에서의 중립적 감성을 효과적으로 포착하는 미세 조정된 DeBERTa-v3 모델을 기술적 지표와 결합하여, 가격 데이터만을 사용한 베이스라인 모델 대비 NIFTY 50 지수의 방향성 예측 정확도를 유의미하게 향상시키는 하이브리드 프레임워크를 제안한다.

원저자: Ashish Jumare, Arun Babhulgaonkar, S. V. Bharad

게시일 2026-08-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ashish Jumare, Arun Babhulgaonkar, S. V. Bharad

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

날씨를 추측하려고 노력한다고 상상해 보십시오. 기압계와 온도계(딱딱한 수치)를 볼 수도 있고, 마을 광장에서 사람들이 나누는 이야기(감정)에 귀를 기울일 수도 있습니다. 오랫동안 주식 시장을 연구하는 과학자들은 기압계만을 신뢰해 왔습니다. 그들은 주식 가격이 오르내리는 것을 관찰하면, 마치 언덕 아래로 굴러가는 공처럼 다음에 어디로 갈지 예측할 수 있다고 믿었습니다. '효율적 시장 가설'이라 불리는 이 아이디어는 모든 뉴스가 즉각적으로 가격에 반영되어 있다고 제안합니다. 하지만 다른 연구자들은 "마을 광장"이 중요하지 않을까 의문을 가졌습니다. 사람들의 기분, 즉 공포, 흥분, 혹은 지루함이 실제로 가격을 움직이는 것은 아닐까? 특히 인도가 아직 성장 중인 단계인 것처럼 말입니다. 이 논문은 그 두 세계의 교차점에 위치합니다. 즉, 주식 차트라는 차갑고 딱딱한 수학과 인간의 언어라는 복잡하고 감정적인 세계 사이의 접점입니다. 이 논문은 단순한 질문을 던집니다. 만약 우리가 초지능 컴퓨터에게 뉴스를 읽게 하고, 사람들이 단순히 행복한지 슬픈지를 넘어, 그들이 얼마나 '중립적인지'까지 이해하도록 가르친다면, 숫자만을 볼 때보다 주식 시장을 더 잘 예측할 수 있을까요?

이 연구를 진행한 연구자들은 그 질문에 답하기 위해 두 부분으로 구성된 기계를 구축하기로 했으며, 인도의 가장 큰 기업 50개를 모아놓은 리스트와 같은 NIFTY 50 지수에 집중했습니다. 먼저, 그들은 컴퓨터에게 금융 뉴스 헤드라인을 읽는 법을 가르쳐야 했습니다. 그들은 문맥을 이해하는 매우 발전된 독자인 DeBERTa라는 강력한 AI 모델을 사용했습니다. 하지만 그들은 단순히 읽게만 한 것이 아니라, 특별한 도구 상자를 제공했습니다. 그들은 컴퓨터가 특정 금융 단어(예: "이익" 또는 "폭락")에 주목하고, 대문자 사용과 같은 언어의 까다로운 부분들을 처리하도록 가르쳤습니다. 가장 중요한 점은, 컴퓨터가 세 가지 유형의 기분을 포착하도록 훈련시켰다는 것입니다. 바로 행복(긍정), 슬픔(부정), 그리고... "그저 그런(중립)" 상태입니다. 이는 매우 중요한데, 대부분의 기존 컴퓨터는 긍정과 부정만을 보았고, 실제 뉴스에서 큰 비중을 차지하는 "그저 그런" 헤드라인을 무시했기 때문입니다.

컴퓨터에게 읽는 법을 가르친 후, 연구자들은 2017년부터 2021년 사이의 인도 및 국제 소식지에서 가져온 198,730개의 방대한 뉴스 헤드라인 더미를 풀어놓았습니다. 컴퓨터는 임무를 수행했고 놀라운 사실을 발견했습니다. 전체 헤드라인의 약 40.86%가 "중립"이었다는 것입니다. 거의 절반에 가까운 뉴스였습니다! 금융 보도의 상당 부분이 편견 없이 사실만을 전달한다는 것이 드러났으며, 이 "그저 그런" 요소를 무시한 것은 이전 연구들의 실수였습니다. 컴퓨터는 이러한 읽기 결과들을 시장의 일일 "기분 지수(Mood Index)"로 변환했습니다.

실험의 두 번째 부분에서, 연구자들은 이 새로운 기분 지수를 15가지의 전통적인 주식 시장 도구(예: 가격이 얼마나 빨리 움직이는지 또는 얼마나 크게 변동하는지 측정하는 것)와 결합했습니다. 그런 다음 그들은 어떤 컴퓨터 모델이 다음 날 시장이 오를지 내릴지를 가장 잘 예측할 수 있는지 확인하기 위해 6가지 서로 다른 모델을 테스트했습니다. 그들은 컴퓨터가 학습하는 동안 미래의 정답을 훔쳐보지 못하도록 하는 특별한 방법을 사용하여 데이터 누출(data leakage)을 피하기 위해 매우 주의를 기울였습니다.

결과는 "흥미로우면서도 신중한" 것이었습니다. 뉴스를 읽고 "중립적"인 기분을 이해한 컴퓨터는 실제로 숫자만을 바라본 모델들보다 시장을 더 잘 예측했습니다. 가장 뛰어난 모델인 특수한 평활화(smoothing) 기법이 적용된 로지스틱 회귀 모델은 새로운 미지의 데이터를 대상으로 약 62.98%의 확률로 방향을 맞혔습니다. 이는 단순히 가격 기록만을 바탕으로 추측하는 것보다 통계적으로 유의미한 개선입니다. 그러나 이 논문은 뉴스가 매일 단순하고 직선적인 방식으로 가격을 직접적으로 움직인다는 생각은 부정합니다. 특정 통계 테스트를 실행했을 때, 일 단위로 볼 때 단일 헤드라인의 기분과 다음 날의 가격 사이의 연결 고리는 너무 약해서 거의 제로에 가까웠습니다. 이는 단일 뉴스의 패턴이 전체적인 흐름에는 도움을 줄지언정, 시장은 여전히 매우 효율적이며 극복하기 어렵다는 것을 시사합니다.

그렇다면 결론은 무엇일까요? 이 연구는 컴퓨터에게 뉴스를 읽는 법(중립적인 부분까지 포함하여)을 가르치는 것이 시장을 예측하는 데 약간의 우위를 제공한다는 점을 시사합니다. 이것은 부를 보장하는 마법의 수정 구슬도 아니며, 뉴스가 매일 단독으로 시장을 통제한다는 것을 증명하는 것도 아닙니다. 하지만 그것은 "마을 광장"에도 목소리가 있으며, 기압계와 함께 그 목소리에 주의 깊게 귀를 기울인다면, 내일 시장이 어디로 향할지 조금 더 가까이 다가갈 수 있다는 것을 보여줍니다.

기술 요약: 신흥 시장 방향 예측을 위한 트랜스포머 유도 감성 신호와 기술적 지표의 통합

문제 정의
금융 시장 예측은 기존 트랜스포머 모델의 한계로 인해 여전히 어려운 과제로 남아 있다. 기존 모델들은 중립적 감성을 간과하고 도메인 특화 사전(lexicon)을 반영하지 못하는 경우가 많다. 모멘텀 기반의 기술적 지표(예: RSI, MACD)는 가격 패턴을 탐지하지만, 이는 사후 반응적이며 뉴스로부터 생성되는 감성을 무시한다. 또한, 기존의 금융 자연어 처리(NLP) 연구는 주로 이진 분류(중립 클래스 제외)에 의존하며, 도메인 지식의 통합이 부족하고, 특히 NIFTY 50과 같은 신흥 시장에서 감성과 주가 사이의 연결 고리에 대한 공식적인 통계적 증명을 제공하지 못하는 경우가 많다.

방법론
본 연구는 트랜스포머 기반 감성 분석과 기술적 시장 지표 사이의 간극을 메우기 위해 설계된 2단계 하이브리드 프레임워크를 제안한다.

단계 A: 하이브리드 감성 분류
- 아키텍처: 수정된 DeBERTa-v3 모델을 채택하였으며, 이는 듀얼 풀링 인코더(CLS 토큰과 평균 토큰 임베딩 결합)와 게이트형 사전 융합 메커니즘(gated lexicon fusion mechanism)을 통해 강화되었다. 사전 융합은 금융 사전에서 유도된 14개의 스칼라 특징(긍정, 부정, 상승, 하락, 부정어, 불확실성 용어의 개수 포함)을 통합한다.
- 학습 기법: 모델은 더 나은 일반화를 위해 더 평탄한 손실 최솟값(flatter loss minima)으로 수렴하도록 확률적 가중치 평균(Stochastic Weight Averaging, SWA)을 활용한다. 예측 분산을 줄이기 위해 대문자 변형에 기반한 테스트 시점 증강(Test-Time Augmentation, TTA)이 적용된다.
- 학습 데이터: 모델은 긍정, 부정, 중립 감성에 대한 엔티티 수준의 주석을 포함하는 SEntFiN 데이터셋(14,404개 샘플)을 통해 미세 조정된다.
- 추론: 학습된 모델은 198,730개의 인도 및 국제 금융 헤드라인(2017년 1월~2021년 4월)을 처리하여 일일 감성 지수(Daily Sentiment Index, DSI)를 생성한다. 네 가지 지수가 구성된다: 단순 순 감성( $s_1$ ), 신뢰도 가중 순 감성( $s_2$ ), 3개 범주 확률 지수( $s_3$ ), 그리고 30일 이동 평균( $s_4$ ).
단계 B: 시장 방향 예측
- 특징 공학(Feature Engineering): 감성 지수는 15개의 NIFTY 50 기술적 지표(RSI, MACD, 볼린저 밴드, EMA, ATR, OBV 포함) 및 로그 수익률과 변동성 같은 파생 특징과 결합된다. 시간적 인과성을 보장하기 위해 시차 특징(1차, 2차, 3차 오더)이 적용된다.
- 실험 설계: 누수 없는 시계열 분할(5-겹 교차 검증)과 80/20 연대기적 홀드아웃(hold-out)을 사용하여 6가지 예측 아키텍처를 평가한다. 모델에는 Vanilla LSTM, CNN-LSTM, Attention이 적용된 GRU, 앙상블 LR-LSTM, 표준 로지스틱 회귀, 그리고 지수 이동 평균(EMA) 평활화가 적용된 최적화된 로지스틱 회귀가 포함된다.
- 통계적 검증: 성능은 정확도와 방향 정확도를 통해 평가된다. 통계적 유의성은 가격 전용 모델과 감성 증강 모델을 비교하기 위한 대응 표본 t-검정(paired t-tests) 및 HC3-강건 표준 오차를 사용한 OLS 회귀 분석을 통해 테스트된다.

주요 기여

새로운 하이브리드 아키텍처: 3-클래스 금융 감성 분석을 위해 듀얼 풀링, 게이트형 사전 융합, SWA 및 TTA를 포함하는 DeBERTa-v3 프레임워크를 도입하였다.
최초의 트랜스포머 유도 NIFTY 50 DSI: 198,730개의 다중 소스 헤드라인을 바탕으로 일일 감성 지수를 생성하였으며, 이를 통해 금융 뉴스의 40.86%가 중립적 감성을 전달한다는 점(이진 모델에서 흔히 무시되는 요소)을 밝혀냈다.
엄격한 비교 분석: 감성 증강 특징을 사용한 6가지 예측 모델에 대해 누수 없는 비교를 수행하였으며, EMA 평활화가 적용된 단순 선형 모델이 이 데이터셋에서 복잡한 딥러닝 아키텍처보다 우수한 성능을 보일 수 있음을 입증하였다.
공식 통계 테스트: 대응 표본 t-검정과 HC3-강건 OLS 회귀를 적용하여 감성 특징의 통계적 유의성을 검증하고, 시장 수익률과의 관계를 분석하였다.

결과

감성 모델 성능: 사전 융합 모델은 SEntFiN 테스트 세트에서 **90.90%**의 정확도와 **90.88%**의 매크로 F1-스코어를 달려냈다. 가장 모호할 수 있는 중립 클래스는 86.8%의 정확도로 분류되었다.
시장 예측 성능: EMA가 적용된 최적화된 로직스틱 회귀가 가장 높은 교차 검증 정확도 0.594 ± 0.032와 홀드아웃 세트에서의 방향 정확도 **62.98%**를 달성하였다. 이는 모든 딥러닝 모델(LSTM, CNN-LSTM, GRU)과 다수 클래스 베이스라인(53.10%)을 상회하는 결과이다.
통계적 발견:
- 대응 표본 t-검정 결과, 감성 증강 모델이 가격 전용 베이스라인에 비해 통계적으로 유의미한 개선( $p < 0.05$ )을 제공함을 확인하였다. 최적화된 LR 모델은 가격 전용(LR) 베이스라인의 50.87%에 비해 59.54%의 정확도를 기록하며 약 8.67 퍼센트 포인트의 상승을 나타냈다.
- 반대로, 감성 지수와 일일 수익률 간의 OLS 회귀 분석은 유의미하지 않은 상관관계( $p = 0.70, R^2 = 0.003$ )를 보였으며, 이는 일간 빈도에서 효율적 시장 가설을 뒷받침한다. 저자들은 이러한 차이가 OLS는 단변량 선형 관계를 테스트하는 반면, t-검정은 다차원 특징 벡터의 유용성을 평가하기 때문에 발생한다고 설명한다.

의의 및 주장
본 논문은 트랜스포머 유도 감성 신호를 기술적 지표와 통합하는 것이, 특히 중립 뉴스를 고려하는 3-클래스 감성 프레임워크를 사용할 때 NIFTY 50 시장 방향 예측에 있어 통계적으로 유의미한 이점을 제공한다고 주장한다. 본 연구는 일간 시장 효율성이 감성과 수익률 사이의 단순 선형 상관관계를 가릴 수 있음에도 불구하고, 감성 특징이 다차원적 예측 맥락에서 가치 있는 변별적 효용을 제공한다는 점을 강조한다. 이 연구는 중립 감성 분석의 부재, 도메인 특화 사전의 누락, 그리고 인도 시장 연구에서의 공식적인 통계적 검증 부재라는 기존 문헌의 공백을 메운다.

한계점
저자들은 시간 단위 타임스탬프의 부재(뉴스-가격 매칭의 정밀도 저해), 소셜 미디어 감성 및 규제 공시의 제외, 그리고 특정 시기(예: 코로나19 발생기)에 대한 체제별 분석의 부재를 한계점으로 인정한다. 또한, 일간 빈도의 분석은 인트라데이(intra-day) 관계를 간과한다.

유사한 논문