Sentiment Classification of Saudi Stock Market Tweets: Lexicon-Based Weak Supervision, Classical Machine Learning, and Zero-Shot Open-Source Large Language Models
본 연구는 사전 기반 레이블로 학습된 전통적인 머신러닝 모델과 제로샷 오픈 소스 거대언어모델(LLM)을 비교함으로써 사우디 주식 시장 트윗의 감성 분류를 평가하며, 전통적인 모델은 잠재적으로 결함이 있는 규칙 기반 레이블을 단순히 재현하는 데 그치는 반면, LLM은 금융 감성 분석을 검증하기 위한 인간이 주석을 달아 만든 정답 데이터(ground truth)의 결정적 필요성을 강조하는 독자적이고 도메인 지식이 반영된 관점을 제공한다는 점을 밝히고 있다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 금융 세계에서 가격은 단순히 대차대조표나 경제 보고서에 의해서만 결정되지 않습니다. 가격은 또한 실시간으로 시장을 변화시킬 수 있는 힘인 투자자들의 집단적 심리에 의해 형성됩니다. 수십 년 동안 연구자들은 낙관이나 공포를 나타내는 단어들을 찾아 뉴스나 소셜 미디어 게시물을 읽음으로써 이 심리를 측정하려고 노력해 왔습니다. 기업이 이익을 발표하면 어조는 대개 긍정적이며, 손실을 보고하면 어조는 부정적입니다. 영어에서는 감정 단어 사전이 존재하고 컴퓨터가 이를 쉽게 셀 수 있기 때문에 이 작업은 간단합니다. 하지만 언어가 아랍어, 특히 사우디아라비아의 북적이는 금융 시장에서 사용되는 아랍어일 경우 문제는 훨씬 더 복잡해집니다. 이 언어는 철자, 방언, 문법의 변형이 풍부하며, 금융 뉴스는 종ole 종종 사실적인 발표와 진정한 의견을 혼합하기 때문에 표준 컴퓨터 프로그램이 그 차이를 구별하기 어렵게 만듭니다.
이러한 복잡성으로 인해 킹 칼리드 대학교(King Khalid University)의 연구팀은 컴퓨터가 사우디 주식 시장에 관한 트윗의 감성을 얼마나 잘 이해할 수 있는지 조사하게 되었습니다. 그들은 특정 질문에 집중했습니다. 즉, 이러한 트윗에 라벨을 붙이는 데 사용되는 전통적인 방식들이 실제로 효과가 있는 것인가, 아니면 단순히 컴퓨터가 일련의 규칙을 암기하도록 속이는 것인가 하는 점입니다. 이를 알아내기 위해 그들은 사우디 거래소(Tadawul)에 상장된 기업들에 관한 1,000개의 트윗을 수집했습니다. 이 게시물들은 금융 뉴스 매체, 시장 분석가, 그리고 개인 투자자들로부터 모였습니다. 연구진은 컴퓨터에게 트윗이 긍정적인지, 부정적인지, 혹은 중립적인지를 인식하도록 가르칠 수 있는지 확인하고자 했으며, 두 가지 매우 다른 접근 방식을 비교하고자 했습니다. 하나는 미리 만들어진 단어 목록에 의존하는 방식이고, 다른 하나는 명시적으로 배우지 않고도 맥락을 이해할 수 있는 강력하고 현대적인 인공지능 시스템을 사용하는 방식입니다.
연구진은 이와 같은 연구에서 흔히 쓰이는 전통적인 방식부터 시작했습니다. 그들은 180개의 금융 용어 목록을 만들어 '이익'이나 '성장'과 같은 긍정적인 단어, '손실'이나 '하락'과 같은 부정적인 단어, 그리고 '분석'과 같은 중립적인 단어로 나누었습니다. 그런 다음 이 목록을 사용하여 1,000개의 트윗을 자동으로 라벨링했습니다. 만약 트윗에 긍정적인 단어가 포함되어 있으면 긍정으로 표시되었고, 일치하는 단어가 없으면 중립으로 표시되었습니다. 트윗에 라벨이 붙은 후, 연구진은 네 가지 유형의 서로 다른 고전적 컴퓨터 모델이 이 라벨로부터 학습하도록 훈련시켰습니다. 목표는 이 모델들이 목록이 할당한 라벨을 재현할 수 있는지 확인하는 것이었습니다. 결과는 놀라울 정도로 높았습니다. 테스트된 모델 중 하나인 선형 서포트 벡터 머신(linear support vector machine)은 목록의 라벨을 86.1%의 사례에서 정확하게 일치시켰습니다. 이는 컴퓨터가 시장의 심리를 이해하는 법을 배웠다는 것을 시사하며 성공적인 것처럼 보였습니다.
하지만 연구진은 그다음으로 더 발전된 도구인 Qwen2.5라는 거대 언어 모델을 도입했습니다. 고전적 모델들과 달리, 이 시스템은 라벨링된 트윗을 학습하지 않았습니다. 대신, 이 시스템은 단순히 금융 분석가처럼 행동하라는 간단한 지침만을 가지고 트윗을 읽고 스스로 감성을 결정하도록 요청받았습니다. 연구진이 거대 언어 모델의 결정과 원래의 목록 기반 라벨을 비교했을 때, 일치도는 놀라울 정도로 낮았습니다. 이 모델은 목록의 라벨과 단 37.6%의 트윗에서만 일치했습니다. 이러한 불일치는 무작위가 아니었습니다. 거대 언어 모델은 배당 선언이나 수익 보고와 같은 사실적인 발표를 긍정적으로 라벨링하는 경향이 있었습니다. 엄격하게 특정 단어의 일치 여부에만 의존했던 원래의 목록은 이러한 발표들에 감정적인 키워드가 부족하다는 이유로 이를 중립으로 라벨링했습니다.
이 불일치는 원래의 방식에 있는 결정적인 결함을 드러냈습니다. 연구진은 단어 목록과 트윗이 동일한 방식으로 준비되지 않았다는 것을 깨달았습니다. 트윗은 다양한 철자를 처리하기 위해 정제되고 표준화되었지만, 단어 목록은 그렇지 않았습니다. 결과적으로, 많은 단어가 감정이 달라서가 아니라 단순히 미세한 철자 차이 때문에 트윗 속의 단어와 일치하지 않았던 것입니다. 연구진이 목록에도 동일한 정제 규칙을 적용하여 이 불일치를 해결하자 상황은 극적으로 변했습니다. 목록과 일치하는 트윗의 수가 42.4%에서 67.8%로 급증했습니다. 더 중요한 것은, 거대 언어 모델과 수정된 목록 사이의 일치도가 57.5%로 상승했다는 점입니다. 이는 초기 불일치의 상당 부분이 인공지능이 틀렸기 때문이 아니라, 참조용 라벨에 결함이 있었기 때문임을 보여주었습니다.
이 연구는 이러한 유형의 연구에서 높은 정확도 점수가 오해를 불러일으킬 수 있다고 결론짓습니다. 컴퓨터 모델이 일련의 라벨에 대해 86%의 정확도를 기록할 때, 이는 모델이 감성을 진정으로 이해했다기보다 단순히 그 라벨을 만드는 데 사용된 경직된 규칙을 따르는 법을 배웠음을 의미하는 경우가 많습니다. 거대 언어 모델은 결함이 있는 라벨과는 낮은 일치도를 보였음에도 불구하고, 이익에 관한 사실적인 뉴스가 투자자들에게 종종 긍정적인 신호가 된다는 점을 인식함으로써 시장에 대한 더 미묘한 관점을 포착하는 것으로 보였습니다. 연구진은 어떤 방법이 옳은지 진정으로 알기 위해서는 인간이 개입하여 라벨을 검증해야 한다고 강조합니다. 현재로서는 어떤 컴퓨터 프로그램도 인간의 참조 없이 스스로의 학습 데이터를 검증하도록 신뢰할 수 없기 때문입니다. 이 작업은 금융 분석을 자동화하려는 급박한 흐름 속에서, 기계를 가르치는 데 사용되는 데이터의 품질이 기계 자체만큼이나 중요하다는 사실을 상기시켜 줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.