FinTexTS: Financial Text-Paired Time-Series Dataset via Semantic-Based and Multi-Level Pairing

이 논문은 단순한 키워드 매칭의 한계를 극복하기 위해 의미 기반 및 다수준 매칭 프레임워크를 제안하여, SEC filing 과 LLM 을 활용하여 뉴스와 주가 데이터를 정교하게 연결한 대규모 금융 텍스트-시계열 데이터셋 'FinTexTS'를 구축하고 주가 예측 성능을 입증했습니다.

핵심

📈 주가 예측의 새로운 비법: "FinTexTS" 이야기

이 논문은 **"주식 가격을 예측할 때, 숫자만 보는 게 아니라 뉴스 내용도 함께 읽어야 더 잘 맞는다"**는 사실을 증명하고, 그걸 위해 아주 똑똑한 방법을 개발한 연구입니다.

기존 방식의 문제점과 연구진이 제안한 해결책을 일상적인 비유로 설명해 드릴게요.

---

1. 기존 방식의 문제점: "단순 키워드 검색의 한계" 🕵️‍♂️

기존에 주식과 뉴스를 연결할 때는 **"키워드 매칭"**이라는 아주 단순한 방식을 썼습니다. 마치 "애플"이라는 단어가 뉴스에 나오면 애플 주식에, "엔비디아"가 나오면 엔비디아 주식에 딱 붙여주는 식이죠.

하지만 이 방식에는 치명적인 구멍이 있습니다.

• 상황: 엔비디아 (NVIDIA) 가 GPU 데이터 센터를 짓는다는 뉴스가 났는데, 뉴스 제목이나 본문에 '엔비디아'라는 이름이 딱히 안 나왔어요. 대신 "반도체 업계의 거대 기업"이나 "AI 칩을 만드는 회사"라고만 묘사했죠.
• 기존 방식의 반응: "어? '엔비디아'라는 글자가 없네? 이 뉴스는 엔비디아랑 상관없어!"라고 무시해버립니다.
• 실제 상황: 하지만 그 뉴스는 엔비디아 주가에 엄청난 영향을 미칩니다.
• 비유: 친구가 "오늘 비가 와서 우산 사야겠다"라고 말했는데, 이름이 안 나오니까 친구가 누구인지 모르고 무시하는 꼴입니다.

또한, 주식 시장은 한 회사의 일만 중요한 게 아닙니다.

• 국가 경제 (거시적)
• 반도체 산업 전체 (섹터)
• 경쟁사나 협력사 (관련 기업)
• 그 회사 자체 (타겟 기업)

이 네 가지 층위가 서로 얽혀서 주가를 움직입니다. 그런데 기존 방식은 이 복잡한 관계를 무시하고 단순히 이름만 찾아서 연결했습니다.

---

2. 연구진의 해결책: "FinTexTS"와 "의미 기반 연결" 🧠✨

연구진은 **"이제부터는 이름이 없어도 '의미'로 연결하자!"**라고 선언했습니다. 이를 위해 FinTexTS라는 새로운 데이터셋과 프레임워크를 만들었습니다.

🏗️ 4 단계 계층 구조 (마치 뉴스레터 구독하기)

이 시스템은 뉴스를 4 가지 레벨로 나누어 주식에 연결합니다.

1. 거시적 레벨 (Macro): "미국 금리 인상", "전쟁 발생" 등 전 세계 경제에 영향을 주는 뉴스. (예: "오늘 비가 오면 우산 가게 전체가 잘 팔리겠네")
2. 섹터 레벨 (Sector): "반도체 산업 호황", "전기차 규제 강화" 등 동일한 업종에 영향을 주는 뉴스. (예: "우산 가게들이 모여 있는 상가 전체가 잘 되네")
3. 관련 기업 레벨 (Related Company): 경쟁사나 파트너사의 뉴스. (예: "우산 가게의 경쟁자가 망했다? 아니면 우산 원료를 만드는 회사가 폭풍성장했다?")
4. 타겟 기업 레벨 (Target Company): 그 회사 자체의 뉴스. (예: "우리 우산 가게가 신제품을 냈다!")

🤖 어떻게 작동할까? (LLM 과 임베딩의 마법)

1. 회사 프로필 만들기 (SEC 파싱): 먼저 각 회사의 공식 문서 (SEC filing) 를 AI 가 읽어보고 "이 회사는 반도체를 만들고, AI 칩에 강점이 있다"는 **맥락 (Context)**을 추출합니다.
2. 의미로 찾기 (Semantic Matching): 뉴스에 '엔비디아'라는 글자가 없어도, AI 가 "이 뉴스는 'AI 칩'과 '데이터 센터'에 대해 말하고 있네? 이건 엔비디아와 관련이 깊겠다!"라고 **의미 (Semantic)**로 판단해서 찾아냅니다.
3. 정리하기 (Summarization): 찾은 뉴스가 너무 길면, AI 가 핵심만 추려서 "오늘 엔비디아에 좋은 소식 3 가지"처럼 요약해 줍니다.

---

3. 실험 결과: "이 방법이 더 잘 맞는다!" 📉📈

연구진은 이 방법으로 만든 데이터 (FinTexTS) 를 가지고 12 가지 다른 주식 예측 모델 (머신러닝) 에 테스트를 해봤습니다.

• 기존 방식 (키워드): 예측이 잘 안 됨. (관련 없는 뉴스가 섞이거나, 중요한 뉴스가 빠짐)
• 새로운 방식 (의미 기반 + 4 단계): 예측 정확도가 압도적으로 높아짐!

왜 그럴까요?
주식 시장은 혼자 움직이지 않습니다.

• "미국 금리가 오르면 (거시)" -> "반도체 산업이 위축되고 (섹터)" -> "경쟁사가 주가가 떨어지고 (관련)" -> "결과적으로 우리 회사도 영향을 받음 (타겟)"
  이런 연쇄 반응을 4 단계 뉴스가 모두 잡아주기 때문에, AI 가 미래를 더 정확하게 예측할 수 있게 된 것입니다.

---

4. 결론: "더 좋은 뉴스, 더 좋은 예측" 🌟

이 논문은 단순히 "뉴스를 더 많이 모았다"는 게 아닙니다.
**"주식이라는 복잡한 퍼즐을 맞추려면, 이름이 아닌 '의미'와 '맥락'을 보고, 거시적 흐름부터 미시적 사건까지 모두 연결해야 한다"**는 것을 증명했습니다.

• 공공 뉴스를 써도 기존 방식보다 훨씬 잘 나왔고,
• 유료 (비밀) 뉴스를 쓰면 더더욱 정확도가 올라갔습니다.

한 줄 요약:

"이제부터 주식 예측할 때는 **'이 회사가 뭐라고 했나?'**만 보지 말고, **'이 회사가 어떤 세상에서, 어떤 경쟁자와 함께 움직이는가?'**를 AI 가 깊이 있게 이해하게 만들었습니다."

이 연구는 앞으로 금융 분야에서 AI 가 더 똑똑하게 일할 수 있는 발판을 마련해 주었습니다. 🚀

기술 요약

1. 문제 정의 (Problem)

금융 도메인, 특히 주가 예측과 같은 시계열 분석에서 텍스트 (뉴스) 와 수치 데이터 (주가) 를 결합한 멀티모달 접근법이 주목받고 있습니다. 그러나 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

• 단순 키워드 매칭의 한계: 기존 텍스트 - 시계열 데이터셋 구축 방식은 주로 '키워드 매칭'에 의존합니다. 이는 특정 회사의 이름이 명시적으로 언급되지 않더라도 해당 회사와 밀접한 관련이 있는 뉴스 (예: 경쟁사 소식, 섹터 전체의 동향, 거시 경제 이슈 등) 를 놓치게 만듭니다.
• 복잡한 상호의존성 반영 실패: 금융 시장은 거시적 (국가), 섹터적 (산업), 관련 기업, 그리고 대상 기업이라는 여러 수준의 상호작용으로 이루어져 있습니다. 단순 키워드 매칭은 이러한 다층적이고 복잡한 시장 역학을 포착하지 못해 노이즈가 많고 불완전한 데이터 정렬을 초래합니다.

2. 제안 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 의미 기반 (Semantic-Based) 이고 다수준 (Multi-Level) 의 페어링 프레임워크를 제안했습니다. 이 프레임워크는 크게 4 가지 핵심 모듈로 구성됩니다.

A. LLM 기반 SEC filing 파싱 (Context Extraction)

• 대상 회사의 SEC filing(공시 문서) 을 분석하여 해당 회사의 현재 상태, 전략, 재무 정보 등을 추출합니다.
• 이를 통해 회사의 구체적인 컨텍스트를 생성하고, 이를 시계열 데이터와 짝지어지는 텍스트의 기준 (Query) 으로 활용합니다.

B. LLM 기반 뉴스 분류 (Multi-Level Classification)

• 뉴스 기사를 4 가지 수준으로 분류합니다:
  1. Macro-Level (거시적): 국가/글로벌 경제, 금리 정책 등.
  2. Sector-Level (섹터): 특정 산업 전체에 영향을 미치는 이슈 (GICS 기준).
  3. Related Company-Level (관련 기업): 경쟁사, 파트너, 공급망 등 대상 기업에 간접적 영향을 미치는 기업 관련 뉴스.
  4. Target Company-Level (대상 기업): 해당 기업에 직접적인 영향을 미치는 뉴스.

C. 임베딩 기반 뉴스 페어링 (Semantic Pairing)

• 키워드 매칭 대신, SEC filing 에서 추출한 컨텍스트를 Query로 사용하여 의미적으로 유사한 뉴스를 검색합니다.
• 금융 도메인에 특화된 임베딩 모델을 Contrastive Learning을 통해 미세 조정 (Fine-tuning) 하여, 같은 섹터에 속한 뉴스 간의 유사도를 높이고 다른 섹터 간의 거리를 벌리는 방식으로 최적화했습니다.
• 검색된 뉴스 중 대상 기업과 무관한 노이즈는 LLM 을 통해 필터링합니다.

D. LLM 기반 뉴스 요약 (Summarization)

• 다량의 원본 뉴스가 시계열 모델에 입력될 때 발생하는 정보 과부하와 중복 문제를 해결하기 위해, 각 수준 (Macro, Sector, Company) 별 핵심 이벤트 카테고리를 식별하고 관련 뉴스를 요약하여 컴팩트한 텍스트 표현을 생성합니다.

3. 주요 기여 (Key Contributions)

1. FinTexTS 데이터셋 구축: 제안된 프레임워크를 공개된 뉴스 데이터에 적용하여, 100 개 주요 상장 기업과 5 년간의 기간 (2019-2023) 을 아우르는 대규모 텍스트 - 시계열 데이터셋을 구축했습니다. 약 100 만 건의 뉴스 기사에서 추출된 페어링 데이터를 포함합니다.
2. 새로운 페어링 프레임워크 제안: 키워드 매칭의 한계를 넘어, 의미 기반 검색과 다수준 분류를 통해 금융 시장의 복잡한 상호작용을 포착하는 새로운 방법론을 제시했습니다.
3. 공개 및 오픈소스: FinTexTS 데이터셋, 미세 조정된 임베딩 모델, 그리고 프레임워크 코드 및 프롬프트를 공개하여 연구 커뮤니티의 활용성을 높였습니다.

4. 실험 결과 (Results)

주가 예측 (Stock Forecasting) 태스크를 통해 제안된 방법의 유효성을 검증했습니다.

• 성능 향상: 12 가지 다양한 시계열 예측 모델 (Autoformer, PatchTST, Transformer 등) 에서 의미 기반 페어링이 기존 키워드 기반 페어링 및 텍스트 없음 (Baseline) 설정보다 일관되게 우수한 성능 (MSE, MAE 감소) 을 보였습니다.
• 다수준 정보의 효과: 거시적 수준에서 시작해 대상 기업 수준까지 텍스트 정보를 점진적으로 추가할수록 예측 정확도가 지속적으로 향상되었습니다. 이는 다양한 수준의 정보가 상호 보완적임을 시사합니다.
• 임베딩 모델 미세 조정 효과: 제안된 Contrastive Learning 기반의 미세 조정된 임베딩 모델은 기존 모델 대비 뉴스 검색의 Hit Rate 를 향상시켰습니다.
• 사설 뉴스 소스 적용: 공개 뉴스뿐만 아니라 LSEG 의 사설 뉴스 (MRN) 를 동일한 프레임워크에 적용했을 때, 더 높은 품질의 데이터로 인해 예측 성능이 추가적으로 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 금융 시계열 분석 분야에서 텍스트와 수치 데이터의 정합성을 높이는 새로운 패러다임을 제시했습니다.

• 복잡한 금융 관계의 모델링: 단순한 키워드 매칭을 넘어, 기업이 속한 산업, 경쟁 관계, 거시 경제 등 다양한 수준의 맥락을 포괄적으로 반영함으로써 더 현실적인 시장 환경을 모델링할 수 있게 되었습니다.
• 데이터 품질의 중요성: 고급 페어링 전략뿐만 아니라, 고품질의 텍스트 소스 (사설 뉴스 등) 를 활용하는 것이 예측 성능에 결정적인 영향을 미친다는 점을 입증했습니다.
• 미래 연구 방향: 다수준 텍스트 정보를 효과적으로 활용하기 위한 전용 멀티모달 아키텍처 개발의 필요성을 제기하며, 향후 금융 AI 연구의 기초 자료로 작용할 것으로 기대됩니다.