From Text to Alpha: Can LLMs Track Evolving Signals in Corporate Disclosures?

이 논문은 기업 공시 문서에서 LLM 을 활용해 맥락적 정량 지표의 변화를 포착하는 새로운 프레임워크를 제안하며, 기존 방법론 대비 두 배 이상의 위험 조정 초과수익 (알파) 을 예측하는 것을 입증했습니다.

핵심

🍽️ 핵심 비유: "요리사 vs. 식자재 목록"

기업이 발표하는 실적 보고서 (Earnings Call) 는 마치 요리사가 만든 메뉴판과 같습니다.
요리사 (기업 경영진) 는 "우리의 요리는 정말 훌륭하다"라고 말하며, 어떤 재료가 가장 좋은지 강조합니다.

• 과거의 방법 (NER 기반):
  이전까지의 연구들은 이 메뉴판을 볼 때, '단어'만 기계적으로 찾아내는 방식을 썼습니다.

  • 예: "매출 (Revenue)"이라는 단어가 나오면 "매출"이라고 적고, "이익 (Profit)"이 나오면 "이익"이라고 적습니다.
  • 문제점: 만약 요리사가 "지난달엔 '소고기'가 좋았지만, 이번엔 '새우'가 더 좋다고 강조한다"고 했을 때, 기계는 '소고기'와 '새우'를 다른 재료로만 보고, **"아, 요리사가 강조하는 재료를 바꿨구나"**라는 중요한 맥락을 놓칩니다. 심지어 "매출"이라는 단어만 찾고 "북미 지역 클라우드 매출"이라는 구체적인 맥락은 무시해버려서 중요한 정보를 놓치기도 합니다.

• 이 논문의 방법 (LLM 기반):
  이 연구는 **문맥을 이해하는 똑똑한 AI 요리사 (LLM)**를 고용했습니다.

  • 이 AI 는 단순히 단어를 찾는 게 아니라, **"요리사가 이번 달에 정말 강조하고 싶은 핵심 재료가 뭐지?"**를 이해합니다.
  • 예: "매출"이라고만 말한 게 아니라, "북미 지역의 클라우드 매출이 급성장했다"라고 말하면, AI 는 이를 **'북미 클라우드 매출'**이라는 하나의 의미 있는 단위로 파악합니다.
  • 그리고 이번 달과 지난 달을 비교할 때, "새우"와 "해산물"이 사실 같은 의미로 쓰였는지 **의미 (Semantic)**를 파악해서 비교합니다.

🎯 연구의 핵심 질문: "주목하는 재료를 바꾸면 (Moving Targets)?"

연구자들은 **"기업이 강조하는 핵심 지표 (메뉴) 를 자주 바꾸면, 그 기업은 앞으로 망할 확률이 높은가?"**를 확인했습니다.

• 상황: 어떤 식당이 지난 달에는 "소고기 맛"을 자랑했는데, 이번 달에는 갑자기 "소금기"를 강조한다고 칩시다.
• 의미: 아마 소고기 맛이 나빠져서 다른 걸로 주의를 돌리는 것일 수 있습니다.
• 이론: 기업이 강조하는 지표를 자주 바꾸는 것 (Moving Targets) 은 나쁜 신호일 가능성이 큽니다.

📊 실험 결과: "똑똑한 AI 요리사가 이겼다!"

연구팀은 두 가지 방법을 비교해 봤습니다.

1. 구식 방법 (단어 찾기): 기계적으로 단어를 찾아서 비교.
2. 신식 방법 (AI 이해하기): 문맥을 이해하고 비교.

결과:

• 구식 방법: "아, 지표를 바꿨네?"라고 했지만, 주가 예측에는 큰 도움이 안 되었습니다. (소문만 무성하고 실제 효과가 없음)
• 신식 방법 (이 논문의 방법): "아, 이 기업은 진짜 나빠져서 주장을 바꾼구나!"라고 정확히 감지했습니다.
  • 성과: 이 방법으로 만든 투자 포트폴리오는 기존 방법보다 **2 배 이상 더 많은 수익 (Alpha)**을 냈습니다.
  • 비유: 구식 방법은 메뉴판의 글자 수만 세서 "오늘 메뉴가 바뀌었네"라고 했지만, 신식 AI 는 "아, 요리사가 재료가 안 좋아서 메뉴를 뒤죽박죽으로 바꿨구나"라고 알아채고, 그 식당의 주식은 떨어질 것이라고 정확히 예측한 것입니다.

💡 왜 더 잘할까요? (두 가지 이유)

1. 맥락 (Context) 을 놓치지 않음:
   • "매출"이라고만 적지 않고, "지난해 같은 달보다 20% 늘어난 동남아 지역 매출"까지 정확히 잡아냅니다.
2. 잡음 (Noise) 을 걸러냄:
   • "매출"이라는 단어는 자주 나오지만 실제 중요한 지표가 아닐 수도 있습니다. AI 는 진짜 중요한 '핵심 지표'만 골라내서 비교합니다.

🏁 결론

이 논문은 **"기업이 발표할 때 강조하는 내용을 어떻게 바꾸는지 (Moving Targets) 를 분석하는 것이 주가 예측에 매우 중요하다"**는 것을 증명했습니다.

그리고 기존의 단순한 단어 찾기 방식은 이 중요한 신호를 놓치고 있었고, 최신 AI(대형 언어 모델) 를 사용하면 그 숨겨진 신호를 찾아내어 더 많은 돈을 벌 수 있다는 것을 보여줍니다.

한 줄 요약:

"기업이 강조하는 것을 자주 바꾼다면, 그것은 '나쁜 신호'일 확률이 높습니다. 이제 AI 가 그 미세한 변화를 정확히 읽어내어 투자에 성공할 수 있게 되었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자연어 처리 (NLP) 는 금융 분야에서 널리 사용되어 왔으나, 기존 방법론 (이름 개체 인식, NER 및 텍스트 분류 등) 은 기업 공시 (Corporate Disclosures) 에 담긴 풍부한 내러티브와 미묘한 뉘앙스를 포착하는 데 한계가 있습니다.
• 문제: 기업 경영진은 실적 발표 시 특정 성과 지표 (Metrics) 를 강조하거나, 상황이 악화되면 강조하는 지표를 전략적으로 변경합니다. 이를 '이동하는 목표 (Moving Targets)' 현상이라고 합니다.
• 기존 방법의 한계: 기존 연구 (Cohen & Nguyen, 2024) 는 NER 기반의 키워드 매칭을 사용하여 이러한 지표 변화를 측정했으나, 문맥적 한정어 (Contextual Qualifiers) 를 무시하거나 동의어/유사 표현을 구분하지 못해 중요한 신호를 놓치거나 노이즈를 포함하는 문제가 있었습니다.
• 연구 질문: 대형 언어 모델 (LLM) 이 기업 공시에서 추출한 의미적 신호 (Semantic Signals) 가 초과 수익 (Alpha) 을 예측할 수 있는가?

2. 제안된 방법론 (Methodology)

저자들은 "LLM as Extractor, Embedding as Ruler" 라는 새로운 프레임워크를 제안합니다.

A. LLM as Extractor (추출기)

• 역할: 각 분기별 실적 발표 대본 (Transcript) 에서 성과 지표를 추출합니다.
• 특징: 기존 NER 이 단순한 명사만 추출하는 것과 달리, LLM 은 문맥적 한정어 (Contextual Qualifiers) 를 보존합니다.
  • 예: 단순히 "Revenue(수익)"가 아닌 "North America cloud revenue(북미 클라우드 수익)"와 같이 구체적인 맥락을 가진 표현을 추출합니다.
• 모델: Gemini-2.5-Pro 사용.

B. Embedding as Ruler (자)

• 역할: 서로 다른 기간 (예: 금년 Q1 vs 작년 Q1) 에 추출된 지표 간의 의미적 유사성을 측정하여 지표의 지속성, 소멸, 신규 출현을 정량화합니다.
• 프로세스:
  1. 추출된 각 지표를 사전 훈련된 텍스트 인코더 (Text Embedding-3-Large) 를 통해 임베딩 공간에 매핑합니다.
  2. 이전 기간의 지표와 현재 기간의 지표 간 코사인 유사도 (Cosine Similarity) 를 계산합니다.
  3. 임계값 처리 (Thresholding): 유사도가 낮은 경우 (0), 중간인 경우 (선형 변환), 높은 경우 (1) 로 나누어 노이즈를 제거하고 명확한 '유지/소멸' 판단을 내립니다.
  4. 최종적으로 이동하는 목표 점수 (Moving Targets Score, $MT_i$) 를 계산합니다. 이는 이전 기간에 언급되었으나 현재 기간에 사라진 (또는 의미적으로 매칭되지 않는) 지표의 비율을 의미합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 도입: NER 기반의 단순 키워드 매칭을 넘어, LLM 을 통한 문맥 인식 추출과 임베딩 기반 의미적 유사도 측정을 결합하여 '이동하는 목표'를 정밀하게 측정하는 방법을 제시했습니다.
2. 정성적/정량적 개선 증명:
   • 정성적: LLM 은 "시장 점유율", "현금 흐름", "주주 환원" 등 실제 전략적 의미를 가진 지표를 정확히 추출하는 반면, NER 은 "비율 (%)"이나 "범위"와 같은 무의미한 표면적 패턴을 많이 추출함을 보였습니다.
   • 정량적: 기존 NER 기반 방법론보다 2 배 이상 높은 리스크 조정 초과 수익 (Risk-adjusted Alpha) 을 달성했습니다.
3. 예측력 검증: 포트폴리오 구성 및 횡단면 회귀 분석을 통해 LLM 기반 신호가 주식 수익률 예측에 통계적으로 유의미한 힘을 가짐을 입증했습니다.

4. 실험 결과 (Results)

실험은 S&P 100 에 상장된 100 개 기업의 2010 년 1 월부터 2024 년 12 월까지의 실적 발표 대본을 대상으로 수행되었습니다.

• 포트폴리오 분석 (Calendar-time Portfolio):
  • 전략: 이동하는 목표 점수가 낮은 기업 (Q1) 을 매수하고, 높은 기업 (Q5) 을 매도하는 롱 - 숏 포트폴리오 구성.
  • 결과:
    • NER 기반: Q5-Q1 스프레드가 -0.31% (통계적 유의성 낮음, t=-1.48).
    • LLM 기반: Q5-Q1 스프레드가 -0.41% (통계적 유의성 높음, t=-2.08).
    • 알파 (Alpha): 5-팩터 모델 기준 LLM 기반 방법은 -0.52% 의 유의한 알파를 달성한 반면, NER 기반은 유의하지 않았습니다.
• 횡단면 회귀 분석 (Fama-MacBeth Regression):
  • 다음 달 주식 수익률을 종속 변수로 하는 회귀 분석 결과, LLM 기반 이동 목표 점수의 계수는 -0.0370으로 유의하게 음 (-) 의 값을 보였습니다. 즉, 지표 변경이 클수록 향후 수익률이 낮아짐을 의미합니다. 반면 NER 기반은 유의한 예측력을 보이지 못했습니다.

5. 의의 및 결론 (Significance)

• 핵심 통찰: LLM 기반 접근법의 성능 향상은 문맥적 한정어 보존 (예: "전체 수익"과 "블랙웰 수익"을 구분) 과 비지표성 용어 필터링 (노이즈 제거) 에 기인합니다.
• 금융 공학적 함의: 기업의 전략적 방향성 변화를 포착하는 데 있어, 단순한 키워드 매칭이 아닌 의미론적 (Semantic) 이해가 필수적임을 입증했습니다.
• 확장성: 이 프레임워크는 실적 발표 대본 외에도 연례보고서, 주주 서한 등 다양한 기업 공시 문서에 적용 가능하여, 금융 텍스트 분석의 새로운 표준을 제시합니다.
• 한계점: 계산 비용 문제로 S&P 100 기업으로 샘플이 제한되었으며, 향후 더 다양한 기업군과 모델 선택에 대한 검증이 필요합니다.

요약하자면, 이 논문은 LLM 이 기업 공시의 미묘한 언어적 변화를 포착하여 기존 방법론이 놓치던 알파 (Alpha) 를 성공적으로 발굴해낼 수 있음을 실증적으로 증명했습니다.