🤖 machine learning

How Much of a 10-K Matters? Aggregation-Dependent Value of Full-Text versus Risk-Factor Sentiment

본 논문은 전체 텍스트 10-K 공시가 섹터 및 포트폴리오 수준의 수익률과 변동성 예측에 있어 우수한 감성 지표를 제공하는 반면, 더 좁은 범위인 항목 1A 위험 요인 섹션은 문서의 양과 가용 학습 신호 사이의 상호작용으로 인해 개별 기업 수준에서 더 나은 성능을 보임을 입증하며, 이를 통해 규제 공시 분석에 있어 지도 학습 기반의 어휘 학습 접근 방식이 전통적인 사전 방식보다 더 효과적임을 확립한다.

원저자: Sanggyu Sean Choi

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sanggyu Sean Choi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

주식 시장을 파도(가격)와 투자자의 감정(조류)이 요동치는 거대하고 시끄러운 대양이라고 상상해 보십시오. 수십 년 동안 이 파도를 예측하려 노력해 온 과학자들은 주로 뉴스 속의 떠들썩한 이야기, 즉 기업이 현재 무엇을 하고 있는지에 대한 짧고 강렬한 이야기들에 귀를 기울여 왔습니다. 하지만 여기 오랫동안 무시되어 온, 훨씬 더 깊은 곳에 있는 정보원이 있습니다. 바로 기업들이 법적으로 제출해야 하는 방대하고 건조한 연례 보고서입니다. 이 보고서들을 기업의 공식 일기라고 생각하십시오. 지난 한 해 동안의 모든 세부 사항이 담긴 두꺼운 책이며, 결정적으로 미래에 잘못될 수 있는 모든 무서운 일들을 고백해야 하는 특정 장(chapter)이 포함되어 있습니다.

이 연구가 다루는 핵심 질문은 이것입니다: 어떻게 하면 이 지루한 법적 문서들을 시장의 '기분 측정기'로 바꿀 수 있을까? 보통 컴퓨터는 정해진 '좋은 단어'와 '나쁜 단어'의 목록을 가지고 마치 정해진 채점 기준표로 논술을 채점하는 선생님처럼 텍스트를 스캔합니다. 하지만 이 논문은 컴퓨터가 실제 시장의 반응을 관찰함으로써 스스로 단어 목록을 학습하게 하는 것이 더 스마트한 접근 방식이라고 제안합니다. 목표는 연례 보고서 전체를 읽는 것이 기업의 위험 요소를 나열한 특정 섹션만을 읽는 것보다 미래의 가격 변화와 가격의 변동성(휘청거림)을 예측하는 데 더 많은 정보를 제공하는지 확인하는 것입니다.

위대한 성적표 실험

이 연구에서 연구자들은 기업의 연례 보고서 중 어느 부분이 미래에 대한 가장 많은 비밀을 담고 있는지 알아내려는 탐정 역할을 수행했습니다. 그들은 2006년부터 2023년까지의 기간 동안 94개의 대형 기술 기업(기술 중심 투자 펀드에서 볼 수 있는 유형의 기업들)의 보고서 1,383개를 집중적으로 조사했습니다.

그들은 두 가지 주요 규칙을 가진 영리한 게임을 설정했습니다:

텍스트: 그들은 연례 보고서 '전체(Full 10-K)'를 읽는 것과 위험과 불확실성을 나열하는 데 전적으로 할애된 특정 섹션인 '항목 1A(Item 1A)'만을 읽는 것을 비교했습니다.
대상: 그들은 컴퓨터 모델이 두 가지 서로 다른 것, 즉 주가가 다음에 어디로 갈 것인지(수익률)와 주가가 얼마나 흔들리거나 요동칠 것인지(변동성)를 예측하도록 훈련시켰습니다.

그들은 세 가지 방식으로 이를 테스트했습니다: 기술 섹터 전체를 하나의 큰 그룹으로 보는 것, 상위 10개 기업으로 구성된 작은 포트폴리오를 보는 것, 그리고 엔비디아(Nvidia)라는 단일 기업을 개별적으로 보는 것입니다.

반전: 크기가 중요하지만, 때로는 그렇지 않다

결과는 관점에 따라 답이 바뀌는 마술 같았습니다.

거시적인 관점에서 볼 때 (전체 섹터 또는 10개 기업 그룹):
연례 보고서 전체를 읽는 것이 승리했습니다. 컴퓨터는 전체 문서의 방대한 텍스트로부터 더 잘 학습했습니다. 이는 마치 군중의 목소리를 들어 기상을 예측하려는 것과 같습니다. 설령 일부 사람들이 무관한 이야기를 하더라도, 엄청난 수의 목소리는 실제 추세를 듣는 데 도움이 됩니다. 전체 보고서는 컴퓨터가 어떤 단어가 실제로 중요한지를 파악할 수 있는 더 많은 '학습 자료'를 제공했습니다.

단일 기업으로 줌인(Zoom-in)할 때:
마법이 뒤집혔습니다! 갑자기 **위험 섹션(항목 1A)**만을 읽는 것이 더 나은 선택이 되었습니다. 왜일까요? 단 하나의 기업의 역사만을 학습할 때, 연례 보고서의 나머지 부분은 매년 거의 변하지 않는 표준적인 법적 용어나 재무 수치 같은 '상투적인 문구(boilerplate)'로 가득 차 있기 때문입니다. 이는 마치 어떤 사람의 기분을 추측하기 위해 그 사람이 10년 동안 매일 아침 무엇을 먹었는지에 대한 페이지를 포함한 전체 일기를 읽는 것과 같습니다. 그 추가적인 소음이 중요한 단서들을 덮어버립니다. 하지만 위험 섹션은 짧고 강렬하며, 해당 기업에 실제로 영향을 미치는 구체적인 우려 사항들로 가득 차 있습니다.

단어들이 실제로 말한 것

연구자들은 단순히 점수만 본 것이 아니라, 컴퓨터가 중요하다고 판단한 단어들을 들여다보았습니다.

전체 섹터의 경우: '좋은' 단어들은 혁신과 건강(예: "musk", "torque")에 관한 것이었고, '나쁜' 단어들은 기술적 어려움에 관한 것이었습니다.
위험 섹션의 경우: 이들은 놀라울 정도로 구체적이었습니다. 위험 전용 모델은 전체 보고서가 놓친 주제들, 즉 "공급망 리스크"(예: "하청업체", "의존성")와 심지어 "바이오테크놀로지"나 "사이버 보안"에 대한 구체적인 언급을 포착했습니다. 위험 섹션은 기업들이 가장 두려워하는 구체적인 위험을 속삭이는 곳인 반면, 보고서의 나머지 부분은 일반론을 외치는 곳인 듯합니다.

"오래된 사전" 문제

이 연구는 '부정적인' 단어의 고정된 목록(Loughran-McDonald 사전 등)을 사용하는 기존의 대중적인 방법도 테스트했습니다. 결과는 다소 우스꽝스러웠습니다. 이 오래된 방식은 매우 예측 가능한 방식으로 지속적으로 '틀렸습니다'. 이 방식은 너무 부정적이어서 실제 주가와 반대 방향으로 움직였습니다. 연구자들은 이것이 사전이 고장 났기 때문이 아니라, 사전 자체가 매우 신중하게 설계되었기 때문이라고 설명합니다. 10-K 보고서는 법적으로 신중할 의무가 있기 때문에, 이 사전은 시장 상황이 괜찮을 때조차 '리스크'를 도처에서 발견합니다. 이는 데이터로부터 직접 학습하는 컴퓨터(이 연구에서 사용된 지도 학습 방식)가 단순히 정적인 단어 목록을 사용하는 것보다 훨씬 더 뛰어나다는 것을 증명합니다.

결론

이 논문은 10-K 보고서를 읽는 단 하나의 '최선의' 방법은 없다고 결론짓습니다. 만약 당신이 기술 산업 전체의 분위기를 이해하고 싶다면, 책 전체를 읽으십시오. 하지만 특정 기업의 구체적인 공포를 알고 싶다면, 위험 챕터로 건너뛰십시오. 핵심적인 교훈은 당신이 얼마나 많은 기업을 보고 있느냐에 따라 필요한 정보의 양이 달라진다는 것입니다. 더 많은 기업을 하나로 묶을수록 신호를 찾기 위해 더 많은 텍스트가 필요하며, 더 적은 기업을 볼수록 소음을 제거하고 구체적인 위험에 집중해야 합니다.

이 연구는 주식 시장을 해결했다고 주장하는 것이 아니라, 법적 문서를 유용한 신호로 바꾸는 더 스마트한 도구 상자를 제공하며, 우리가 이해하려는 집단의 규모에 따라 어디에서 진실을 찾아야 하는지를 정확히 보여줍니다.

기술 요약: 10-K 공시의 전체 텍스트와 리스크 요인(Risk-Factor) 감성 간의 집계 의존적 가치

문제 제기

금융 감성 추출은 역사적으로 뉴스 텍스트와 수익률 라벨에 대한 지도 학습 기반 추출에 의존해 왔다. 결과적으로, 미국 증권거래위원회(SEC)의 Form 10-K와 같은 규제 공시 문서와, 리스크 공시 언어가 가장 잘 반영할 것으로 여겨지는 대상인 변동성(volatility)은 상대적으로 미개척 영역으로 남아 있다. 선행 연구들이 공시 문서에 사전 기반 스코어링이나 딥러닝을 적용한 사례는 있으나, 규제 텍스트에 대한 지도 학습 기반 렉시콘 학습(supervised lexicon-learning)을 적용하고, 특히 변동성을 감독 대상(supervisory target)으로 사용한 점에서는 공백이 존재한다. 또한, 타겟팅된 리스크 공시 섹션(Item 1A)이 포괄적인 공시 전체 텍스트보다 더 예측력 있는 감성 신호를 제공하는지, 그리고 이러한 관계가 다양한 집계 수준(섹터, 포트폴리오, 개별 기업)에 따라 어떻게 변화하는지는 여전히 불분명하다.

방법론

데이터 및 추출

본 연구는 2006년부터 2023년까지 SEC EDGAR 시스템에서 추출한 94개 Nasdaq-100 기술주 구성 종목의 1,383개 Form 10-K 공시를 활용한다. 추출 파이프라인은 각 공시에 대해 두 가지 문서 변형을 분리한다:

전체 공시(Full Filing): 10-K의 전체 HTML 텍스트.
Item 1A: 구조적 휴리스틱(푸터 제거, 헤딩 식별, "Item 1A"와 다음 주요 헤딩 사이의 섹션 위치 파악)을 통해 추출한 특정 리스크 요인 섹션.

Item 1A 섹션은 전체 공시 길이의 10~15%만을 차지함에도 불구하고, 전처리 후 단어 수의 약 57%를 유지하고 있어 감성 관련 어휘 밀도가 높음을 보여준다.

모델 아키텍처

본 논문은 뉴스 기사를 위해 설계된 Ke et al. [2020]의 지도 학습 기반 렉시콘 학습 프레임워크를 규제 공시 문서로 확장한다. 모델은 세 가지 핵심 가정에 기반하여 작동한다:

어휘 분해(Vocabulary Decomposition): 어휘 $V$ 는 감성이 담긴 단어 $S$ 와 중립적인 단어 $N$ 으로 나뉜다. 공시의 톤은 오직 $S$ 에 속하는 단어들의 빈도에 의해 결정된다.
혼합 분포(Mixture Distribution): 감성 담긴 단어의 빈도는 관찰되지 않은 감성 점수 $p_i \in [0, 1]$ 에 의해 제어되는 혼합 다항 분포를 따른다. 여기서 $p_i=1$ 은 순수 긍정 감성을, $p_i=0$ 은 순수 부정 감성을 나타낸다.
충분성(Sufficiency): 감성 점수 $p_i$ 는 공시 내용과 관찰된 라벨 $y_i$ (수익률 또는 변동성) 사이의 관계를 설명하기에 충분하다.

학습 및 스코어링:

단어 스코어링: 단어들은 긍정적 라벨을 가진 공시에서의 출현 빈도(식 2)를 기준으로 점수가 매겨진다. 단어의 점수가 0.5에서 유의미하게 벗어나고(임계값 $\alpha_+, \alpha_-$ 에 의해 제어됨) 빈도 $k$ 를 충족하는 경우 감성 담긴 단어로 유지된다.
토픽 추정: 실제 감성 점수는 관찰되지 않으므로, 대리 지표(proxy) $\check{p}_i$ 로부터 $\check{p}_i$ 를 구성한다. 토픽 분포 벡터 $\hat{O}$ (긍정 및 부정 감성 토픽을 나타냄)는 대리 행렬에 대한 상대적 감성-단어 빈도의 선형 투영을 사용하여 추정된다(식 4).
감성 예측: 새로운 공시에 대해, 감성 점수 $\hat{p}$ 는 패널티가 부여된 로그 가능도 함수(식 5)의 극대화 값으로 결정된다. 이는 단어 수가 적은 공시의 경우 과잉 확신을 방지하기 위해 점수를 0.5로 수축시킨다.

라벨링 및 집계

모델은 두 가지 별개의 타겟에 대해 학습된다:

수익률(Return): 실현된 장중 시가-종가 로그 수익률의 백분위 순위.
변동성(Volatility): 3일간의 평균을 낸 (Corsi [2009]에 기반한) 일중 로그 가격 범위의 정규화된 대리 지표.

평가는 세 가지 집계 수준에서 수행된다:

섹터(Sector): QQQ(Nasdaq-100) 기술 섹터 전체.
포트폴리오(Portfolio): 상위 10개 구성 종목 포트폴리오.
기업(Firm): 개별 기업(특히 엔비디아).

섹터 및 포트폴리오 수준의 시계열은 불규칙한 공시 도착을 처리하고 노이즈를 줄이기 위해 로컬 레벨 칼만 필터(local-level Kalman filter)를 사용하여 평활화한다. 기업 수준의 점수는 공시 특유의 변동성을 보존하기 위해 필터링 없이 분석한다.

주요 기여

방법론적 확장: 뉴스 텍스트를 넘어 규제 공시 문서 및 그 Item 1A 리스크 요인 섹션에 지도 학습 기반 렉시콘 학습 방식을 적용한 첫 사례이다.
타겟 확장: 수익률뿐만 아니라 변동성 타겟에 대해 감성 추출을 감독하기 위해 이 프레임워크를 적용한 첫 사례이다.
절제 연구(Ablation Study): 세 가지 집계 수준에서 전체 공시 텍스트와 Item 1A 섹션을 체계적으로 비교하여, 타겟팅된 리스크 공시와 포괄적 텍스트의 예측 가치를 격리하여 분석하였다.
다축 평가: 분류 정확도, 시장 결과와의 상관관계, 질적 렉시컬 분석을 통해 12가지 결과물(2가지 문서 유형 $\times$ 2가지 타겟 $\times$ 3가지 수준)에 대한 종합적인 평가를 수행하였다.

결과

정확도 및 손실

섹터 및 포트폴리오 수준: 전체 10-K 텍스트가 수익률 및 변동성 타겟 모두에서 Item 1A 섹션보다 우수한 성능을 보였으며, 2~5 퍼센티지 포인트의 정확도 차이를 보였다.
개별 기업 수준: 이 경향은 역전된다. Item 1A 섹션이 수익률에서는 1 퍼센티지 포인트, 변동성에서는 6 퍼센티지 포인트 더 높은 성능을 보였다.
해석: 이는 **집계 효과(aggregation effect)**에 기인한다. 섹터/포트폴리오 수준에서는 더 크고 이질적인 어휘를 가진 전체 공시가 많은 기업에 걸쳐 감성 담긴 용어를 고립시키기에 충분한 재료를 제공한다. 반면, 단일 기업 수준( $n=1$ )에서는 전체 공시의 상투적인 문구(boilerplate)와 재무 제표 언어가 신호를 희석시키는 반면, 더 좁고 집중된 어휘를 가진 Item 1A가 가용 가능한 제한된 학습 신호에 더 잘 부합한다.

상관관계 분석

사전 기준(Dictionary Baseline): Loughran-McDonald(LM) 사전 기준은 모든 수준에서 가격과 지속적이고 강력한 음의 상관관계를 보였다(예: 섹터 수준에서 $r = -0.91$ ). 이는 규제 언어의 보수적이고 위험 회피적인 성격과 이 도메인에 대한 정적 사전의 한계를 강조한다.
지도 학습 점수:
- 섹터 수준에서 수익률 및 변동성 감독 점수는 음의 상관관계를 갖는다 ( $r = -0.245$ ).
- 기업 수준에서 수익률 및 변동성 감독 점수는 양의 상관관계를 갖는다 (전체 10-K의 경우 $r = 0.612$ ), 이는 섹터 수준의 관계와 대조적이다.
- 수익률 감독 감성은 일반적으로 가격과 양의 상관관계를 갖는 반면, LM 기준은 음의 상관관계를 갖는다.

질적 렉시컬 분석

모델들은 서로 다른 테마를 학습했다:

전체 10-K: "혁신 및 개발"(예: musk, torque) 및 "재무 건전성"과 같은 광범위한 테마를 포착했다.
Item 1A: 포트폴리오 수준에서의 "공급망 리스크"(예: subcontractor, dependence)나 섹터 수준에서의 "바이오테크놀로지" 또는 명시적인 "사이버 보안" 테마와 같이, 전체 텍스트에서 희석될 수 있는 구체적인 미래 지향적 리스크 내러티브가 급증했다.

의의 및 주장

본 논문은 텍스트 소스의 가치(전체 공시 vs. 리스크 요인 섹션)가 **집계 의존적(aggregation-dependent)**임을 입증한다. 저자들은 통계적 힘 덕분에 집계된 시장 분석에는 전체 공시 텍스트가 우수한 감성 신호를 제공하지만, 학습 데이터가 희소한 개별 기업 분석에는 타겟팅된 리스크 섹션이 더 우수하다고 주장한다.

본 연구는 정적 LM 사전이 가격과 강한 음의 상관관계를 보임으로써, 지도 학습 기반 렉시콘 학습이 규제 공시 텍스트에 필수적임을 입증하며, 지도 학습 모델이 이를 성공적으로 반전시키거나 적응시켰음을 보여준다. 이러한 발견과 설계 선택은 최종 결과물이 아니라, 후속되는 더 큰 규모의 다중 소스 시스템을 위한 기초적인 방법론으로서 제시되었다. 저자들은 Bag-of-words 표현(다어구/구절 무시) 및 집계 시 지수 가중치 미적용과 같은 한계를 언급하며 겸허한 태도를 유지하며, 본 연구를 더 강력한 금융 감성 분석을 향한 필수적인 단계로 규정한다.