기술적 요약: 실적 발표회에서의 KPI 추출: 도전과제와 기회

문제 제기

실적 발표회는 투자자들에게 실시간 재무 정보의 핵심 원천이지만, 여기서 핵심 성과 지표 (KPI) 를 추출하는 것은 여전히 중요한 과제로 남아 있습니다. 템플릿화되어 있으며 종종 XBRL 태그를 사용하는 구조화된 SEC filings(예: 10-Q 및 10-K) 와 달리, 실적 발표회는 비구조화되고 대화적이며 내재된 레이블이 부재합니다. 이러한 '도메인 전이 (domain shift)'는 구조화된 filings 로 훈련된 모델이 컨퍼런스 콜의 자유로운 흐름에 일반화되지 못하게 하는 언어적 장벽을 조성합니다. 또한 기존 데이터셋과 방법론은 종종 사전 정의된 분류 체계에 의존하는데, 이는 이러한 발표회에서 자주 논의되는 신흥적이고 개방형인 KPI 를 포착하지 못합니다.

방법론

저자들은 이러한 과제를 해결하기 위해 확립된 구조화된 도메인에서 비구조화된 대화형 데이터로 이동하는 포괄적인 프레임워크를 제안합니다.

1. 벤치마크 생성

이 연구는 S&P 500 기업 20 개에서 파생된 세 가지 새로운 데이터셋을 도입합니다:

• SEC filings 벤치마크 (SECB): 이전 작업 (HiFi-KPI 등) 보다 광범위한 문맥을 보존하도록 설계된 데이터셋으로, 템플릿화된 filings 과 대화형 텍스트 간의 간극을 메웁니다. 주석 처리되지 않은 KPI 를 포착하기 위해 의사 태그 (regex_dollar, regex_percentage) 를 활용합니다.
• 실적 발표회 벤치마크 (ECB): 2023~2024 년 실적 발표회에서 발화자 턴별로 세그먼트화된 10,477 개의 청크로 구성된 대규모 데이터셋입니다.
• ECB-A (주석 처리): 2,460 개의 전문가 주석 개체와 934 개의 관계 그룹을 포함하는 587 개의 청크로 구성된 고품질 평가 하위 집합입니다. 주석은 전통적 (재무적) 지표와 비전통적 (운영적) 지표를 구분하기 위해 도메인 전문가가 2 단계 프로세스 (식별 followed by 관계 검증) 를 사용하여 수행되었습니다.

2. 실험 패러다임

저자들은 두 가지 명확한 접근 방식을 평가합니다:

• 인코더 기반 모델 (파인튜닝): 실적 발표회에 적용될 때 SEC filings 로 파인튜닝된 모델 (SEC-BERT-Base, BERT-SL1000 및 변형) 의 일반화 능력을 평가합니다. 이들은 시퀀스 레이블링 작업으로 간주됩니다.
• 맥락 학습 (생성형): 구조화된 퓨샷 프롬프팅을 갖춘 최첨단 (SOTA) 대규모 언어 모델 (Llama-3.3, Qwen3-30B-A3B, Gemma-3-27B, Gemini 3 Pro) 을 활용합니다. 이 접근 방식은 폐쇄된 분류 체계에 의존하지 않고 동적으로 KPI 를 추출하기 위해 관계 추출 전략을 사용합니다. 시스템은 개체 범위 (KPI 이름, 값, 범위, 날짜, 양태) 를 식별하여 관계 그룹으로 집계합니다.

3. 평가 지표

ECB-A 에 대한 평가는 다면적 점수 시스템을 활용합니다:

• 정확한 F1: 값과 레이블 모두에 대해 정확한 문자열 일치를 요구합니다.
• 의미론적 F1: 많은-to-하나 매핑을 허용하기 위해 크로스 인코더 유사도 (STSB-RoBERTa-Large) 를 사용하여 어휘적 경계가 다르더라도 의미론적 동등성을 포착합니다.
• 매칭 F1: 값에 따라 예측을 기준 진실 (ground truths) 에 정렬하는 소프트 F1 점수입니다.
• LLM 판정자: 모델의 추출이 전문가 주석과 의미론적으로 동등한지 여부를 결정하기 위해 DeepSeek-V3.2 를 사용한 자동 평가입니다.
• 인간 평가: 집계된 시스템 출력의 정확성을 검증하기 위해 세 명의 평가자가 참여하는 최종 검증 단계입니다.

주요 결과

1. 도메인 전이 한계

SEC filings 로 파인튜닝된 인코더 기반 모델 (예: SEC-BERT-Base) 은 실적 발표회에 대한 일반화가 부족함을 보여주었습니다. 구조화된 데이터셋 (FiNER-139, HiFi-KPI) 에서는 합리적인 성능을 보였으나, ECB-A 에서는 성능이 크게 저하되어 추출된 숫자에 대해 호환 가능한 레이블을 예측하지 못하는 경우가 많았습니다. 이는 템플릿화된 filings 에서 대화형 콜로의 언어적 전환이 전통적인 시퀀스 레이블링 접근 방식에 있어 주요 장애물임을 확인시켜 줍니다.

2. 생성형 모델 성능

생성형 LLM 은 비구조화된 실적 발표회 도메인에서 SEC 훈련 인코더를 크게 능가했습니다.

• Gemini 3 Pro는 11.5% 의 정확한 F1 을 달성했으며, LLM 판정자에 따르면 주석 처리된 KPI 의 45.5% 를 추출하여 최상의 성능을 보였습니다.
• 의미론적 지표: 정확한 F1 점수는 여전히 낮았으나 (3.2%~11.5% 범위), 의미론적 F1 점수는 훨씬 높았습니다 (Gemini 3 Pro 의 경우 최대 61.6%). 이는 LLM 이 엄격한 어휘적 경계에서 어려움을 겪을지라도 근본적인 재무 개념과 관계를 성공적으로 포착함을 나타냅니다.
• 확장: 모델 확장随着 성능이 향상되어, 이 작업의 복잡성이 더 큰 모델 용량에서 혜택을 받음을 시사합니다.

3. 시스템 집계 및 종단적 추적

여러 모델 (Gemma, Llama, Qwen) 의 출력을 집계하고 유사도 임계값 0.85 로 의미론적 클러스터링을 적용함으로써, 저자들은 사전 정의된 온톨로지 없이 일관된 종단적 KPI 추적이 가능한 시스템을 구축했습니다.

• 이 시스템은 20 개 기업에 대해 최소 4 개 기간 동안 일관되게 추적된 1,323 개의 KPI 를 식별했습니다.
• 인간 검증: 최종 집계 시스템은 중간 수준의 주석자 간 일치 (Krippendorff's $\alpha$ = 0.429) 에도 불구하고 인간 평가에서 79.67% 의 정밀도 (478/600) 를 달성했습니다.
• 사례 연구: 이 시스템은 여러 분기에 걸쳐 "iPhone 수익"을 성공적으로 추적하여 보고된 SEC 값과 완벽하게 일치시켰으며, 재무 분석에 대한 유용성을 입증했습니다.

중요성과 주장

이 논문은 실적 발표회에서의 자동화된 KPI 추출이라는 신흥 작업에 대한 견고한 기준을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 현재 방법의 한계 입증: 구조화된 SEC filings 로 훈련된 모델이 실적 발표회의 주관적이고 홍보적이며 비구조화된 언어로 일반화되지 않음을 실증적으로 보여줍니다.
2. 벤치마크 도입: SECB, ECB, ECB-A 의 공개는 재무 NLP 자원의 중요한 공백을 메우며, 실적 발표회 KPI 추출을 위한 최초의 전문가 주석 데이터셋을 제공합니다.
3. 개방형 추출을 위한 LLM 검증: 구조화된 프롬프팅으로 안내될 때 LLM 이 비구조화된 텍스트에서 신흥 KPI 를 효과적으로 추출하여 전통적인 인코더를 능가함을 입증합니다.
4. 실용적 적용: 제안된 시스템은 시간에 따른 KPI 의 일관된 추적을 가능하게 하여, 시장 분석을 위한 새로운 재무 정보의 더 빠르고 효율적인 처리를 위한 경로를 제공합니다.

저자들은 현재 최첨단 기술에 대해 겸손한 입장을 견지하며, 시스템이 유망한 모습을 보이지만 오류율로 인해 인간의 감독이 필요함을 인정합니다. 또한 서로 다른 기업 간 '콜 문화'의 높은 변동성과 Q&A 세션의 본질적 모호성이 지속적인 과제임을 지적합니다. 이 연구는 실시간 재무 의사결정 도구를 향한 기초적인 단계로, 완전한 자율성은 아직 달성되지 않았지만 실적 발표회 데이터를 효율적이고 자동적으로 흡수하는 방향은 실현 가능함을 강조합니다.