FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

1. 문제 정의 (Problem Definition)

• 배경: 재무 보고서의 정확한 수치 데이터 해석은 시장과 규제 기관에 필수적입니다. XBRL(eXtensible Business Reporting Language) 은 재무 수치를 태그하는 표준을 제공하지만, 수천 개의 사실을 1 만 개 이상의 US-GAAP(미국 일반적으로 인정된 회계 원칙) 개념에 매핑하는 과정은 여전히 비용이 많이 들고 오류가 발생하기 쉽습니다.
• 기존 연구의 한계:
  • 과도한 단순화: 기존 벤치마크는 태깅 작업을 작은 개념 하위 집합에 대한 평면적 (flat) 인 단일 단계 분류 문제로 축소했습니다.
  • 계층적 의미 무시: 재무 문서의 계층적 의미 (taxonomy) 와 구조적 특성 (표와 텍스트의 혼합) 을 고려하지 못했습니다.
  • 실제 환경 부재: 기존 벤치마크는 전체 US-GAAP taxonomy 를 포함하지 않아, 대규모 LLM 이 실제 보고 조건에서 어떻게 작동하는지 평가할 수 없었습니다. 특히 'Closed-set extreme classification' 방식은 전체 taxonomy 를 컨텍스트에 담을 수 없을 때 모델이 무너지는 (brittle) 문제를 야기했습니다.
  • 표 데이터 누락: 재무 수치의 주요 담체인 표 (Table) 구조를 대부분 무시하여, 구조화된 데이터와 서술적 문맥 간의 결합 추론을 평가하지 못했습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 FinTagging이라는 새로운 벤치마크를 제안하며, 복잡한 태깅 과정을 두 단계로 분해하는 'Extract-and-Align(추출 - 정렬)' 패러다임을 도입했습니다.

A. 태스크 분해 (Two-Stage Formulation)

1. FinNI (Financial Numeric Identification):
   • 목표: 이질적인 문맥 (텍스트 및 표) 에서 재무 수치 엔티티를 추출하고, 해당 데이터 유형 (monetary, percent, shares 등 5 가지) 을 분류합니다.
   • 입력: 재무 문서 (텍스트 + 표).
   • 출력: {Fact(수치), Type(유형)} 쌍의 리스트.
2. FinCL (Financial Concept Linking):
   • 목표: 추출된 각 수치를 전체 US-GAAP taxonomy(약 17,688 개 개념) 에서 가장 적합한 개념 (Tag) 에 매핑합니다.
   • 방식: 단순 분류가 아닌 검색 - 재순위화 (Retrieval-Reranking) 방식을 사용합니다. 먼저 의미적 유사도를 기반으로 상위 200 개 후보를 검색한 후, LLM 이 문맥적 추론을 통해 최종 태그를 선택합니다.

B. 데이터 구축 (Data Construction)

• 데이터 소스: 2023-2024 년 SEC 에 제출된 142 개의 10-K 보고서 (11 개 산업군, 31 개 주 및 해외 포함).
• 자동화 주석: iXBRL 메타데이터를 파싱하여 수치, 개념, 데이터 타입을 자동으로 추출하는 파이프라인을 구축했습니다.
• 품질 관리: 자동 추출된 26 만 개 이상의 엔티티 중, **전략적 샘플링 (Strategic Sampling)**을 통해 모든 US-GAAP 개념을 포괄하는 928 개의 문장 및 1,021 개의 표 인스턴스를 선별했습니다. 이를 재무 전문가 (주니어 애널리스트 2 명, 시니어 adjudicator 1 명) 가 검증하여 Gold Standard 를 구축했습니다.
  • 검증 결과: annotator 간 일관성 (Cohen's κ) 이 0.81 로 높게 나타났습니다.

C. 평가 프레임워크

• 모델: GPT-4o, DeepSeek-V3, Llama 시리즈, Qwen 시리즈 등 13 개의 SOTA LLM 과 BERT, FinBERT 등 PLM 베이스라인을 비교 평가했습니다.
• 지표:
  • FinNI: Pair-level Precision, Recall, F1.
  • FinCL: Accuracy (검색된 후보 중 정답 선택 여부).
  • 전체: Macro/Micro F1 (빈도별 균등 평가 및 빈도 가중 평가).

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제안: XBRL 태깅을 단순 분류가 아닌 '추출 - 정렬 (Extract-and-Align)' 2 단계 과정으로 재정의하여, 17,000 개 이상의 전체 US-GAAP 개념에 대한 포괄적 평가를 가능하게 했습니다.
2. 고충실도 리소스 공개: 구조화된 표와 서술적 텍스트를 모두 포함하며, 실제 재무 보고 환경의 복잡성을 반영한 FinNI-eval 및 FinCL-eval 데이터셋을 공개했습니다. 이는 재무 도메인에서 구조적 정보 추출과 개념 수준 정렬을 동시에 평가하는 최초의 데이터셋입니다.
3. 진단적 통찰 (Diagnostic Insights): 13 개의 LLM 을 벤치마크하여 **'지식 - 정렬 간극 (Knowledge-Alignment Gap)'**을 발견했습니다. 모델들은 수치 추출 (FinNI) 에서는 탁월한 성능을 보이지만, 세부적인 US-GAAP 개념 정렬 (FinCL) 에서는 심각한 어려움을 겪음을 입증했습니다.

4. 실험 결과 (Results)

• 전체 성능:
  • 제안된 프레임워크 하에서 LLM 들은 희귀한 개념 (long-tail) 을 포함한 다양한 재무 태그를 처리할 수 있음을 보였습니다.
  • Macro-F1: 일반 목적의 대형 LLM (DeepSeek-V3, GPT-4o, Llama-4) 이 미세 조정된 PLM 들보다 우수한 성능을 보이며, 희귀 개념에 대한 일반화 능력이 뛰어났습니다.
  • Micro-F1: 빈도 높은 레이블에 대해서는 미세 조정된 PLM 들이 경쟁력 있었으나, 이는 레이블 빈도에 기인한 결과로 해석됩니다.
• 서브태스크별 성능:
  • FinNI (추출): DeepSeek-V3 가 높은 Recall 로 가장 좋은 F1 점수를 기록했습니다. 일부 모델은 Precision 은 높으나 Recall 이 매우 낮아 (많은 사실을 놓침) 전체 성능이 저하되었습니다.
  • FinCL (정렬): 가장 어려운 과제였습니다. 전체 17,688 개 개념 중 상위 200 개 후보를 검색한 후 재순위화하는 설정에서도 최상위 모델 (DeepSeek-V3, GPT-4o) 의 정확도는 19% 미만에 그쳤습니다. 특히 표 (Table) 기반 엔티티의 경우 검색 커버리지 자체가 낮아 (Acc@200 < 0.30) 하위 태스크의 성능 한계가 명확했습니다.
• Ablation Study (비교 분석):
  • 기존 방식인 **Extreme Classification(단일 단계 분류)**으로 평가하면 모든 모델의 성능이 0에 수렴했습니다. 이는 전체 taxonomy 를 컨텍스트에 넣을 수 없기 때문이며, 제안된 2 단계 방식이 실제 태깅 워크플로우를 반영하여 의미 있는 평가를 가능하게 함을 입증했습니다.
  • 오류 전파 분석: 엔티티 추출 오류와 검색 오류가 누적되어 전체 파이프라인 성능을 저하시켰으며, 특히 **세밀한 US-GAAP 모호성 해소 (Disambiguation)**가 본질적으로 매우 어렵다는 점을 확인했습니다.

5. 의의 및 결론 (Significance)

• 규제 및 실무적 가치: FinTagging 은 LLM 이 실제 재무 보고서 태깅에서 직면하는 구조적 추론과 의미 정렬의 한계를 명확히 보여줍니다. 이는 규제 준수 (Compliance) 와 자동화 시스템 개발에 중요한 기준을 제공합니다.
• 연구 방향 제시: 단순한 수치 추출 능력만으로는 부족하며, **구조 인식 (Structure-aware)**과 도메인 특화 의미 정렬 능력을 갖춘 새로운 모델 아키텍처나 학습 전략이 필요함을 시사합니다.
• 향후 작업: 제안된 벤치마크는 신뢰할 수 있는 XBRL 태깅 및 규제 보고 자동화를 위한 기초를 마련하며, 향후 연구자들이 모델의 강점과 약점을 진단하고 개선하는 데 필수적인 도구가 될 것입니다.

요약: 이 논문은 기존 벤치마크의 한계를 극복하고, 실제 재무 보고서의 복잡성 (표와 텍스트 혼합, 전체 taxonomy 매핑) 을 반영한 FinTagging을 제안했습니다. 실험을 통해 LLM 은 수치 추출에는 능숙하지만, 17,000 개 이상의 회계 개념을 정밀하게 매핑하는 데는 여전히 큰 한계가 있음을 입증했습니다.