LLM-based Triplet Extraction from Financial Reports

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 기업 재무 보고서는 지식 그래프 (Knowledge Graph, KG) 구축을 위한 구조화된 지식의 귀중한 원천이지만, 수동으로 구조화하기에는 문서가 방대하고 비정형적입니다.
• 핵심 문제:
  1. 지상 진실 (Ground Truth) 부재: 재무 도메인에는 대규모로 주석 처리된 정답 데이터셋이 존재하지 않아, 기존 정밀도 (Precision) 및 재현율 (Recall) 기반 평가가 어렵습니다.
  2. LLM 의 환각 (Hallucination): 대규모 언어 모델 (LLM) 은 소스 텍스트와 무관한 내용을 생성하는 환각 현상이 빈번하여, 사실에 기반해야 하는 금융 분야에서는 치명적인 리스크가 됩니다.
  3. 수동 평가의 비효율성: 동적인 환경에서 정답 데이터셋을 유지하는 것은 비용과 시간 측면에서 비현실적입니다.
• 목표: 주석 처리된 정답 데이터 없이도 신뢰할 수 있는 Subject-Predicate-Object (SPO) 삼중항 추출 파이프라인을 개발하고 평가하는 것.

2. 방법론 (Methodology)

저자들은 지상 진실 데이터에 의존하지 않는 반자동 (Semi-automated) 파이프라인을 제안하며, 성능을 평가하기 위해 두 가지 프록시 지표 (Proxy Metrics) 를 사용합니다.

A. 평가 지표 (Evaluation Metrics)

1. 온톨로지 준수 (Ontology Conformance, OC): 추출된 삼중항의 관계 (Predicate) 가 사전에 정의된 온톨로지 (O) 의 유효한 관계 집합 (R) 에 포함되는지 확인합니다.
2. 충실도 (Faithfulness): 추출된 정보가 소스 텍스트에 명시적으로 근거하는지 확인합니다. 이를 위해 다음 세 가지 환각 지표를 사용합니다.
   • 주어 환각 (SH): 주어가 소스 텍스트에 존재하지 않음.
   • 목적어 환각 (OH): 목적어가 소스 텍스트에 존재하지 않음.
   • 관계 환각 (RH): 관계가 정의된 온톨로지에 없음.

B. 실험 설계

• 데이터: 볼보 (Volvo) 2024 년 연차보고서 (DVolvo) 와 엘렉타 (Elekta) 2022/2023 년 연차보고서 (DElekta) 의 일부.
• 모델 (M): Gemini-2.5 Flash (M1) 와 Llama 4 Maverick (M2).
• 온톨로지 전략 (O) 비교:
  1. 수동 온톨로지 (OManual): 한 보고서 (Volvo) 를 기반으로 수동으로 설계된 정적 온톨로지를 두 문서 모두에 적용 (도메인 일반화 테스트).
  2. 자동 유도 온톨로지 (OAuto): 각 문서를 처리할 때 LLM 을 사용하여 해당 문서의 내용에만 필요한 엔티티와 관계를 동적으로 유도하여 온톨로지를 생성 (문서 특화 적응 테스트).
• 하이브리드 검증 전략 (Hybrid Verification):
  • 단순 정규식 (Regex) 매칭은 형태적 변형으로 인한 위양성 (False Positive) 이 많음.
  • 제안 방식: 먼저 정규식으로 매칭을 시도하고, 실패할 경우 LLM-as-a-judge를 2 차 검증자로 활용하여 의미적 일치 여부를 판단.

3. 주요 기여 (Key Contributions)

1. C1: 온톨로지 전략 비교 분석: 수동으로 설계된 정적 온톨로지 vs. 문서별 자동 유도 온톨로지의 성능 비교. 자동 유도 방식이 모든 설정에서 100% 스키마 준수를 달성하여 수동 방식에서 관찰된 '온톨로지 드리프트 (Ontology Drift)'를 제거함을 입증.
2. C2: 모델 아키텍처의 영향 평가: 엄격한 스키마 제약 하에서 서로 다른 LLM 아키텍처가 관계 환각 및 온톨로지 드리프트에 미치는 영향을 규명.
3. C3: 하이브리드 검증 전략 제안: 단순 문자열 매칭의 높은 위양성률을 해결하기 위해 정규식과 LLM 심판자를 결합한 검증 방식을 도입. 이를 통해 환각률을 65.2% 에서 1.6% 로 대폭 감소시킴.

4. 실험 결과 (Results)

• 검증 방법 유효성 (RQ3):
  • 단순 Regex 기반 검증 시 주어 환각 (SH) 이 65.2% 로 높게 나타났으나, 하이브리드 검증 (Regex + LLM-as-a-judge) 적용 시 **1.6%**로 급감. 이는 많은 '환각'이 실제로는 코어퍼런스 (coreference) 해결로 인한 표면적 차이였음을 의미.
• 온톨로지 전략 비교 (RQ1):
  • OAuto (자동 유도): 모든 모델과 문서에서 **100% 온톨로지 준수 (OC)**를 달성.
  • OManual (수동): 특히 M2 모델과 도메인 외 (DElekta) 문서에서 준수율이 89.4% 로 하락하고 관계 환각 (RH) 이 10.6% 로 증가.
  • 결론: 문서 특화 온톨로지 유도가 스키마 위반을 효과적으로 제거함.
• 모델 성능 차이 (RQ2):
  • M1 (Gemini): 모든 설정에서 100% 준수 및 0% 관계 환각을 보이며 보수적 (conservative) 인 성향을 보임.
  • M2 (Llama): 수동 온톨로지 하에서는 의미적 유창성을 위해 온톨로지를 위반하는 경향이 강함 (드리프트 발생). 하지만 자동 유도 온톨로지와 결합되면 준수율이 100% 로 회복됨.
• 환각 비대칭성:
  • 주어 (Subject) 환각이 목적어 (Object) 환각보다 빈번하게 발생. 이는 재무 보고서의 **수동형 문장 (Passive voice)**과 생략된 주체가 모델에게 주어를 추론하게 만들어 오류를 유발하기 때문으로 분석됨.

5. 의의 및 결론 (Significance & Conclusion)

• 지상 진실 없는 평가 체계 정립: 금융 도메인과 같이 정답 데이터가 부족한 분야에서 LLM 기반 정보 추출을 평가할 수 있는 새로운 프레임워크 (온톨로지 준수 및 충실도 기반) 를 제시했습니다.
• 동적 온톨로지의 우위: 고정된 수동 온톨로지보다 문서별 자동 유도 온톨로지가 모델의 환각을 줄이고 스키마 준수를 높이는 데 훨씬 효과적임을 입증했습니다.
• 정밀한 검증 메커니즘: 단순 문자열 매칭의 한계를 극복하고, 의미적 검증 (LLM-as-a-judge) 을 통해 실제 환각률을 정확히 측정할 수 있는 하이브리드 방식을 제안했습니다.
• 향후 과제: 더 다양한 문서 유형과 언어로 확장하고, 안정적인 핵심 스키마와 문서별 확장 온톨로지를 결합한 하이브리드 온톨로지 전략을 연구할 필요가 있음을 지적했습니다.

이 연구는 금융 데이터의 자동화된 지식 그래프 구축을 위한 신뢰성 있는 방법론을 제공하며, LLM 의 환각 문제를 완화하고 도메인 특화 적응성을 높이는 데 중요한 통찰을 제공합니다.