Knowledge Graphs Generation from Cultural Heritage Texts: Combining LLMs and Ontological Engineering for Scholarly Debates

논문 요약: 문화유산 텍스트에서 지식 그래프 생성 (ATR4CH)

이 논문은 구조화되지 않은 문화유산 (Cultural Heritage, CH) 텍스트 (특히 학술적 논쟁과 진위성 평가에 관한 문서) 에서 복잡한 지식을 추출하여 질의 가능한 지식 그래프 (Knowledge Graph, KG) 로 변환하는 체계적인 방법론인 ATR4CH(Adaptive Text-to-RDF for Cultural Heritage) 를 제안합니다. 저자는 대규모 언어 모델 (LLM) 과 온톨로지 공학을 결합하여 학술적 논쟁의 뉘앙스, 증거, 그리고 대립적인 가설을 포착하는 데 성공했습니다.

1. 문제 정의 (Problem)

• 비구조화 텍스트의 한계: 문화유산 기관 (도서관, 아카이브, 박물관) 은 방대한 양의 비구조화 텍스트를 보유하고 있으나, 이를 Linked Open Data (LOD) 환경에서 표준화된 지식 그래프로 변환하는 것은 어렵습니다.
• 학술적 논쟁의 단순화: 기존 지식 베이스 (Wikidata, DBpedia 등) 는 복잡한 학술적 논쟁 (예: 문서의 진위성, 예술작품의 저자 논쟁) 을 단순한 범주적 진술 (예: "위조", "A 가 작성함") 로 축소합니다. 이는 증거 기반의 추론, 방법론적 이견, 그리고 학자들의 다양한 관점을 생략하게 만듭니다.
• 인간적 개입의 비효율성: 이러한 복잡한 논의를 수동으로 주석 (annotation) 하고 구조화하는 것은 전문 지식과 막대한 시간이 필요하여 확장성이 떨어집니다.
• 인식론적 긴장: 문화유산 연구는 객관적 사실 (data) 이 아니라 관찰자에 의해 구성된 지식 (capta) 이라는 특성이 있어, 단순한 데이터 추출로는 이를 표현하기 어렵습니다.

2. 방법론: ATR4CH (Methodology)

저자는 LLM 기반 지식 추출을 온톨로지 프레임워크와 조율하기 위해 5 단계 반복적 방법론 (ATR4CH) 을 제안했습니다.

1. 기초 분석 및 설계 (Foundational Analysis): 코퍼스 (문서 집합) 와 대상 온톨로지를 분석하여 핵심 지식 패턴 (Core Ontological Patterns, COPs) 과 역량 질문 (Competency Questions) 을 도출합니다.
2. 최소 작동 주석 개발 (Minimal Working Annotation Development): COPs 를 기반으로 주석 스키마를 설계하고, 파일럿 코퍼스를 사용하여 주석 - RDF 매핑을 검증하며 스키마를 정제합니다.
3. 파이프라인 아키텍처 개발 (Pipeline Architecture Development): 주석 모델을 기반으로 LLM 을 활용한 자동 추출 파이프라인을 설계합니다. (GliNER 를 활용한 NER, LLM 을 활용한 구조화 추출, 규칙 기반 엔티티 링크링 등을 통합)
4. 통합 및 정제 (Integration and Refinement): 추출 파이프라인과 온톨로지를 통합하여 엔드 - 투 - 엔드 시스템을 구축하고, 오류 전파를 방지하기 위해 정합성 검사를 수행합니다.
5. 지식 추출 및 평가 (Knowledge Extraction and Evaluation): 테스트 데이터에 대한 추출 수행 및 다차원 평가 (기술적 지표, 의미적 평가, 도메인 전문가 검증) 를 진행합니다.

• 사용된 온톨로지: SEBI (Scholarly Evidence Based Interpretation) 온톨로지를 사용했습니다. 이는 RDF-star 를 활용하여 주장 (Claim), 증거 (Evidence), 해석 행위 (Interpretation Act) 및 맥락 정보를 계층적으로 표현하도록 설계되었습니다.
• 데이터 소스: 위키백과의 '위조', '가짜', '진위성 논쟁' 관련 581 개 기사.
• 모델 비교: Claude Sonnet 3.7, Llama 3.3 70B, GPT-4o-mini 세 가지 LLM 을 비교 평가했습니다.

3. 주요 기여 (Key Contributions)

1. ATR4CH 방법론: 문화유산 도메인의 비구조화 텍스트를 온톨로지와 LLM 을 통해 체계적으로 RDF 로 변환하는 최초의 체계적인 방법론을 제시했습니다.
2. SEBI 온톨로지 적용: RDF-star 를 활용하여 학술적 주장의 진위성, 증거, 그리고 다양한 학자의 관점을 보존하는 다중 관점 (multi-perspective) 지식 그래프 구축을 실증했습니다.
3. 포괄적 평가: 메타데이터 추출부터 증거 기반 추론, 가설 추출까지 다양한 작업에 대한 성능 벤치마크를 수립하고, 다양한 모델 크기의 성능과 비용 효율성을 분석했습니다.

4. 결과 (Results)

• 성능 지표:
  • 메타데이터 추출: 매우 높은 정확도 (F1: 0.96~0.99).
  • 엔티티 인식 (학술적 주체 식별): 중간 수준의 성능 (F1: 0.7~0.8). GPT-4o-mini 가 가장 높은 재현율 (Recall) 을 보였습니다.
  • 증거 추출: 높은 정확도 (F1: 0.95~0.97).
  • 가설 추출: 상대적으로 낮은 성능 (F1: 0.65~0.75). 이는 학술적 추론의 복잡성 때문입니다.
  • 전체 담화 표현 (G-EVAL): 0.62 점으로, 학술적 논쟁의 복잡성을 어느 정도 잘 포착했으나 개선의 여지가 있습니다.
• 모델 비교:
  • GPT-4o-mini: 가장 적은 파라미터 수임에도 불구하고 엔티티 인식과 가설 추출에서 경쟁력 있는 성능을 보이며 비용 효율성이 높았습니다.
  • Claude 3.7 Sonnet: 재현율은 낮지만 정밀도 (Precision) 가 높아 오류가 적은 결과를 생성했습니다.
  • Llama 3.3 70B: 두 모델 사이의 균형을 보였습니다.
• 오류 전파: 엔티티 (Cognizer) 식별 단계에서의 오류가 하류 작업 (증거, 가설 추출) 으로 전파되는 문제가 확인되었습니다.

5. 의의 및 시사점 (Significance)

• 학술적 담화의 디지털화: 문화유산 기관이 비구조화된 텍스트에 담긴 복잡한 학술적 논쟁 (진위성 논쟁 등) 을 기계가 읽을 수 있는 구조화된 형태로 변환할 수 있는 실용적인 프레임워크를 제공합니다.
• 비용 효율적인 배포: 대형 모델만 의존하지 않고, 작은 모델 (GPT-4o-mini 등) 도 순차적 파이프라인을 통해 경쟁력 있는 성능을 낼 수 있음을 보여줌으로써 예산이 제한된 기관들의 도입 가능성을 높였습니다.
• 인간 - AI 협업의 필요성: 완전한 자동화보다는 인간 전문가의 감독 하에 이루어지는 인간 - 기계 협업 (Human-in-the-loop) 이 가장 효과적인 접근법임을 강조합니다.
• 확장성: 이 방법론은 진위성 평가뿐만 아니라 예술적 귀속, 역사적 해석 등 다양한 문화유산 해석적 연구 분야에 적용 가능한 범용적인 프레임워크입니다.

이 연구는 문화유산 데이터의 단순한 메타데이터화를 넘어, 텍스트에 내재된 증거 기반의 추론과 학문적 논쟁의 구조를 지식 그래프로 복원하는 중요한 이정표로 평가됩니다.