SocraticKG: Knowledge Graph Construction via QA-Driven Fact Extraction

1. 연구 배경 및 문제 정의 (Problem)

비정형 텍스트로부터 지식 그래프 (Knowledge Graph, KG) 를 구축하는 것은 지식 표현과 추론을 위한 구조화된 프레임워크를 제공합니다. 그러나 현재 대규모 언어 모델 (LLM) 기반의 KG 구축 방법론은 다음과 같은 근본적인 트레이드오프 (Trade-off) 문제에 직면해 있습니다.

• 사실적 포괄성 (Factual Coverage) vs. 구조적 연결성 (Structural Connectivity):
  • 직접 추출 (Direct Extraction): 텍스트에서 직접 삼중항 (Triple) 을 추출하는 방식은 많은 사실을 포착할 수 있지만, 결과 그래프가 파편화되어 의미 있는 연결성이 약해집니다.
  • 통합 중심 (Consolidation-Centric): 미리 정의된 엔티티 구조를 기반으로 사실을 조직화하는 방식 (예: GraphRAG, KGGen) 은 그래프의 일관성을 높이지만, 초기 엔티티 식별 단계에서 문맥적 뉘앙스나 암시적 관계를 누락시켜 정보 손실이 발생합니다.
• 핵심 문제: 소스 문서의 내러티브 논리를 구조화된 그래프로 완전히 외부화하는 과정에서, 포괄적인 정보 추출과 의미 있는 연결성 사이의 균형을 맞추는 것이 어렵습니다.

2. 제안 방법론: SocraticKG (Methodology)

이러한 한계를 극복하기 위해 저자들은 SocraticKG을 제안합니다. 이 방법은 LLM 이 원본 텍스트에서 직접 삼중항을 추출하는 대신, **질문 - 답변 (QA) 쌍을 구조화된 중간 표현 (Intermediate Representation)**으로 활용하여 문서 수준의 시맨틱을 체계적으로 전개한 후 그래프를 구축합니다.

핵심 프로세스 (3 단계)

1. 5W1H 기반 QA 생성 (5W1H-Guided QA Generation):

   • 문서를 Who, What, When, Where, Why, How의 5W1H 프레임워크를 기반으로 한 체계적인 질문을 통해 분해합니다.
   • 맥락 독립성 (Contextual Independence): 생성된 QA 쌍은 원문 참조 없이도 독립적으로 이해 가능하도록 설계됩니다. 대명사 (it, they 등) 를 명시적 엔티티 이름으로 치환하여 참조 불명확성을 해소합니다.
   • 이를 통해 암시적인 인과 관계 (Why) 나 절차적 세부 사항 (How) 을 명시적으로 포착합니다.

2. QA 기반 삼중항 추출 (Triple Extraction from QA):

   • 생성된 각 QA 쌍을 독립적인 추출 단위로 간주하여 삼중항을 추출합니다.
   • 원자적 분해 (Atomic Decomposition): 질문과 답변에서 세부 사실을 분리하여 포괄성을 높입니다.
   • 엔티티 명확성 및 단순화: 모든 엔티티는 구체적인 명사구로 표현되며, 모호한 관계는 추출을 생략합니다.

3. 그래프 구축 및 정규화 (Graph Construction & Canonicalization):

   • 독립적인 QA 단위에서 추출된 삼중항들을 통합합니다.
   • 정규화 (Canonicalization): Mo et al. (2025) 의 방법을 차용하여, 임베딩 기반 클러스터링과 LLM 기반 정제를 통해 동의어, 약어, 표면적 변형을 해결하고 통합된 일관된 그래프를 생성합니다.

3. 주요 기여 (Key Contributions)

1. QA 매개 지식 그래프 구축: 질문 - 답변을 단순한 검색 도구가 아닌, 문서 내러티브를 전개하고 암시적 연결을 명시화하는 **시맨틱 발판 (Semantic Scaffold)**으로 공식화했습니다.
2. 5W1H 가이드 확장: 체계적인 5W1H 질문 생성을 통해 직접 추출 방식에서 간과되는 잠재적 의존성 (인과, 절차 등) 을 표면화하여 사실적 포괄성과 구조적 연결성을 동시에 향상시켰습니다.
3. 성능 입증: 다양한 LLM 백본 (Qwen, GPT, Gemini, Claude 등) 에서 기존 최첨단 방법론 (Direct Extraction, GraphRAG, KGGen) 을 능가하는 사실 유지율 (Factual Retention) 과 구조적 일관성을 보여주었습니다.

4. 실험 결과 (Results)

저자들은 MINE 벤치마크 (소스 정보 보존 평가) 와 HotpotQA (하류 다중 홉 추론 평가) 를 통해 SocraticKG 의 성능을 검증했습니다.

• 사실 유지율 (Factual Retention Score):
  • MINE 벤치마크에서 SocraticKG 은 모든 평가된 LLM 에서 가장 높은 점수를 기록했습니다 (Claude-4 기준 96.3%).
  • 특히 5W1H 가이드가 포함된 버전이 5W1H 없이 QA 만 사용하는 버전보다 더 높은 성능을 보여, 체계적인 질문이 인과 및 절차적 사실 포착에 핵심임을 입증했습니다.
• 구조적 일관성 및 밀도:
  • 평균 차수 (Average Degree): SocraticKG 은 더 많은 사실 (Triple) 을 추출하면서도 그래프의 연결 밀도를 높였습니다.
  • 분할 지수 (NFI): 기존 방법론들은 사실 추출량이 증가함에 따라 그래프가 파편화되는 경향이 있었으나, SocraticKG 은 추출량이 증가함에도 분할 지수를 낮게 유지하여 높은 구조적 응집력을 보였습니다.
• 하류 추론 성능 (HotpotQA):
  • HotpotQA 의 'Hard Bridge' 샘플에서 SocraticKG 은 Naive RAG 및 다른 KG 기반 방법론들을 일관되게 능가했습니다.
  • 특히 3-hop 추론에서 Claude-4 백본 기준 56.38% 의 정확도를 기록하여, 잘 연결된 그래프 구조가 복잡한 추론 작업에 필수적임을 증명했습니다.

5. 의의 및 결론 (Significance)

• 트레이드오프 해결: SocraticKG 은 '사실적 포괄성'과 '구조적 연결성' 사이의 상충 관계를 해결했습니다. QA 를 중간 단계로 도입함으로써, 문맥적 뉘앙스를 잃지 않으면서도 명확한 구조를 가진 그래프를 생성할 수 있게 되었습니다.
• 추론 기반의 추출: 단순한 패턴 매칭이나 엔티티 중심 추출을 넘어, 인간의 인지 과정 (질문을 통한 이해) 을 모방하여 암시적 관계와 인과 구조를 명시적으로 외부화하는 새로운 패러다임을 제시했습니다.
• 실용성: 생성된 지식 그래프는 단순한 정보 저장을 넘어, 복잡한 다중 홉 추론 (Multi-hop Reasoning) 과 같은 하류 작업에서 높은 실용성을 입증받았습니다.

결론적으로, SocraticKG 은 LLM 기반 지식 그래프 구축에서 QA 를 체계적인 중간 표현으로 활용함으로써, 문서 수준의 시맨틱을 보존하고 구조적 결함을 최소화하는 효과적인 프레임워크를 제시했습니다.