A Benchmark for Gap and Overlap Analysis as a Test of KG Task Readiness

이 논문은 보험 계약과 같은 정책 문서의 간극과 중복 분석을 평가하기 위해 자연어 텍스트, 도메인 온톨로지, 그리고 증거 기반의 58 가지 시나리오로 구성된 실행 가능한 벤치마크를 제시하며, 이를 통해 온톨로지 기반 파이프라인이 텍스트만 사용하는 LLM 보다 일관성과 진단 능력에서 우수함을 입증합니다.

핵심

🏗️ 1. 이 연구의 배경: "규칙의 차이"를 찾아내는 게임

상상해 보세요. 여러분이 10 개의 서로 다른 생명보험 계약서를 가지고 있습니다.

• A 계약서: "자살 시 2 년 이내에는 보상이 안 됩니다."
• B 계약서: "자살 시 1 년 이내에는 보상이 안 됩니다."
• C 계약서: "술에 취한 사고는 보상해 드립니다."
• D 계약서: "술에 취한 사고는 보상하지 않습니다."

이제 질문이 하나 나옵니다. "술에 취한 상태에서 자살하면 (13 개월 후), 어떤 보험이 돈을 주고 어떤 보험은 안 줍니까?"

이때 **중복 (Overlap)**은 "돈을 주는 보험들"이고, **공백 (Gap)**은 "돈을 안 주는 보험들"입니다.
이 논문은 컴퓨터가 이 복잡한 규칙들을 정확히 구분하고, **"왜 그 보험은 돈을 안 주나요?"**라고 물었을 때 **계약서 원문 (증거)**을 딱 집어내어 보여줄 수 있는지 테스트하는 실험을 했습니다.

🧩 2. 실험 도구: "레고 블록"과 "매뉴얼"

연구진은 이 테스트를 위해 세 가지 핵심 도구를 만들었습니다.

1. 10 개의 보험 계약서 (데이터): 실제처럼 보이지만, 연구 목적으로 깔끔하게 정리된 10 가지 보험 계약서입니다. (복잡한 것부터 간단한 것까지 다양합니다.)
2. 규칙의 사전 (온톨로지, TBox): 계약서 속의 복잡한 용어들 (예: '자살 배제 조항', '유예 기간') 을 컴퓨터가 이해할 수 있는 레고 블록처럼 정의한 규칙집입니다.
3. 실제 사례와 정답지 (시나리오 및 ABox): "13 개월 후 자살했다" 같은 구체적인 상황 58 가지를 만들고, 각 보험이 이에 대해 어떻게 반응해야 하는지 **정답 (증거 포함)**을 미리 적어둔 것입니다.

이 세 가지를 합치면, 컴퓨터가 **"이 레고 블록 (규칙) 으로 이 상황 (시나리오) 을 분석했을 때, 정답과 일치하는가?"**를 검증할 수 있게 됩니다.

🤖 3. 두 명의 경쟁자: "천재 AI" vs "철저한 계산기"

연구진은 이 테스트를 두 가지 방식으로 진행했습니다.

A. 텍스트 전용 AI (LLM) - "직관적인 천재"

• 방식: 계약서 텍스트를 그냥 읽어서 "아, 이거는 보상해주겠네"라고 직관적으로 판단합니다.
• 결과: 간단한 문제는 잘 풀었습니다. 하지만 복잡한 상황에서는 실수가 많았습니다.
  • 실수 예시: 계약서에 "술에 취한 사고"에 대한 배제 조항이 없으면, AI 는 "아, 배제 조항이 없으니까 보상 안 해주는 거겠지"라고 오해했습니다. 하지만 실제 규칙은 "배제 조항이 없으면 보상해준다"는 것입니다.
  • 문제점: AI 는 문맥을 잘 읽지만, 규칙의 엄격한 논리를 놓치거나, 근거가 되는 문장을 엉뚱하게 가져오는 경우가 많았습니다.

B. 지식 그래프 기반 시스템 - "철저한 계산기"

• 방식: 먼저 계약서를 미리 정의된 '레고 블록 (규칙)'으로 변환해 놓습니다. 그리고 질문이 들어오면, 그 블록들을 딱딱 맞춰서 **SPARQL(검색 언어)**로 정답을 찾아냅니다.
• 결과: 완벽한 일관성을 보였습니다.
  • "왜 보상 안 해줘요?"라고 물으면, **"계약서 7 조 1 항에 이렇게 써있어서요"**라고 정확한 근거를 보여줍니다.
  • 규칙이 명확하게 정의되어 있기 때문에, 같은 질문을 10 번 해도 같은 답이 나옵니다.

💡 4. 핵심 교훈: "유창함"보다 "정확한 근거"가 중요하다

이 실험은 우리에게 중요한 메시지를 줍니다.

• **AI(대형 언어 모델)**는 글을 잘 읽고 유창하게 말하지만, 법적/계약적 논리가 필요한 곳에서는 "아마도 이렇게겠지"라고 추측할 뿐, 100% 확실한 근거를 제시하기는 어렵습니다.
• **지식 그래프 (규칙 기반 시스템)**는 처음에 규칙을 정의하는 데 시간이 걸리고 노력이 필요하지만, 한번 만들어지면 실수 없이, 근거를 댈 수 있게 작동합니다.

비유하자면:

• AI는 시험을 볼 때 문맥을 보고 감으로 답을 고르는 학생입니다. 쉬운 문제는 맞지만, 까다로운 논리 문제는 틀릴 수 있습니다.
• 지식 그래프는 교과서와 공식을 정확히 외운 학생입니다. 처음에 공식을 외우는 데 시간이 걸리지만, 문제를 풀 때는 공식대로 정확히 계산해서 답과 그 과정을 보여줍니다.

🚀 5. 결론: 왜 이 연구가 중요한가요?

이 논문은 **"지식 그래프가 실제로 쓸모 있는가?"**를 증명하는 **벤치마크 (시험지)**를 공개했습니다.

• 보험, 법률, 의료처럼 오류가 치명적인 분야에서는 AI 의 추측보다는 규칙과 근거가 명확한 시스템이 더 필요합니다.
• 이 연구는 AI 만 믿지 말고, **구조화된 지식 (규칙)**과 AI를 섞어서 쓰는 것이 미래의 해법임을 시사합니다. (예: AI 가 문서를 읽고 규칙을 만들어주고, 그 규칙으로 정확한 판단을 내리는 방식)

한 줄 요약:

"복잡한 보험 계약서를 분석할 때, AI 는 '감'으로 잘하지만 틀릴 수 있고, 지식 그래프는 '규칙'으로 완벽하게 증명해 줍니다. 우리는 이 두 가지를 잘 섞어서, 정답과 그 근거를 확실하게 보여주는 시스템을 만들어야 합니다."

기술 요약

1. 문제 정의 (Problem)

• 맥락: 지식 그래프 (KG) 의 품질 평가는 단순한 구조적/논리적 정확성을 넘어, 사용자가 실제로 필요로 하는 '역량 질문 (Competency Questions)'을 해결할 수 있는지 (재현 가능, 설명 가능, 증거 기반) 에 초점을 맞추고 있습니다.
• 도전 과제: 보험 계약서와 같은 정책 문서에서 특정 시나리오 (예: 자살 사망 시 보상 여부) 가 어떤 계약에 포함 (Overlap) 되고, 어떤 계약에 배제 (Gap) 되는지 분석하는 작업은 중요합니다.
• 한계: 기존 LLM 기반 접근법은 텍스트만 분석하여 결과를 도출하지만, 복잡한 계약 조항의 구조적 차이 (예: 배제 기간의 차이, 특정 조항의 유무) 를 엄격하게 처리하거나, 결정에 대한 **검증 가능한 증거 (Evidence)**를 제공하기 어렵습니다. 또한, 데이터가 부족해서가 아니라 문서 간의 실질적인 차이로 인한 Gap/Overlap 을 식별하는 것은 KG 가 해당 작업을 수행할 준비가 되었는지 (Task Readiness) 를 테스트하는 핵심 지표입니다.

2. 방법론 (Methodology)

이 논문은 생명보험 도메인을 대상으로 한 실행 가능하고 감사 가능한 (Auditable) 벤치마크를 구축했습니다.

A. 데이터셋 구성 (3 가지 핵심 요소)

1. 계약서 코퍼스 (Contracts):
   • 도메인 전문가가 검증한 10 개의 합성 생명보험 계약서 (단순, 중간, 복잡 3 단계 복잡도).
   • 다양한 제품 유형 (정기, 종신, 변액, 인덱스 등) 과 조항 패턴 (자살 배제 기간, 유예 기간, 대출 조건 등) 을 포함합니다.
2. 온톨로지 (TBox & ABox):
   • TBox (스키마): OWL/Turtle 형식으로 정의된 도메인 온톨로지. Policy, Party, Exclusion, Benefit 등의 클래스와 속성을 포함하며, 값 분할 (Value Partition) 패턴 등을 적용하여 구조를 명확히 합니다.
   • ABox (인스턴스): 각 계약서 (C1-C10) 의 사실을 기반으로 인스턴스화 된 지식 베이스. 모든 인스턴스는 sourceContractID, sourceContractSection, coverageSourceText 속성을 통해 원본 계약 조항과 직접 연결되어 **추적 가능성 (Traceability)**을 보장합니다.
3. 역량 질문 시나리오 (Competency Questions):
   • 58 개의 구조화된 시나리오 (예: "13 개월 후 자살 시 보상 여부").
   • 각 시나리오마다 두 가지 SPARQL 쿼리 (보상 포함 계약 찾기, 보상 거절 계약 찾기) 와 도메인 전문가가 검증한 정답 (Ground Truth), 그리고 조항 수준의 증거 텍스트가 제공됩니다.

B. 평가 프로세스

• 온톨로지 기반 파이프라인: 인스턴스화된 KG 에 대해 SPARQL 쿼리를 실행하여 시나리오별 결과를 도출하고, 원본 텍스트를 증거로 제시합니다.
• 텍스트 전용 LLM 파이프라인: ChatGPT-5.3, Gemini-3, Claude Sonnet-4.6 등 최신 LLM 을 사용하여 동일한 시나리오를 계약서 텍스트만으로 분석하게 한 후, 온톨로지 기반 정답과 비교합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 데이터셋 공개: 도메인 전문가가 검증한 10 개의 생명보험 계약서, 검증된 온톨로지 (TBox/ABox), 58 개의 구조화된 시나리오 및 SPARQL 기반 정답을 포함하는 포괄적인 리소스를 제공합니다.
2. 증거 기반 Gap/Overlap 분석 프레임워크: 자연어 계약서와 형식적 온톨로지를 정렬하여, 특정 시나리오에 대한 각 계약의 처리 결과 (Covered/Denied/Not_Applicable) 를 체계적으로 비교하고, 그 근거를 조항 수준에서 추적할 수 있게 합니다.
3. 구조적 모델링의 가치 입증: LLM 과 온톨로지 기반 시스템의 성능을 비교함으로써, 복잡한 구조적 제약과 엄격한 논리적 처리가 필요한 도메인에서 명시적 모델링 (Explicit Modeling) 이 일관성과 설명 가능성을 어떻게 향상시키는지 실증합니다.
4. 재사용 가능한 템플릿: 생명보험 도메인을 넘어, 의료나 금융 규제 등 다른 정책 문서 도메인의 KG 품질 평가 및 온톨로지 학습, 증거 기반 질문 응답 (QA) 을 위한 표준 템플릿을 제시합니다.

4. 결과 (Results)

• 성능 비교:
  • Claude Sonnet-4.6이 가장 높은 정확도 (87.76%) 를 보였으나, **ChatGPT (72.93%)**와 **Gemini (65.17%)**는 상대적으로 낮았습니다.
  • 일관성 문제: 복잡한 시나리오 (예: 공동 생존자 정책, 대출 조건 등) 에서 모델 간 합의율이 낮아졌으며 (48.8% 만 일치), 특히 복잡한 계약일수록 오류가 증가했습니다.
• 오류 유형 분석:
  • 가장 흔한 오류는 NOT_APPLICABLE (해당 조항 없음) 을 DENIED (거절) 로 잘못 분류하는 것이었습니다.
  • 원인: LLM 은 특정 조항이 명시적으로 언급되지 않으면 "보상 불가"로 해석하는 경향이 있는 반면, 벤치마크의 논리는 "해당 조항이 없으므로 표준 보상 (Covered) 이 적용됨" 또는 "해당 시나리오에 적용되지 않음 (Not_Applicable)"으로 구분합니다. 이는 LLM 이 계약의 구조적 범위를 엄격하게 처리하지 못함을 보여줍니다.
  • 증거의 질: LLM 은 종종 일반적 설명을 근거로 제시하거나, 시나리오와 무관한 조항을 인용하는 등 증거 기반 (Evidence-grounded) 이 아닌 추론을 수행했습니다.
• 온톨로지 기반 접근의 우위: SPARQL 기반 파이프라인은 모든 계약에 대해 동일한 논리를 적용하여 **결정론적 (Deterministic)**이고 완전히 추적 가능한 결과를 제공했습니다.

5. 의의 및 결론 (Significance)

• KG 작업 준비도 (Task Readiness) 의 새로운 기준: KG 의 품질을 단순히 사실의 누락이나 쿼리 표현력으로 평가하는 것을 넘어, "사용자가 원하는 역량을 증거와 함께 일관되게 해결할 수 있는가"를 평가하는 실질적인 테스트베드를 제공합니다.
• 신경망 (Neural) 과 심볼릭 (Symbolic) 방법의 통합 필요성: LLM 은 언어 이해력이 뛰어나지만 구조적 엄밀성과 증거 추적에는 한계가 있음을 보여주었습니다. 반면, 온톨로지는 논리적 엄밀성을 보장하지만 구축 비용이 높습니다. 이 벤치마크는 LLM 이 구조화된 특징을 추출하거나 자연어를 SPARQL 로 변환하는 하이브리드 신경 - 심볼릭 (Neuro-symbolic) 파이프라인 개발을 위한 기준점 (Ground Truth) 으로 활용될 수 있음을 시사합니다.
• 법적/규제 도메인 적용: 계약서 분석, 규제 준수 확인 등 정확성과 설명 가능성이 생명과 직결되는 분야에서 KG 기반 시스템의 신뢰성을 검증하는 데 필수적인 도구로 자리 잡을 것으로 기대됩니다.

요약하자면, 이 논문은 자연어 계약서와 형식적 온톨로지를 정렬한 벤치마크를 통해, 복잡한 정책 분석 작업에서 구조적 모델링이 LLM 의 추론 한계를 보완하고 검증 가능한 결과를 도출하는 데 필수적임을 입증했습니다.