KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge

KGHaluBench: 지식 그래프 기반의 환각 (Hallucination) 벤치마크

1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 은 설득력 있고 이해하기 쉬운 언어를 생성하는 능력이 탁월하지만, 일관성 (Coherence) 이 진실성 (Truthfulness) 을 보장하지는 않습니다. LLM 은 종종 미묘한 '환각 (Hallucination)', 즉 사실과 다른 정보를 생성하는 경향이 있습니다. 기존 벤치마크는 다음과 같은 한계를 가지고 있습니다.

• 정적 (Static) 이고 제한적인 질문: 미리 구성된 고정된 질문을 사용하여 새로운 사실이나 정보에 대한 모델의 성능을 평가하기 어렵습니다.
• 지식의 깊이 (Depth) 와 폭 (Breadth) 평가 부재: 단순한 객관식이나 짧은 질문 위주로 구성되어 있어, LLM 이 지식을 얼마나 폭넓게 (다양한 주제) 그리고 얼마나 깊이 있게 (복합적인 사실 관계) 보유하고 있는지 평가하지 못합니다.
• 인기 편향 (Popularity Bias): 잘 알려진 엔티티에 대한 질문이 많아, 모델의 실제 지식 범위를 왜곡할 수 있습니다.
• 해석 가능한 지표 부재: 단순한 정확도 (Accuracy) 나 환율 (Hallucination Rate) 만으로는 환각이 발생한 원인이 '지식의 부재'인지 '사실의 왜곡'인지 구분하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 KGHaluBench를 제안하여 지식 그래프 (Knowledge Graph, KG) 를 활용하여 LLM 의 지식 폭과 깊이를 동적으로 평가하는 프레임워크를 구축했습니다.

A. 질문 생성 모듈 (Question Generation Module)

• 동적 엔티티 추출: Wikidata 와 같은 KG 에서 무작위로 엔티티 (예: 덴절 워싱턴) 를 추출합니다. 엔티티의 인기도 (Page Views, Site Links 등) 와 유형 (Human, Business 등) 을 고려하여 샘플링 편향을 줄이고 균형을 맞춥니다.
• 복합 질문 생성: 추출된 엔티티를 중심으로, 해당 엔티티의 3 가지 무작위 관계 (Relations) 를 포함하는 **개방형 복합 질문 (Open-ended Compound Question)**을 생성합니다. 이는 모델이 단일 답변이 아닌 여러 사실 요소를 통합하여 답변하도록 요구합니다.
• 난이도 추정 (Difficulty Estimation): 질문의 난이도를 통계적으로 추정합니다. 엔티티의 인기도와 관계의 복잡도를 결합하여 시그모이드 함수를 적용한 난이도 점수 ($Q_d$) 를 산출합니다. 이를 통해 인기 편향을 보정하고 공정한 평가를 가능하게 합니다.

B. 응답 검증 모듈 (Response Verification Module)
LLM 의 장문 응답을 검증하기 위해 2 단계 필터링 파이프라인을 사용합니다.

1. 엔티티 수준 필터 (Entity-Level Filter):
   • 거부 (Abstention) 감지: 모델이 답변을 회피하거나 불확실성을 표출하는지 확인합니다.
   • 의미 정렬 확인: LLM 응답과 엔티티의 위키백과 설명을 비교하여 (시맨틱 유사도 + 토큰 교집합), 응답이 해당 엔티티에 대한 기본 이해를 바탕으로 작성되었는지 확인합니다. 정렬되지 않은 응답은 '엔티티 수준 환각'으로 분류됩니다.
2. 사실 수준 검증 (Fact-Level Check):
   • 질문의 3 가지 관계에 대한 사실이 응답에 정확히 포함되었는지 확인합니다.
   • 3 단계 파이프라인:
     1. NLI 엔타일먼트 필터: RoBERTa-Large-MNLI 를 사용하여 빠른 1 차 검증 (함축, 모순, 중립).
     2. LLM 엔타일먼트 필터: Llama3.1:8B 등을 활용하여 미세한 뉘앙스나 표현 차이를 검증.
     3. 전문가 결정 필터 (Expert Decision Filter): 앞선 두 단계에서 결정이 모호할 경우 최종 판단을 내리는 안전장치.

C. 새로운 평가 지표 (Novel Metrics)

• 가중 정확도 (Weighted Accuracy, $W_a$): 표준 정확도에 질문 난이도 ($Q_d$) 를 반영하여 보정한 지표. 난이도가 높은 질문에 대한 성공을 더 가중치 있게 평가합니다.
• 지식 폭 환각률 (HaluBOK): 엔티티 수준 필터에서 감지된 환각 비율. 모델이 해당 주제를 아예 모르고 엉뚱한 내용을 말하는지 (지식의 폭 부족) 를 나타냅니다.
• 지식 깊이 환각률 (HaluDOK): 사실 수준 검증에서 감지된 오류 비율. 기본 개념은 알지만 세부 사실 (Depth) 을 잘못 기억하는지 (지식의 깊이 부족) 를 나타냅니다.

3. 주요 기여 (Key Contributions)

1. 동적 질문 생성: KG 의 관계 구조를 활용하여 무작위 엔티티 기반의 복합 질문을 동적으로 생성하는 접근법 제안.
2. 자동화된 검증 프레임워크: 엔티티 수준 (79.19% 인간 일치율) 과 사실 수준 (87.74% 인간 일치율) 의 2 단계 필터를 구축하여 LLM 응답의 사실성을 정밀하게 검증.
3. 난이도 기반 통계적 보정: 질문 난이도를 통계적으로 추정하여 정확도를 스케일링하는 새로운 지표 ($W_a$) 개발.
4. 광범위한 실험: 25 개의 최신 LLM (오픈소스 및 독점 모델 포함) 을 평가하여 모델 크기에 따른 환각 요인 (지식 폭 vs 깊이) 을 분석.

4. 실험 결과 (Results)

• 모델 성능: GPT-5 가 가장 높은 가중 정확도 ($W_a$ 65.60%) 를 기록했습니다. 독점 모델이 오픈소스 모델보다 전반적으로 사실성이 높았으나, GLM-4.5 와 같은 일부 오픈소스 모델이 강력한 독점 모델을 능가하는 성과를 보이며 격차가 좁혀지고 있음을 시사했습니다.
• 환각 패턴 분석:
  • HaluBOK (지식 폭): 모델 크기가 커질수록 급격히 감소 (54.75% $\to$ 11.91%). 이는 대형 모델이 엔티티를 인식하고 기본 지식을 갖추는 능력이 향상되었음을 의미합니다.
  • HaluDOK (지식 깊이): 모델이 커져도 감소폭이 상대적으로 작습니다. 대형 모델은 '무엇을 말할지'는 알지만 '정확한 세부 사항'을 기억하는 데 여전히 어려움을 겪음을 보여줍니다.
  • 단일 환각의 위험: 고도화된 모델조차 응답의 약 40% 에서 단 하나의 사실 오류를 포함하는 경우가 많아, 유창하고 사실처럼 보이는 답변에도 신뢰할 수 없는 요소가 숨어있을 수 있음을 지적했습니다.
• 거부 (Abstention) 의 역할: 적절한 거부는 환각률을 낮추지만, 과도한 거부는 모델의 유용성을 떨어뜨립니다. 모델은 "모른다"고 말하는 대신 사용자가 신뢰할 수 있는 정보를 찾을 수 있도록 안내하는 '건설적 거부'가 필요함을 강조했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능한 진단: KGHaluBench 는 단순히 "모델이 틀렸다"는 것을 넘어, 환각이 **지식의 부재 (Breadth)**에서 비롯되었는지 **세부 사실의 왜곡 (Depth)**에서 비롯되었는지를 구분하여 모델의 약점을 구체적으로 진단합니다.
• 공정한 평가: 동적 질문 생성과 난이도 보정을 통해 기존 벤치마크의 정적 편향과 인기 편향을 해소하고, LLM 의 진화하는 지식 능력을 지속적으로 평가할 수 있는 플랫폼을 제공합니다.
• 향후 방향: 환각 완화 (Mitigation) 전략 개발을 위한 기초 자료로 활용될 수 있으며, 특정 도메인 지식 그래프 확장 및 자동 검증 시스템의 정확도 향상이 향후 과제로 제시되었습니다.

이 벤치마크는 LLM 의 신뢰성을 높이고, 환각을 줄이기 위한 연구 및 개발에 있어 중요한 기준점 (Benchmark) 으로 자리 잡을 것으로 기대됩니다.