1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 정보 검색 및 요약에 널리 사용되지만, 사실적 오류 (Hallucination) 를 포함할 수 있습니다. 특히 건강, 법률, 금융 등 중요한 분야에서 이러한 오류는 치명적일 수 있습니다.

• 기존 평가의 한계: 대부분의 사실성 평가 벤치마크 (MMLU, TruthfulQA 등) 는 단답형 (Short-form QA) 질문과 답변에 초점을 맞추고 있습니다. 그러나 실제 사용자 요청은 종종 포괄적이고 일관된 긴 형식 (Long-form) 의 응답을 요구합니다.
• 장문 생성의 사실성 불명확성: 단답형 사실성과 장문 생성의 사실성 간의 상관관계는 명확하지 않습니다.
• 인기 편향 (Popularity Bias): LLM 의 사실적 지식은 엔티티의 인기 (Popularity) 와 강하게 상관관계가 있습니다. 기존 데이터셋은 인기 있는 엔티티에 편향되어 있거나, 인기가 낮은 '롱테일 (Long-tail)' 엔티티에 대한 체계적인 평가가 부족합니다.
• 다국어 평가의 부재: 영어 외의 언어 (특히 중국어 등) 에 대한 장문 사실성 평가는 신뢰할 수 있는 증거 자료 부족과 평가 도구의 한계로 인해 어렵습니다.

2. 방법론 (Methodology)

저자들은 엔티티의 인기 분포를 제어할 수 있는 구성 가능한 다국어 데이터 생성 파이프라인을 제안했습니다.

• 데이터 생성 파이프라인:

  1. 클래스 정의: Wikidata 를 통해 관심 있는 엔티티 클래스 (예: 강, 자연재해, 자동차 모델) 를 SPARQL 쿼리로 정의합니다.
  2. 속성 수집: Wikidata 와 Wikipedia 에서 엔티티의 위치, 이름, 페이지 뷰 (Pageviews), 링크 수 등 다양한 인기 지표를 수집합니다.
  3. 샘플링: 수집된 데이터를 바탕으로 엔티티를 'Head(인기)', 'Torso(중간)', 'Tail(인기 없음)' 세 단계로 분류하고, 원하는 분포 (예: 100:200:700) 에 따라 샘플링합니다.
  4. 증거 수집: 사실 검증을 위해 해당 엔티티의 Wikipedia 페이지, 검색 결과, 그리고 관련 링크 페이지를 수집하여 데이터셋을 구성합니다.
  5. 필터링: 평가의 신뢰성을 위해 Wikipedia 스탭 (Stub, 짧은 미완성 문서) 이나 내용이 너무 짧은 페이지는 제외합니다.

• RIDIC 데이터셋:

  • 제안된 파이프라인을 적용하여 생성된 데이터셋으로, **강 (Rivers), 자연재해 (Disasters), 자동차 모델 (Cars)**의 3 가지 도메인에서 각각 1,000 개씩 총 3,000 개의 엔티티를 포함합니다.
  • 각 엔티티는 영어와 중국어 Wikipedia 콘텐츠, 위치 정보, 그리고 다양한 인기 티어 (Head, Torso, Tail) 를 가집니다.

• 실험 설정:

  • 모델: Llama-3.1-8B, Qwen2.5-7B, GPT-5(OpenAI) 의 3 개 모델을 영어와 중국어로 테스트했습니다.
  • 평가 방법: FActScore 를 기반으로 수정된 자동 평가 파이프라인을 사용했습니다.
    1. 원자적 사실 추출 (Atomic Fact Extraction): LLM 이 생성한 장문에서 검증 가능한 사실 단위로 분해합니다.
    2. 증거 검색 및 순위 매기기: 수집된 Wikipedia 데이터 (단일 페이지, 검색 결과, 링크된 페이지) 를 기반으로 증거를 찾습니다.
    3. 사실 검증: 추출된 각 사실이 증거에 의해 지지되는지 여부를 판단하여 사실성 점수 (Factuality Score) 를 산출합니다.

3. 주요 기여 (Key Contributions)

1. 제어된 인기 분포를 가진 다국어 데이터 생성 파이프라인: 도메인, 지리적 위치, 인기 수준을 체계적으로 조절하여 장문 사실성 평가를 위한 데이터를 생성할 수 있는 유연한 프레임워크를 제시했습니다.
2. RIDIC 데이터셋 공개: 3 개 도메인, 2 개 언어 (영어, 중국어), 3 개 인기 티어로 구성된 3,000 개 엔티티 데이터셋을 공개하여 장문 사실성 평가의 표준을 마련했습니다.
3. 다국어 장문 사실성에 대한 통찰: 엔티티의 인기, 위치, 도메인이 다국어 LLM 의 사실적 정확도에 미치는 상관관계를 심층적으로 분석했습니다.

4. 실험 결과 (Results)

• 인기 (Popularity) 와 사실성의 상관관계:
  • 모든 모델에서 인기 있는 엔티티 (Head) 에 비해 인기 없는 엔티티 (Tail) 에서 사실성 점수가 급격히 하락했습니다.
  • 예: Llama 모델은 영어 강 (Rivers) 데이터에서 Head(0.58) 에서 Tail(0.25) 로 약 2 배의 사실성 저하를 보였습니다. GPT-5 는 상대적으로 강건했으나 여전히 인기 없는 엔티티에서 성능이 떨어졌습니다.
• 언어별 차이 (영어 vs 중국어):
  • 중국어 생성물의 사실성이 영어보다 현저히 낮았습니다. (영어 총점: 0.310.67 vs 중국어: 0.210.42).
  • 이는 중국어 LLM 의 사전 학습 데이터 부족, 중국어 Wikipedia 의 증거 자료 부재, 그리고 중국어에서의 증거 검색/순위 매기기의 낮은 정확도 때문입니다.
  • 특히 중국어에서는 추가적인 검색 결과가 오히려 관련 없는 텍스트를 가져와 평가 정확도를 떨어뜨리는 경우가 있었습니다.
• 도메인별 차이:
  • 자연재해와 자동차 모델이 **강 (Rivers)**보다 높은 사실성 점수를 받았습니다. 이는 도메인별 지식의 밀도와 LLM 의 학습 편향에 기인합니다.
• 지리적 편향:
  • 대륙 단위에서는 명확한 편향이 뚜렷하지 않았으나, 국가 단위나 특정 지역 (예: 아프리카의 데이터 부족) 에 따라 편향이 발생할 수 있음을 시사했습니다.
• 모델 크기 영향:
  • GPT-5 가 가장 높은 사실성을 보였으며, Llama 와 Qwen 은 유사한 크기의 모델로서 비슷한 수준의 사실성 오류를 보였습니다. 이는 모델 크기가 사실적 지식 기억 능력에 중요한 요소임을 의미합니다.
• 어휘 다양성:
  • 인기 없는 엔티티에 대한 생성물은 어휘 다양성 (Lexical Diversity) 이 낮았으며, 이는 모델이 롱테일 엔티티에 대해 단순하고 반복적인 내용을 생성할 가능성이 높음을 보여줍니다.

5. 의의 및 결론 (Significance)

• 롱테일 엔티티 평가의 중요성 강조: LLM 이 인기 있는 주제뿐만 아니라 드문 주제에서도 사실적으로 응답할 수 있어야 함을 입증했습니다.
• 다국어 평가의 어려움과 필요성: 영어 외의 언어, 특히 증거 자료가 부족한 언어 환경에서 장문 사실성 평가의 신뢰성을 높이기 위한 새로운 방법론과 데이터의 필요성을 제기했습니다.
• 향후 연구 방향: RIDIC 데이터셋과 도구는 LLM 의 신뢰성 있는 생성을 위한 자동 사실성 평가 기술 발전에 기여할 것입니다. 향후 연구에서는 더 다양한 도메인과 언어로 확장하고, 모호성 해결 및 최신 지식 소스 통합을 통해 파이프라인을 개선해야 합니다.

이 논문은 LLM 의 장문 생성 능력, 특히 인기 없는 주제와 비영어권 환경에서의 사실성을 체계적으로 평가할 수 있는 새로운 기준을 제시했다는 점에서 의의가 큽니다.