MUCH: A Multilingual Claim Hallucination Benchmark

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 성능이 비약적으로 향상되었으나, 사실과 다른 내용을 그럴듯하게 생성하는 '할루시네이션 (Hallucination)' 문제가 여전히 해결되지 않은 과제로 남아 있습니다. 이를 완화하기 위해 불확실성 정량화 (Uncertainty Quantification, UQ) 기술이 개발되고 있으나, 기존 벤치마크와 평가 방법에는 다음과 같은 중대한 한계가 존재합니다.

• 세부 단위 부재: 기존 UQ 벤치마크는 전체 응답에 대한 단일 불확실성 점수를 제공하여, 긴 생성 텍스트 내의 소수 잘못된 부분만으로도 전체 응답이 폐기될 수 있는 문제를 야기합니다.
• 화이트박스 (White-box) 접근의 한계: 기존 데이터셋은 토큰별 로짓 (logits) 을 공개하지 않아, 로짓을 기반으로 한 정밀한 화이트박스 UQ 방법론의 개발과 평가가 어렵습니다.
• 비현실적인 분할 (Segmentation) 방식: 기존 Claim(주장) 단위 분할은 인간 또는 LLM 에 의존하여 수행되는데, 이는 비결정적 (non-deterministic), 계산 비용이 과다하며, 실시간 모니터링에 부적합합니다. 또한 분할된 Claim 을 원본 토큰에 매핑하는 과정에서 오류가 발생할 수 있습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 MUCH (Multilingual Claim Hallucination Benchmark) 를 제안했습니다. MUCH 는 4 개 유럽 언어 (영어, 프랑스어, 스페인어, 독일어) 와 4 개의 인스트럭션 튜닝 오픈 가중치 모델 (Llama 3.1/3.2, Ministral, Gemma 3) 을 기반으로 구축되었습니다.

핵심 구성 요소

1. 데이터셋 구성:

   • Mu-SHROOM 데이터셋의 사실적 질문을 기반으로 4,873 개의 질문 - 응답 쌍을 생성했습니다.
   • 각 생성된 토큰당 24 개의 로짓 (logits) 을 포함하여 화이트박스 방법론의 재현 가능한 평가를 지원합니다.
   • 총 20,751 개의 Claim 에 대한 사실성 (Factuality) 라벨 (-1: 거짓, +1: 참) 을 제공합니다.

2. 새로운 분할 알고리즘 (much_segmenter):

   • 기존 LLM 기반 분할의 단점을 해결하기 위해 결정론적 (deterministic) 이고 매우 빠른 규칙 기반 분할 알고리즘을 개발했습니다.
   • 정지어 (stopwords) 와 구두점을 활용하여 Claim 을 분할하며, LLM 생성 토큰과 직접 매핑됩니다.
   • 성능: 전체 데이터셋 분할에 LLM 생성 시간의 0.2% 만 소요되어 실시간 모니터링에 적합합니다.

3. 자동화 품질 검증 및 필터링:

   • GPT-4o 와 GPT-4.1 을 사용하여 각 Claim 의 사실성을 자동으로 라벨링했습니다.
   • 두 모델의 라벨이 일치하는 샘플만 최종 데이터셋에 포함시켜 (Silver-standard) 노이즈를 제거했습니다.
   • 인간 어노테이터를 통한 검증 결과, 필터링 후 인간 간 일치도 (Cohen's kappa) 가 0.922 로 높아져 자동 라벨링의 신뢰성을 입증했습니다.

3. 주요 기여 (Key Contributions)

• MUCH 벤치마크 공개: 4 개 언어, 4 개 모델, 4,873 개 샘플로 구성된 최초의 Claim 단위 UQ 벤치마크를 오픈소스화했습니다.
• 로짓 (Logits) 공개: 24 개 토큰 로짓을 포함하여, 데이터 재생성 없이 화이트박스 UQ 방법론을 개발하고 평가할 수 있는 기반을 마련했습니다.
• much_segmenter 개발: LLM 생성 시간의 0.2% 만 소요되는 빠르고 재현 가능한 Claim 분할 도구를 공개했습니다. 이는 실시간 UQ 시스템 구축에 필수적입니다.
• 기존 방법론의 벤치마킹: 현재 최첨단 Claim 단위 UQ 방법론 (CCP, SAR 등) 을 MUCH 에서 평가하고, 성능과 효율성 측면에서의 개선 방향을 제시했습니다.

4. 실험 결과 (Results)

저자들은 MUCH 를 통해 기존 5 가지 베이스라인 (CCP, SAR, Token Likelihood, Token Entropy, Max Likelihood) 을 평가했습니다.

• 성능: 가장 성능이 좋은 방법인 CCP가 ROC-AUC 0.772 를 기록했으나, 여전히 개선의 여지가 큽니다.
  • 특히 저 False Positive Rate (FPR) 영역 (실제 배포 환경에서 중요) 에서의 성능은 낮았습니다 (FPR@10% 일 때 TPR 48%).
  • 영어 외 다른 언어 (특히 스페인어) 에서 성능이 크게 저하되는 경향을 보였습니다.
• 효율성 (Efficiency):
  • CCP는 LLM 생성 시간의 124% 에 달하는 추가 오버헤드를 발생시켜 실시간 적용에 부적합합니다.
  • 반면, Token Likelihood나 Token Entropy 같은 간단한 방법은 생성 시간의 0.5% 만 추가하여 매우 효율적이지만, 성능은 다소 낮았습니다.
• 분할의 중요성: 기존 방법론들이 포함하지 않던 분할 (Segmentation) 오버헤드를 포함하여 평가한 결과, MUCH 의 much_segmenter 는 기존 LLM 기반 분할에 비해 계산 비용을 획기적으로 줄였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 할루시네이션 검출 및 불확실성 정량화 연구에 다음과 같은 중요한 기여를 합니다.

1. 현실적인 평가 기준 제시: 단순한 응답 단위가 아닌 Claim 단위 평가를 통해 더 정교한 신뢰도 측정을 가능하게 했습니다.
2. 실시간 적용 가능성: much_segmenter 와 같은 효율적인 도구를 통해 UQ 가 LLM 생성에 거의 영향을 주지 않는 실시간 모니터링 시스템 구축의 길을 열었습니다.
3. 재현성 확보: 로짓 데이터와 결정론적 분할 알고리즘을 공개함으로써, 향후 연구자들이 동일한 조건에서 공정한 비교와 방법론 개발을 할 수 있게 했습니다.
4. 향후 방향성: 현재 방법론들은 성능과 효율성 모두에서 개선이 필요하며, 특히 다국어 지원과 저 FPR/고 정밀도 영역에서의 성능 향상이 시급함을 강조했습니다.

결론적으로, MUCH 는 LLM 의 신뢰성을 높이기 위한 차세대 UQ 방법론 개발을 위한 필수적인 인프라를 제공하며, 특히 산업 현장에서의 실시간 적용을 고려한 설계가 돋보이는 연구입니다.