Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

기술 요약: 언어 모델을 위한 불확실성 정량화(Uncertainty Quantification)

문제 정의
대규모 언어 모델(LLM)은 의료 및 금융과 같이 사실적 정확성이 매우 중요한 고위험 영역에 점점 더 많이 배치되고 있습니다. 이러한 애플리케이션의 주요 위험은 "환각(hallucination)"이며, 이는 그럴듯하게 들리지만 사실과는 다른 내용을 생성하는 것으로 정의됩니다. 생성된 텍스트를 정답(ground truth)과 비교하는 사전 배포 평가가 흔히 수행되지만, 이는 배포된 시스템의 실시간 모니터링을 지원하지 못합니다. 또한, 기존의 많은 탐지 방법들은 소스 콘텐츠나 정답 데이터베이스에 대한 접근 권한을 필요로 하는데, 이는 "폐쇄형(closed-book)" 환경에서는 불가능합니다. 본 논문은 참조 답변이나 외부 데이터베이스 없이도 생성 시점에 응답 수준의 신뢰도 점수를 계산하여 환각을 탐지할 수 있는 다재다능한 폐쇄형 프레임워크의 필요성을 다룹니다.

방법론
저자들은 기존의 불확실성 정량화(UQ) 기술을 0에서 1 사이의 표준화된 신뢰도 점수(1은 높은 신뢰도를 의미)로 변환하는 통합 프레임워크를 제안합니다. 이 프레임워크는 평가 도구(scorers)를 세 가지 유형으로 분류하고 조정 가능한 앙상블 접근 방식을 도입합니다:

1. 블랙박스 UQ 평가 도구(Black-Box UQ Scorers): 이 방법들은 동일한 프롬프트로부터 여러 개의 후보 응답($m$)을 생성하고 이를 원래의 응답과 비교함으로써 LLM의 확률적 특성을 활용합니다. 본 논문은 다음과 같은 여러 접근 방식을 구현하고 정규화합니다:

   • 일치율(Exact Match Rate, EMR): 원래 응답과 동일한 후보 응한의 비율을 측정합니다.
   • 비모순 확률(Non-Contradiction Probability, NCP): 자연어 추론(NLI) 모델을 사용하여 후보들이 원래 응답과 모순되지 않을 확률을 계산합니다.
   • BERTScore (BSC): 문맥화된 단어 임베딩을 기반으로 원래 응답과 후보 응답 간의 평균 F1 점수를 계산합니다.
   • 정규화된 코사인 유사도(Normalized Cosine Similarity, NCS): 문장 트랜스포머를 사용하여 의미적 유사성을 측정하고 [0, 1] 범위로 정규화합니다.
   • 정규화된 의미적 엔트로피(Normalized Semantic Negentropy, NSN): 상호 함의(mutual entailment)를 기준으로 응답을 클러스터링하여 응답의 변동성을 측정하는 시맨틱 엔트로피의 정규화된 버전입니다.

2. 화이트박스 UQ 평가 도구(White-Box UQ Scorers): LLM의 생성 과정에서 발생하는 내부 토큰 확률을 활용합니다:

   • 길이 정규화 토큰 확률(Length-Normalized Token Probability, LNTP): 토큰 확률의 기하 평균을 구하고 응답 길이에 맞춰 정규화합니다.
   • 최소 토큰 확률(Minimum Token Probability, MTP): 생성된 응답 내의 모든 토큰 중 가장 낮은 확률을 측정합니다.

3. LLM-as-a-Judge 평가 도구: 별도의 LLM이 질문-응답 쌍의 사실적 정확성을 평가하도록 프롬프트를 구성하며, 0~100 척도로 출력된 점수를 [0, 1] 범위로 정규화합니다.

4. 조정 가능한 앙상블 접근 방식(Tunable Ensemble Approach): 핵심 기여는 위에서 설명한 개별 평가 도구들의 가중 평균입니다. 가중치($w$)는 사용자가 제공한 등급이 매겨진 LLM 응답 세트(정답 라벨이 알려진 경우)와 분류 목적 함수(예: AUROC 또는 F1-score)를 사용하여 최적화됩니다. 이를 통해 앙상블을 특정 유즈케이스, LLM 및 데이터셋에 맞게 커스터마이징할 수 있습니다.

주요 기여

• 표준화된 프레임워크: 다양한 UQ 기술을 실시간 폐쇄형 환각 탐지에 적합한 일관된 응답 수준 신뢰도 지표로 변환하는 방법을 제시합니다.
• 오픈 소스 툴킷: 저자들은 제안된 모든 평가 도구와 앙상블 튜닝 메커니즘을 즉시 사용할 수 있는 파이썬 패키지인 uqlm을 공개합니다.
• 확장성: 앙상블 설계는 모듈식으로 되어 있어, 연구가 진전됨에 따라 새로운 평가 방법을 통합할 수 있습니다.
• 경험적 통찰: 연구는 추가적인 후보 응답 샘플링의 한계 효용(diminishing returns), 모델의 생성 정확도와 판사(judge)로서의 효과성 사이의 상관관계 등 데이터 기반의 선택 가이드를 제공합니다.

실험 결과
저자들은 네 가지 LLM(GPT-4o, GPT-4o-mini, Gemini-2.5-Flash, Gemini-2.5-Flash-Lite)을 사용하여 여섯 가지 벤치마크(GSM8K, SVAMP, CSQA, AI2-ARC, PopQA, NQ-Open)에 대해 프레임워크를 평가했습니다.

• 앙상블 성능: 조정 가능한 앙상블은 24개의 LLM-데이터셋 시나리오 중 20개에서 AUROC 기준, 24개 중 17개에서 F1-score 기준으로 개별 구성 요소보다 일관되게 우수한 성능을 보였습니다.
• 평가 도구의 가변성: 개별 평가 도구의 성능은 데이터셋에 따라 크게 달랐습니다. NLI 기반 블랙박스 평가 도구(NSN 및 NCP)가 일반적으로 다른 블랙박스 방식보다 우수한 성능을 보였습니다.
• 판사(Judge) 선택: 특정 데이터셋에 대한 모델의 정확도는 해당 데이터셋에 대한 판사로서의 성능과 양의 상관관계를 보였습니다. 예를 들어, Gemini-2.5-Flash는 수학 벤치마크에서 뛰어난 판사 역할을 수행한 반면, GPT-4o는 단답형 벤치마크에서 가장 좋은 성능을 보였습니다.
• 화이트박스 vs 블랙박스: 화이트박스 평가 도구(LNTP, MTP)는 서로 거의 대등한 성능을 보였으나, 특히 토큰 확률이 불확실성의 주요 신호가 아닌 경우 많은 시나리오에서 최상의 블랙박스 또는 앙상블 방식에 비해 성능이 떨어졌습니다.
• 필터링 효능: 신뢰도가 낮은 응답을 필터링하기 위해 신뢰도 임계값을 적용했을 때 모델의 정확도가 단조 증가했습니다. 예를 들어, GSM8K에서 앙상블 평가 도구를 사용하여 GPT-4o의 응답을 필터링하면 임계값 0.6에서 정확도가 기본 0.55에서 0.93으로 상승했습니다.

의의 및 주장
본 논문은 조정 가능한 앙상블을 통한 커스텀 환각 탐지 전략이 프로덕션 환경에서 LLM의 신뢰성을 향상시키는 데 실질적이고 효과적인 솔루션을 제공한다고 주장합니다. 저자들은 "원 사이즈 핏 올(one-size-fits-all)" 솔션은 없다는 점을 강조하며, 최적의 접근 방식은 특정 LLM, 데이터셋 및 운영 제약 조건(예: 지연 시간, 토큰 확률에 대한 API 접근 권한)에 따라 달라진다고 명시합니다.

저자들은 자신의 연구 결과가 수정 없이 긴 형태의 생성이나 코드 생성으로 일반화되지 않을 수 있음을 언급하며 한계에 대해 신중한 입장을 유지합니다. 또한, 신뢰도 점수는 모델의 불확실성을 반영하는 것이지 정답의 정확성을 나타내는 것이 아니므로, 인간의 검토 없이 고위험 영역에서 절대적인 의사결정 보증으로 사용하는 것에 대해 주의를 당부합니다. 이 작업은 실무자들이 모델 불가지론적(model-agnostic)인 실시간 환각 탐지를 구현할 수 있는 실용적인 툴킷 역할을 합니다.