Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 의료, 법률 등 중요한 분야에 배포됨에 따라, 모델의 출력에 대한 불확실성 정량화 (Uncertainty Quantification, UQ) 의 중요성이 부각되고 있습니다. 기존 UQ 방법론들은 주로 모델이 정답을 알지 못하는 경우 (Knowledge Uncertainty) 를 가정하여 단일 신뢰도 점수 (scalar confidence score) 를 생성하는 데 초점을 맞추고 있습니다.

그러나 자연어 생성에서의 불확실성은 단일 원인이 아닙니다.

1. 모델 지식 부족 (Model Knowledge Uncertainty): 모델이 정답을 모름.
2. 출력 변동성 (Output Variability): 질문이 명확하지만 정답이 여러 개 존재하는 경우 (예: "사막에 사는 동물 하나를 말해줘").
3. 입력 모호성 (Input Ambiguity): 질문 자체가 불완전하거나 모호한 경우.

현재의 기존 UQ 방법들은 이러한 불확실성의 원인을 구분하지 않고 단일 점수로 통합하여 출력합니다. 이로 인해 모델이 "정답을 모름" 때문에 불확실한 것인지, 아니면 "정답이 여러 개"라서 불확실한 것인지, 혹은 "질문이 모호해서" 불확실한 것인지 구분하지 못합니다. 이는 시스템이 적절한 대응 (예: 답변 거부, 추가 정보 요청, 여러 답변 제시) 을 취하는 데 실패하게 만듭니다.

2. 방법론 (Methodology)

A. 새로운 데이터셋 구축 (Dataset Creation)

기존 데이터셋 (AmbigQA, MAQA 등) 은 불확실성 원인을 명확히 분리하지 못하거나 특정 유형에 치우쳐 있다는 한계가 있었습니다. 이를 해결하기 위해 저자들은 3 가지 불확실성 시나리오를 명확히 분리한 새로운 데이터셋을 구축했습니다.

• 구조: 각 질문을 3 가지 유형으로 변환된 '트리플릿 (Triplet)' 형태로 구성.
  1. Type 1 (Model Knowledge): 명확한 질문이지만 모델이 정답을 모르는 경우 (단일 정답).
  2. Type 2 (Output Variability): 정답이 여러 개인 경우, 그중 하나를 요구하는 명확한 질문 (예: "사막 동물 중 하나를 말해줘").
  3. Type 3 (Input Ambiguity): Type 1 의 질문에서 핵심 맥락을 제거하여 모호하게 만든 경우 (예: "누가 이 말을 했나요?" -> 구체적인 인물/맥락 제거).
• 규모: 총 1,617 개 질문 (유형별 539 개). GPT-5 를 활용한 생성 후 인간 검증 (Human Validation) 을 거쳐 품질을 보장.

B. 실험 설정

• 모델: Llama-3.1-8b, Gemma-3-12b, Qwen-2.5-14b 등 3 가지 오픈 가중치 모델 사용.
• 평가 대상 UQ 방법론:
  • 토큰 확률 기반 (Sequence Probability, Perplexity, Entropy 등)
  • 일관성 기반 (Consistency-based, Semantic Entropy 등)
  • 하이브리드 (Hybrid)
  • 언어화 기반 (Verbalized, 모델에게 직접 확신도 질문)
• 평가 지표:
  • PRR (Prediction-Rejection Ratio): 불확실성 점수를 기준으로 낮은 신뢰도 예측을 거부했을 때, 남은 예측의 품질이 얼마나 향상되는지 측정.
  • Spearman 상관관계: 불확실성 점수와 생성 품질 간의 상관관계 분석.

3. 주요 기여 (Key Contributions)

1. 불확실성 원인을 분리한 데이터셋 공개: UQ 방법론의 성능을 불확실성의 구체적인 원인에 따라 체계적으로 평가할 수 있는 첫 번째 통제된 데이터셋을 공개했습니다.
2. 포괄적인 UQ 방법론 평가: 다양한 모델과 3 가지 불확실성 시나리오에 대해 광범위한 UQ 방법론을 평가했습니다.
3. 실패 사례 심층 분석: 각 방법론이 특정 불확실성 원인에서 왜 실패하는지에 대한 메커니즘을 규명했습니다.

4. 실험 결과 (Results)

• 성능의 편차: 어떤 단일 UQ 방법도 모든 시나리오에서 우월하지 않았습니다.
  • 단일 정답 (지식 부족) 시나리오: 하이브리드 방법 (Semantic Density, CoCoA 등) 이 가장 우수한 성능을 보였습니다.
  • 다중 정답 (출력 변동성) 시나리오: 일관성 기반 방법은 유효한 다양성을 '불확실성'으로 오인하여 성능이 저하되었습니다. 반면, 시퀀스 확률 기반 방법 (MTE, MCSE 등) 이 상대적으로 더 잘 작동했습니다.
  • 모호한 입력 (Input Ambiguity) 시나리오: 언어화 기반 방법 (Verbalized-2S) 이 특히 큰 모델 (Qwen-14B 등) 에서 가장 잘 작동하여, 모델이 모호성을 인식하고 명확화 요청을 할 가능성을 포착했습니다.
• 상관관계 약화: 모든 UQ 방법론은 모델의 지식 부족 (Type 1) 상황에서는 생성 품질과 높은 상관관계를 보였으나, 출력 변동성 (Type 2) 이나 입력 모호성 (Type 3) 이 개입되면 상관관계가 급격히 약화되었습니다.
• 모델 행동: 현재 LLM 은 모호한 입력 (Type 3) 에 대해 명확화 요청을 하기보다, 임의의 해석을 선택하고 높은 확신으로 답변하는 경향이 강했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 의 불확실성 정량화 방법이 "어떤 종류의 불확실성"을 측정하고 있는지가 시스템의 안전성과 유용성에 결정적임을 증명했습니다.

• 핵심 통찰: 단일 스칼라 점수는 불확실성의 원인을 구분하지 못하므로, 시스템이 "답을 모름 (거부)" vs "답이 여러 개 (다양한 답변 제시)" vs "질문이 모호함 (추가 정보 요청)" 중 어떤 행동을 취해야 할지 판단하는 데 한계가 있습니다.
• 미래 방향:
  1. 단순한 신뢰도 점수가 아닌, 구조화된 불확실성 표현 (Knowledge vs. Variability vs. Ambiguity) 을 구분하는 방법론 개발 필요.
  2. 불확실성 원인에 따라 적절한 의사결정 정책 (Abstention, Clarification, Diversification) 을 매핑하는 불확실성 인식 시스템 구축.
  3. 블랙박스 모델 및 도구 활용 시스템으로의 일반화 연구 필요.

결론적으로, 이 논문은 현재의 UQ 방법론이 특정 조건 (지식 부족) 에만 최적화되어 있음을 지적하며, 보다 정교하고 맥락을 이해하는 불확실성 관리 체계의 필요성을 강력하게 주장합니다.