Let the Model Distribute Its Doubt: Confidence Estimation through Verbalized Probability Distribution

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 의료, 법률, 금융과 같은 고위험 분야에서 활용되기 위해 신뢰할 수 있는 응답이 필수적입니다. 그러나 현대 LLM 은 종종 과신 (Overconfidence) 경향을 보이며, 실제 정확도와 일치하지 않는 높은 신뢰도 점수를 부여하는 문제가 있습니다.

기존의 신뢰도 추정 방법은 다음과 같은 한계가 있습니다:

• 토큰 확률 기반: 생성된 토큰의 확률을 직접 사용하지만, RLHF(인간 피드백을 통한 강화 학습) 로 미세 조정된 모델은 사용자 지시를 따르기 위해 확률 분포를 왜곡하여 신뢰도 보정 (Calibration) 이 저하될 수 있습니다.
• 구두 (Verbalized) 신뢰도: 모델에게 자연어로 "답변에 대한 신뢰도"를 직접 말하게 하는 방식은 연구되었으나, 여전히 과신 문제가 해결되지 않았고 모델의 규모에 따라 신뢰성이 달라집니다.
• Chain-of-Thought (CoT) 의 부재: 단순히 답과 신뢰도만 요구할 때, 모델은 대안적인 답변들을 고려하지 않고 단일 추측에 의존하여 신뢰도를 과대평가하는 경향이 있습니다.

2. 제안 방법론 (Methodology)

저자들은 **"구두 확률 분포 (Verbalized Probability Distribution)"**라는 새로운 방법을 제안합니다. 이는 모델이 단순히 하나의 답변과 신뢰도만 말하는 것이 아니라, 모든 가능한 답변에 대한 확률 분포를 명시적으로 추론하고 생성하도록 유도하는 방식입니다.

핵심 메커니즘

1. 전체 믿음 상태 (Belief State) 의 표현: 모델에게 질문의 모든 가능한 답변 (대안 포함) 을 나열하고, 각 답변에 대해 신뢰도 (확률) 를 할당하도록 프롬프트합니다.
2. 확률 분포의 제약: 생성된 모든 신뢰도 점수의 합이 1 이 되어야 한다는 조건을 부과합니다. 이는 모델이 특정 답변에 대한 확신을 다른 대안들과의 비교를 통해 더 신중하게 조정하도록 강제합니다.
3. Open-set 문제 해결: 답변 공간이 무한하거나 나열하기 어려운 경우 (예: HotpotQA), "None of the above (위 모두 아님)" 옵션을 포함시켜 낮은 확률의 후보들을 하나의 카테고리로 집계하도록 합니다.
4. 강화 학습 (RL) 최적화:
   • 기존 RLCR (Reinforcement Learning with Calibration Rewards) 방식을 차용하되, **유효한 확률 분포를 생성하지 못한 경우 (합이 1 이 아닌 경우) 에는 강력한 페널티 (-1 점)**를 부여합니다.
   • 이를 통해 모델이 추론 과정에서 확률 분포의 일관성을 유지하도록 학습시킵니다.

3. 주요 기여 (Key Contributions)

• 새로운 패러다임 제시: LLM 이 자신의 불확실성을 단일 숫자가 아닌 '분포'로 표현하게 함으로써, 과신 문제를 근본적으로 완화하고 더 정확한 신뢰도 추정을 가능하게 함을 증명했습니다.
• 체계적인 실험 및 비교: 다양한 오픈소스 (Qwen3 시리즈) 와 클로즈드소스 (GPT-4.1, DeepSeek-V3) 모델, 그리고 의료 (MedQA, MedXpertQA) 및 일반 지식 (MMLU-Pro, HotpotQA) 등 다양한 태스크에서 기존 방법 (Verbalized Confidence, Verbalized Top-k) 과 비교 평가했습니다.
• 추론 효율성 입증: 추론 시간 확장 (Inference-time scaling) 시, 제안된 방법이 더 적은 계산 비용으로 최상의 Brier Score 를 달성함을 보였습니다.
• RL 을 통한 성능 향상: 훈련이 없는 프롬프팅만으로도 경쟁력 있는 성능을 내지만, RL 학습을 거치면 수렴 속도가 빨라지고 도메인 외 (Out-of-Domain) 데이터에서도 강건한 성능을 유지함을 확인했습니다.

4. 실험 결과 (Results)

• 정확도 유지 및 신뢰도 향상: 제안된 방법은 답변의 정확도 (Accuracy) 를 희생하지 않으면서, AUROC(분별력), Brier Score(보정 및 분별력), ECE(기대 보정 오차) 등 모든 신뢰도 평가 지표에서 기존 방법들을 압도적으로 능가했습니다.
  • 특히 작은 규모의 모델 (Qwen3-4B) 에서 큰 성능 향상을 보였습니다.
  • MMLU-Pro 에서 가장 강력한 베이스라인의 최상위 Brier Score 를 달성하는 데 필요한 계산량을 약 6 배 절감했습니다.
• Ablation Study (구성 요소 분석):
  • "None of the above" 옵션 제거 시 성능이 급격히 저하됨 (특히 작은 모델).
  • 정규화 (정답 확률의 합이 1 이 되도록) 요구 사항 제거 시 보정 (Calibration) 성능이 크게 떨어짐.
  • 수동 정규화 (LLM 이 아닌 사람이 정규화) 는 AUROC 를 떨어뜨려 LLM 의 자체 추론 과정이 필수적임을 보여줌.
• 추론 과정의 변화: 모델이 낮은 신뢰도를 가질 때 더 많은 대안 답변을 생성하고 "None of the above"에 더 높은 확률을 할당하는 등, 불확실성을 더 잘 표현하는 행동을 학습하는 것을 관찰했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • AI 시스템의 신뢰성을 높이는 핵심 기술인 '신뢰도 보정'을 위한 실용적이고 효과적인 프롬프팅 전략을 제시했습니다.
  • 복잡한 RL 학습 없이도 (Zero-shot) 적용 가능하여 실제 배포 환경에서 즉시 활용 가치가 높습니다.
  • 모델이 "자신이 무엇을 모르는지"를 더 잘 인식하게 하여, 고위험 분야에서의 안전 장벽을 강화합니다.
• 한계 및 향후 과제:
  • 수학적 추론 등 절대적 정답이 있는 태스크: 단계별 추론이 명확하고 대안이 존재하지 않는 문제 (예: 수학 문제) 에서는 분포 예측이 오히려 성능을 저하시킬 수 있음. RL 학습을 통해 이를 보완할 수 있음을 보였으나, 모든 태스크에 적용 가능한 범용적인 해결책은 아님.
  • 토큰 소비: 모든 가능한 답변을 나열하고 확률을 할당하는 과정에서 기존 방법보다 더 많은 토큰을 소비함.
  • 자동 프롬프트 선택: 태스크의 특성에 따라 적절한 프롬프팅 전략을 자동으로 선택하는 메커니즘이 필요함.

결론

이 논문은 LLM 이 자신의 불확실성을 단순한 점수가 아닌 확률 분포로 표현하도록 유도함으로써, 기존 방법들의 과신 문제를 해결하고 더 정교한 신뢰도 추정을 가능하게 함을 증명했습니다. 이는 신뢰할 수 있는 AI 시스템 구축을 위한 중요한 진전으로, 특히 작은 모델과 복잡한 추론 태스크에서 뛰어난 효율성과 성능을 보입니다.