Entropy Alone is Insufficient for Safe Selective Prediction in LLMs

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 수학 올림피아드나 동료 검토 연구 작성 등 뛰어난 능력을 보이지만, 여전히 **할루시네이션 (Hallucination)**이라는 심각한 문제를 안고 있습니다. 할루시네이션은 사실과 다르지만 매우 자신감 있게 (high confidence) 표현되는 답변입니다.

• 선택적 예측 (Selective Prediction): 고위험 상황 (의료, 법률 등) 에서 LLM 의 오류를 완화하기 위해, 모델이 불확실성이 높은 경우 답변을 거부 (Abstain) 하고 신뢰할 수 있는 경우에만 답변하는 시스템이 필요합니다.
• 기존 방법의 한계: 현재 할루시네이션을 탐지하기 위해 주로 엔트로피 기반 (Entropy-based) 불확실성 추정 기법 (모델 출력 분포의 날카로움을 신뢰도로 간주) 이 사용됩니다.
• 핵심 문제: 엔트로피 기반 방법만으로는 신뢰할 수 있는 선택적 예측을 보장할 수 없습니다. 특히 모델에 따라 "자신감 있게 틀린 (Confidently Wrong)" 상태, 즉 엔트로피는 낮지만 (신뢰도가 높음) 답변은 틀린 경우가 발생하여, 이 경우 시스템이 위험한 답변을 거부하지 못하고 배포됩니다. 또한 기존 연구들은 AUROC 와 같은 전역적 (Global) 탐지 지표를 주로 사용하여, 실제 배포 환경에서 요구되는 **엄격한 안전 임계값 (Strict Safety Thresholds)**에서의 성능을 제대로 평가하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 엔트로피 신호와 정답성 (Correctness) 탐지 신호를 결합하여 선택적 예측의 신뢰성을 높이는 방식을 제안합니다.

A. 위험 점수 (Risk Score) 구성

1. 엔트로피 기반 신호 (Entropy-based Signals):
   • Sequence NLL: 생성된 답변의 평균 음의 로그 가능도 (단순 전향적 통과만 필요).
   • Semantic Entropy (SE): K 개의 샘플링된 완성본을 의미적 엔타이먼트 (Entailment) 평가를 통해 클러스터링하여 의미적 분산을 측정.
   • Semantic Entropy Probe (SEP): SE 의 샘플링 비용을 줄이기 위해 프롬프트 표현을 학습하여 이진화된 SE 타겟을 예측하는 경량 선형 프로브.
2. 정답성 프로브 (Correctness Probe, PC):
   • 모델의 답변이 올바른지 여부를 예측하는 로지스틱 회귀 분류기를 프롬프트 표현에 대해 학습시킵니다 (외부 정답 레이블 사용).
   • 정답 확률 $p_{pc}$를 위험 점수 $u_{pc} = 1 - p_{pc}$로 변환합니다.
3. 결합 방법 (Combination):
   • 엔트로피 신호 ($u_{ent}$) 와 정답성 프로브 신호 ($u_{pc}$) 를 입력으로 받는 2-피처 로지스틱 회귀 모델을 학습시켜 단일 위험 점수를 생성합니다.

B. 평가 지표 (Evaluation Metrics)

기존의 AUROC/AUPRC 와 함께 실제 배포 환경을 반영하는 지표를 중점적으로 사용합니다.

• E-AURC (Excess Area Under the Risk–Coverage Curve): 위험 - 커버리지 곡선 아래 면적. 오라클 (모든 할루시네이션을 완벽히 제거) 대비 초과 면적을 측정하여 위험과 커버리지 간의 트레이드오프를 평가합니다.
• TCE (Target Calibration Error): 특정 목표 위험 수준 ($\alpha$) 에서 시스템이 실제로 달성한 위험 수준과의 편차를 측정합니다. 즉, "목표한 안전 수준 (예: 5% 오류율) 을 실제로 지킬 수 있는가?"를 평가합니다.

3. 주요 기여 (Key Contributions)

1. 모델 의존적 실패 모드 발견: 엔트로피 기반 방법의 효과가 모델에 따라 크게 달라지며, "자신감 있게 틀린 (Confidently Wrong)" 영역 (낮은 엔트로피를 가진 할루시네이션) 에서 실패하는 특징적인 모드를 규명했습니다. 특히 Qwen 모델에서 이 현상이 두드러졌습니다.
2. 결합 기법의 유효성 입증: 엔트로피 신호에 정답성 프로브 (PC Probe) 를 결합하면, 할루시네이션 탐지 성능뿐만 아니라 **선택적 예측의 위험 - 커버리지 트레이드오프 (E-AURC) 와 보정 성능 (TCE)**이 전반적으로 향상됨을 보였습니다.
3. 배포 지향적 평가의 중요성 강조: 높은 AUROC 점수가 반드시 엄격한 안전 임계값에서의 신뢰할 수 있는 선택적 예측을 의미하지는 않음을 지적했습니다. TCE와 같은 배포 지향적 지표를 사용하여 시스템이 명시된 위험 수준에서 작동할 수 있는지 평가해야 함을 주장했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: TriviaQA, BioASQ, MedicalQA 의 3 개 QA 벤치마크와 Mistral, Llama, Qwen, Gemma 의 4 개 모델 패밀리에서 실험 수행.
• 성능 향상:
  • AUROC/AUPRC: 결합 방법은 대부분의 구성에서 엔트로피 단독 기법보다 할루시네이션 탐지 성능이 우수했습니다.
  • E-AURC/TCE: 결합 방법은 위험 - 커버리지 곡선을 개선하고 (낮은 E-AURC), 목표 위험 수준에 대한 보정 오차 (TCE) 를 크게 줄였습니다.
  • 고신뢰 영역 (High-Trust Regime): 엔트로피 단독 방법은 엄격한 목표 위험 (예: $\alpha \le 0.15$) 에서 커버리지가 0 에 수렴하거나 위험이 목표치를 초과하는 "위험 바닥 (Risk Floor)" 현상을 보였으나, 결합 방법은 이를 극복하고 고신뢰 영역에서도 유의미한 커버리지를 유지하며 목표 위험을 잘 따랐습니다.
• 예외 사항: MedicalQA 와 같이 기본 모델의 정확도가 매우 낮은 경우, 정답성 프로브 자체의 보정이 어려워 결합의 이점이 제한적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전한 LLM 배포를 위한 필수 조건: 엔트로피 기반 불확실성 추정만으로는 고위험 도메인에서의 안전한 LLM 배포가 불가능할 수 있으며, 정답성 (Correctness) 신호와의 결합이 필수적입니다.
• 평가 패러다임의 전환: 연구자들은 LLM 불확실성 방법론을 평가할 때, 단순한 탐지 정확도 (AUROC) 가 아닌 **실제 운영 환경에서의 위험 제어 능력 (TCE, E-AURC)**을 중점적으로 평가해야 한다고 강조합니다.
• 실용성: 제안된 결합 방법은 추가적인 추론 오버헤드 없이 (단순 전향적 통과 + 경량 프로브) 구현 가능하여 실제 시스템에 적용하기 용이합니다.

이 논문은 LLM 의 할루시네이션 문제를 해결하기 위해 불확실성 추정 기법의 한계를 지적하고, 이를 보완할 수 있는 실용적인 결합 전략과 배포 중심의 평가 체계를 제시했다는 점에서 중요한 의의를 가집니다.