Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models

논문 개요

이 연구는 대규모 언어 모델 (LLM) 이 생성하는 유창하지만 사실과 다른 내용인 **'환각 (Confabulation)'**을 모델 스스로가 감지할 수 있는지, 그리고 **문맥 (Context)**이 모델의 신뢰성과 불확실성 신호에 어떤 영향을 미치는지 탐구합니다. 특히, 잘못된 정보가 포함된 문맥이 모델의 내부 신호 (불확실성) 와 실제 정답 사이의 불일치를 어떻게 유발하는지 분석하고, 이를 기반으로 더 정확한 신뢰도 추정 방법을 제안합니다.

---

1. 연구 배경 및 문제 정의 (Problem)

• 문제의 본질: LLM 은 종종 사실과 다른 내용을 매우 자신감 있게 생성합니다 (Confabulation). 이는 RAG(검색 증강 생성) 나 멀티턴 에이전트 시스템에서 생성된 답변이 다음 단계의 문맥으로 재사용될 때 치명적인 오류를 유발할 수 있습니다.
• 기존 접근법의 한계: 기존 연구들은 모델의 출력 확률 (Logits) 이나 엔트로피와 같은 직접적인 불확실성 신호를 신뢰도 지표로 사용했습니다. 그러나 본 논문은 잘못된 문맥 (Misleading Context) 하에서는 모델이 오히려 **높은 확신 (High Confidence)**을 가지고 틀린 답변을 생성할 수 있음을 발견했습니다. 즉, 불확실성 신호와 정답성 (Correctness) 이 일치하지 않는 경우가 빈번하게 발생합니다.
• 핵심 질문:
  1. 문맥 정보 (정확한 정보 vs 잘못된 정보) 가 모델의 행동과 토큰 수준의 불확실성에 어떤 영향을 미치는가?
  2. 내부 신호 (토큰 수준의 불확실성 및 은닉 상태) 를 활용하여 모델의 답변이 신뢰할 수 없는지 탐지할 수 있는가?

---

2. 방법론 (Methodology)

가. 실험 설정 및 데이터

• 데이터셋: HotpotQA, Natural Questions, TruthfulQA, TriviaQA, Math 등 다양한 QA 벤치마크 사용.
• 모델: Fanar1-9b, Gemma3-12B, Qwen2.5-7B 등 3 개의 오픈소스 LLM 평가.
• 문맥 조건 (Context Settings):
  1. WOC (Without Context): 문맥 없이 모델의 내부 지식만으로 답변.
  2. WCC (With Correct Context): 정답을 포함하는 올바른 문맥 제공.
  3. WIC (With Incorrect Context): 정답을 왜곡하거나 오해의 소지가 있는 잘못된 문맥 제공 (GPT-4.1 mini 를 이용해 생성).

나. 불확실성 추정 (Uncertainty Estimation)

• Dirichlet 기반 프레임워크: 출력 Logits 를 기반으로 **알레атор릭 불확실성 (Aleatoric Uncertainty, AU)**과 **에피스테믹 불확실성 (Epistemic Uncertainty, EU)**을 계산합니다.
  • AU: 데이터의 본질적 모호성에서 기인한 불확실성.
  • EU: 모델의 지식 부족이나 증거 부족에서 기인한 불확실성.
• 신뢰도 지표: 토큰별 불확실성 점수를 기반으로 답변의 신뢰도를 예측합니다.

다. 탐지 방법: 프로빙 기반 접근법 (Probing-based Detection)

직접적인 불확실성 신호만으로는 신뢰도를 판단하기 어렵다고 판단하여, 모델의 **내부 은닉 상태 (Hidden States)**를 활용한 탐지기를 개발했습니다.

• 특징 추출: 생성된 응답의 각 토큰에 대한 은닉 상태 벡터 ($h_t^{(l)}$) 를 추출합니다.
• 토큰 선택 전략:
  • Probe(EOS): 마지막 토큰 (EOS) 의 상태만 사용.
  • Probe(Exact): 정답 스펀 (Span) 에 해당하는 토큰들의 상태 사용.
  • Probe(EU): 불확실성 점수가 가장 높거나 낮은 토큰 선택.
  • Probe(AVG): 불확실성이 높은 토큰들 (Top-k) 의 은닉 상태를 평균화하여 집계된 특징 벡터 생성.
• 분류기: 추출된 특징 벡터를 입력으로 받아 경량 로지스틱 회귀 분류기를 훈련시켜 답변의 정답 여부 (0 또는 1) 를 예측합니다.

---

3. 주요 결과 (Key Results)

가. 문맥이 모델 행동에 미치는 영향 (RQ1)

• 올바른 문맥 (WCC): 정답성 (Correctness Ratio) 이 크게 향상되었으며, 모델의 불확실성 (EU) 은 감소하고 확신이 높아졌습니다.
• 잘못된 문맥 (WIC): 모델은 정답성을 잃었음에도 불구하고 불확실성이 낮아지고 확신이 매우 높아지는 현상을 보였습니다.
  • 이는 모델이 잘못된 문맥에 의해 유도되어 "잘못된 답변을 매우 확신 있게" 생성하는 과신 (Overconfidence) 상태를 유발함을 의미합니다.
  • 기존 불확실성 신호 (EU) 는 이러한 잘못된 확신을 감지하지 못했습니다.

나. 신뢰도 탐지 성능 (RQ2)

• 프로빙 방법의 우위: 단순한 LogProb 나 모델이 스스로 "내 답변이 맞나요?"라고 묻는 방식 (P(True)) 보다, 은닉 상태를 활용한 프로빙 (Probing) 방법이 훨씬 높은 AUROC 점수를 기록했습니다.
• 집계 특징 (Aggregated Features) 의 효과: 단일 토큰보다는 **불확실성이 높은 토큰들의 은닉 상태를 평균화 (Probe(AVG))**한 특징이 가장 우수한 성능을 보였습니다.
  • 특히 중간~상위 레이어 (Middle to Upper Layers) 에서 추출된 특징이 가장 효과적이었습니다.
• 데이터셋별 성능: 사실 기반 질문 (TriviaQA, Math) 에서 탐지 성능이 높았으며, 개방형 질문 (TruthfulQA) 보다 더 예측 가능했습니다.

---

4. 주요 기여 (Contributions)

1. 문맥 제어 평가 프레임워크: 문맥의 질 (정확함 vs 오류) 에 따라 LLM 이 정답에서 오답으로, 혹은 그 반대로 전환되는 과정을 체계적으로 분석할 수 있는 실험 환경을 제시했습니다.
2. 불확실성 - 정답성 불일치 발견: 잘못된 문맥 하에서는 모델의 불확실성 신호가 정답성과 정반대 방향으로 작용할 수 있음을 규명했습니다. 이는 기존 캘리브레이션 (Calibration) 연구의 취약점을 지적합니다.
3. 불확실성 기반 프로빙 기법 제안: 모델의 내부 활성화 (Internal Activations) 와 불확실성 인식 토큰 선택을 결합한 새로운 신뢰도 탐지 방법을 제안했으며, 이는 기존 베이스라인보다 다양한 모델과 작업에서 우수한 성능을 입증했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰성 있는 생성을 위한 통찰: LLM 이 외부 문맥을 처리할 때, 단순히 출력 확률만 믿는 것은 위험할 수 있음을 보여줍니다. 특히 RAG 나 멀티턴 대화 시스템에서는 잘못된 문맥이 모델의 판단을 왜곡할 수 있으므로, 내부 상태 기반의 탐지 메커니즘이 필수적입니다.
• 향후 방향: 제안된 프로빙 기법을 생성 시간 (Generation-time) 의사결정에 통합하거나, 검색 검증 (Retrieval Validation) 과 결합하여 환각이 전파되는 것을 방지하는 안전장치 (Safeguards) 개발의 기초를 마련했습니다.

요약하자면, 이 논문은 LLM 이 잘못된 정보를 접했을 때 스스로의 오류를 인지하지 못하고 오히려 더 확신 있게 답변할 수 있음을 증명하고, 이를 해결하기 위해 모델의 내부 은닉 상태와 불확실성 신호를 결합한 정교한 탐지기를 개발하여 그 유효성을 입증했습니다.