LLMs Should Express Uncertainty Explicitly

논문 개요

이 논문은 대규모 언어 모델 (LLM) 이 불확실성 (uncertainty) 을 단순히 추론 후 추정해야 하는 잠재적 변수로 취급하는 기존 방식을 비판하고, 불확실성을 의사결정을 위한 명시적 인터페이스로 재정의합니다. 저자들은 LLM 이 추론 과정 중이나 최종 답변 시점에 불확실성을 사용 가능한 형태로 표현하도록 훈련해야 하며, 이를 위해 **글로벌 (전체 답변 신뢰도)**과 **로컬 (추론 중 개입 신호)**이라는 두 가지 상보적인 인터페이스를 제안하고 검증합니다.

---

1. 문제 정의 (Problem Statement)

• 기존 접근법의 한계: 대부분의 기존 연구는 LLM 의 불확실성을 추론이 완료된 후 외부 프로브 (probe) 나 캘리브레이션 기법으로 사후 (post-hoc) 에 추정하는 '잠재적 양'으로 간주합니다.
• 핵심 문제: 하위 시스템 (Retrieval, Abstention, Tool use 등) 이 불확실성을 기반으로 의사결정을 내려야 할 때, 모델 내부에 불확실성이 존재하는 것만으로는 부족합니다. 불확실성이 사용자와 제어 시스템이 직접 읽을 수 있고 행동 (action) 으로 이어질 수 있는 형태로 노출되어야 합니다.
• 목표: 불확실성을 어떻게 노출해야 하느냐 (언제, 어떤 형태로) 를 인터페이스 설계 문제로 접근하여, 하위 시스템의 효율적인 개입을 가능하게 하는 것입니다.

---

2. 방법론 (Methodology)

저자들은 두 가지 상보적인 불확실성 인터페이스를 제안하고, GRPO (Group Relative Policy Optimization) 기반의 강화학습 프레임워크 내에서 이를 훈련했습니다.

A. 글로벌 인터페이스: 구두화된 신뢰도 (Verbalized Confidence)

• 개념: 모델이 최종 답변을 생성한 후, 그 답변의 정확성에 대한 확신 정도를 스칼라 값 (0~1) 으로 말로 표현하게 합니다.
• 훈련 목표: 정답일 경우 신뢰도 점수 ($p$) 를 보상하고, 오답일 경우 $-p$를 패널티로 주어 과신된 오류 (overconfident errors) 를 억제하고 캘리브레이션 (calibration) 을 개선합니다.
• 역할: 최종 답변을 신뢰할지 말지 (Abstention), 또는 검색 (Retrieval) 이 필요한지 결정하는 전체적인 신뢰도 요약 역할을 합니다.

B. 로컬 인터페이스: 추론 중 신호 ( 토큰)

• 개념: 모델이 추론 과정 중 사실 부족, 모호한 증거, 취약한 중간 단계 등 고위험 상태에 도달했을 때, 명시적인 <uncertain> 토큰을 발화하게 합니다.
• 훈련 목표: 정답이고 토큰을 발화하지 않음 > 정답이고 발화함 > 오답이고 발화함 > 오답이고 발화하지 않음 (침묵) 순으로 보상을 부여합니다. 침묵하는 실패 (silent failure) 를 가장 큰 패널티로 주어, 모델이 실패 가능성을 숨기지 않고 드러내도록 유도합니다.
• 역할: 추론이 완료되기 전, 중간 단계에서 개입 (검색 등) 이 필요한 시점을 알리는 국소적 신호 역할을 합니다.

---

3. 주요 기여 (Key Contributions)

1. 인터페이스 설계 관점의 제시: 불확실성을 단일 출력 형식이 아닌, **전체 신뢰도 요약 (글로벌)**과 **추론 중 개입 신호 (로컬)**로 구분된 다중 스케일 설계 공간으로 정의했습니다.
2. 구두화된 신뢰도의 유효성 입증: GRPO 를 통해 훈련된 구두 신뢰도는 캘리브레이션 품질을 획기적으로 개선하고, 과신된 오류를 억제하며, 단순한 사후 보정 기법보다 우수한 선택적 예측 및 검색 제어 신호로 작용함을 보였습니다.
3. 추론 중 신호 () 의 효과 입증: 이 인터페이스는 이전에 침묵하던 지식 기반 오류 (Epistemic failures) 를 명시적인 개입 지점으로 변환하여, 하위 시스템이 오류를 포착하고 수정할 수 있는 기회를 크게 늘렸습니다.
4. 메커니즘 분석 (Mechanistic Analysis):
   • 구두 신뢰도: 기존 잠재된 불확실성 구조를 **기하학적으로 보존 (geometry-preserving)**하면서 출력 매핑을 정교하게 다듬는 방식 (Late-layer readout refinement) 으로 작동합니다.
   • 토큰: 추론 중 명시적 신호를 생성하기 위해 **후기 레이어의 표현을 재구성 (late-layer rewrite)**하는 더 깊은 내부 상태 변화를 유도합니다.

---

4. 실험 결과 (Results)

성능 지표 개선

• 캘리브레이션: 구두 신뢰도 모델은 ECE(기대 캘리브레이션 오차) 를 0.383 에서 0.049 로 대폭 낮추고, 오답에 대한 과신 비율을 88.5% 에서 3.2% 로 감소시켰습니다. 정확도는 유지되거나 소폭 향상되었습니다.
• 오류 유형 변환: 훈련 전에는 대부분의 오류가 "과신된 지식 오류 (Epistemic)"였으나, 훈련 후에는 "불확실성을 인정하는 오류 (Aleatoric)"로 전환되었습니다. 즉, 모델은 틀릴 때 "확신"하지 않고 "모른다"고 표현하게 되었습니다.

Adaptive RAG (적응형 검색 증강 생성) 성능

• 검색 제어: 두 인터페이스 모두 기존 Adaptive RAG 기법 (Self-RAG, FLARE, DRAGIN 등) 보다 우수한 성능을 보였습니다.
  • Verbal-Calibrate: 전체적인 성능이 가장 우수하며 (EM 41.6%), 검색을 더 선택적으로 수행하여 효율성이 높았습니다.
  • Uncertain-Calibrate: 검색 트리거율이 더 높았으나 (61.4%), 특히 HotpotQA 와 TriviaQA 에서 높은 정확도를 보였으며, 추론 중 실패를 조기에 포착하여 개입하는 데 효과적이었습니다.
• 기저선 비교: 단순한 토큰 발화나 사후 프로브만으로는 이러한 성능 향상을 달성할 수 없었으며, 엔드 - 투 - 엔드 훈련된 불확실성 신호가 핵심임을 입증했습니다.

메커니즘 분석 결과

• Logit Lens & PCA: 구두 신뢰도 훈련은 모델의 내부 표현 기하학을 크게 바꾸지 않으면서, 신뢰도 매핑을 더 선명하게 만들었습니다. 반면, <uncertain> 토큰 훈련은 추론 과정의 중간 레이어에서 표현 구조를 재구성하는 변화를 일으켰습니다.
• KL Divergence: 구두 신뢰도는 신뢰도 숫자 토큰 위치에만 변화가 집중된 반면, <uncertain> 토큰은 발화 전후의 컨텍스트 토큰에서도 분포 변화가 관찰되어, 불확실성 신호가 추론 과정 전반에 걸쳐 계산됨을 시사했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 의 불확실성 처리에 대한 패러다임 전환을 제안합니다.

1. 불확실성은 추론의 일부: 불확실성은 모델이 추론을 마친 후 계산해야 하는 부가적인 값이 아니라, **추론 과정 자체에 통합되어 표현되어야 할 행동 (behavior)**입니다.
2. 작업에 맞는 통신 (Task-Matched Communication):
   • 최종 답변 신뢰 여부를 판단해야 할 때는 글로벌 구두 신뢰도가 효과적입니다.
   • 추론 중 개입 (검색, 도구 호출 등) 이 필요한지 판단해야 할 때는 로컬 <uncertain> 신호가 효과적입니다.
3. 실용적 가치: 이 연구는 LLM 이 할 수 없는 일을 인정하고 (Abstention), 필요한 정보를 요청하며 (Retrieval), 사용자에게 신뢰할 수 있는 정보를 제공하는 시스템을 구축하는 데 필수적인 기술적 기반을 제공합니다. 특히, 모델이 "모른다"고 말할 때 어떻게, 언제, 어떤 형태로 말하는 것이 시스템 제어에 가장 유용한지에 대한 명확한 가이드라인을 제시합니다.

결론적으로, 효과적인 LLM 불확실성 관리란 단순히 확률 값을 맞추는 것이 아니라, 하위 시스템이 행동할 수 있도록 불확실성을 명시적이고 적시에 표현하는 인터페이스를 설계하는 것입니다.