Integrating Local and Global Entropy for Uncertainty Quantification in LLMs

기술 요약: LLM의 불확실성 정량화를 위한 로컬 및 글로벌 엔트로피 통합

문제 정의

대규모 언어 모델(LLM)은 종종 "확신에 찬 환각(confident hallucinations)"을 보이며, 유창하고 구체적이지만 사실과는 다른 응답을 생성합니다. 기존의 불확실성 정량화(Uncertainty Quantification, UQ) 방법들은 주로 토큰 수준의 신호(예: 로그 확률 또는 샘플링 일관성)에 의존합니다. 이러한 방식은 국소적 모호성(local ambiguity)을 탐지하는 데는 효과적이지만, 모델이 높은 토큰 수준의 확신을 가지고 오답을 생성하는 "확신에 찼으나 틀린(confident-but-wrong)" 실패 모드를 식별하는 데는 자주 실패합니다. 또한, 많은 기존 접근 방식은 여러 번의 생성 패스(generation passes)를 요구하거나, 작업별 감독(supervision)이 필요하며, 응답 길이에 민감하거나 특정 아키텍처 가정을 전제로 하는 등 실무적인 장벽을 초래합니다. 따라서 비지도 학습 방식이며, 단일 순방향 패스(single forward pass)로 계산 가능하고, 길이에 따라 정규화되며, 모델의 내부 궤적(internal trajectory)의 기하학적 구조를 포착할 수 있는 UQ 방법이 필요합니다.

방법론

본 논문은 LLM의 서로 다른 표현 계층(representational layers)에서 도출된 두 가지 구별된 불확실성 신호를 통합하는 Global-Local Uncertainty (GLU) 프레임워크를 제안합니다.

1. 로컬 불확실성 (토큰 수준):

   • 언임베딩 계층(unembedding layer)(다음 토큰 예측)로부터 도출됩니다.
   • 증거 기반 딥러닝(evidential deep learning) 프레임워크를 기반으로, 불확실성을 우연적 불확실성(Aleatoric Uncertainty, AU)(분포적 모호성)과 인식적 불확실성(Epistemic Uncertainty, EU)(증거 부족)로 분해합니다.
   • AU는 상위 $k$개 토큰에 대한 절단된 예측 분포(truncated predictive distribution)의 샤논 엔트로피(Shannon entropy)로 계산됩니다.
   • EU는 로짓(logits)을 디리클레 집중 매개변수(Dirichlet concentration parameters)로 매핑(softplus 변환 사용)하고 역 디리클레 강도(inverse Dirichlet strength)를 계산하여 추정합니다.
   • 로컬 점수($\bar{R}$)는 응답 내에서 가장 불확실한 $m$개 토큰에 걸친 AU와 EU의 곱셈적 상호작용의 평균입니다.

2. 글로벌 불확실성 (기하학적 복잡도):

   • 임베딩 계층(embedding layer)(은닉 상태 공간)로부터 도출됩니다.
   • 신뢰할 수 있는 사실 추출은 은닉 상태가 조밀하고 일관된 방향으로 이동하는 것과 관련이 있는 반면, 환각은 느슨하게 연결된 방향들을 배회하는 것과 관련이 있다는 가설에 기반합니다.
   • 이 방법은 모든 생성 단계에 걸친 은닉 상태 궤적 $H$로부터 그람 행렬(Gram matrix) ($K = HH^\top$)을 구축합니다.
   • 글로벌 불확실성은 $K$의 정규화된 고유값 스펙트럼(eigenvalue spectrum)에 대한 레니 엔트로피-2(Rényi-2 entropy)(충돌 엔트로피)로 정량화됩니다. 높은 엔트로피는 확산되고 비일관적인 궤적(높은 불확실성)을 나타내며, 낮은 엔트로피는 일관되고 낮은 계수(low-rank)의 궤적을 나타냅니다.
   • 응답 길이와 모델 간의 비교 가능성을 보장하기 위해, 엔트로피는 $\log T$로 정규화되며 모든 트랜스포머 레이어에 대해 평균을 냅니다.

3. 융합 전략 (GLU):

   • 두 신호는 **곱셈 게이트(multiplicative gate)**를 통해 융합됩니다: $GLU = (1 + \tilde{S}) \cdot \bar{R}$, 여기서 $\tilde{S}$는 정규화된 글로벌 기하학적 엔트로피이고 $\bar{R}$은 집계된 로컬 불확실성입니다.
   • 이 곱셈 설계는 기하학적 증폭기(geometric amplifier) 역할을 합니다. 즉, 궤적이 확산되어 있다면(높은 글로벌 불확실성), 로컬 불확실성 점수의 가중치가 높아집니다. 이는 토큰 엔트로피는 낮지만 기하학적 일관성이 결여된 "확신에 찼으나 틀린" 영역을 구체적으로 타겟팅합니다.
   • 이 방법은 단일 순방향 패스만을 요구하며, 레이블이 있는 데이터가 필요 없고, 아키텍처에 구애받지 않습니다.

주요 기여

1. 다중 관점 불확실성 추출: 본 논문은 두 가지 서로 다른 계층으로부터 보완적인 신호를 추출합니다: 은닉 상태 궤적으로부터의 글로벌 기하학적 엔트로피와 출력 로짓으로부터의 로컬 토큰 수준 엔트로피.
2. 통계적 직교성: 경험적 분석을 통해 글로벌 신호와 로컬 신호가 통계적으로 거의 직교함을 입증했습니다. 글로벌 신호는 로컬 신호가 체계적으로 놓치는 "확신에 찼으나 틀린" 실패 모드를 복구합니다.
3. GLU 프레임워크: 재학습, 의사 레이블(pseudo-labels), 또는 다중 샘플링 패스가 필요 없는 경량화된 비지도 학습 방식의 점수를 도입했습니다.
4. 포괄적 검증: 세 가지 모델 제품군(Qwen2.5, Gemma3, Fanar1)과 여섯 가지 다양한 벤치마크(사실성, 수학, 아랍어 QA 포함)에 걸친 광범-한 평가 및 엄격한 절제 연구(ablation studies)를 수행했습니다.

실험 결과

• 성능: 18개의 모델-데이터셋 설정 전반에 걸쳐, GLU는 13개 케이스에서 최고의 AUROC(Area Under the Receiver Operating Characteristic)를, 12개 케이스에서 최고의 PRR(Prediction Rejection Ratio)을 달성했습니다. GLU는 로컬 전용 베이스라인(예: LogTokU)과 글로벌 전용 베이스라인(예: RAUQ) 모두를 일관되로 능가했습니다.
• 절제 연구:
  • 곱셈 vs. 덧셈: 곱셈 융합 전략이 결정적이었습니다. 덧셈 변형($Add\text{-}\tilde{S}$)은 성능이 크게 하락하여 14개 방법 중 13위를 기록했으며, 이는 글로벌 신호가 고정된 오프셋이 아닌 조절자(modulator)로서 작용해야 함을 확인시켜 줍니다.
  • 강건성: 성능 향상은 로컬 및 글로벌 추정치의 선택에 관계없이 강건하게 나타났으며, 이는 보완성이 특정 하이퍼파라미터의 산물이 아니라 LLM의 구조적 특성임을 시사합니다.
• 보정(Calibration): TriviaQA 벤치마크에서 GLU는 불확실성 점수와 경험적 오류율 사이의 단조적 관계를 보여주었으며, 신뢰 구간(confidence deciles)에 따라 정답과 오답을 효과적으로 분리했습니다.

의의 및 주장

본 논문은 임베딩(의미적 방향)과 언임베딩(토큰 확률) 계층 사이의 구조적 구분이 왜 토큰 수준 및 기하학적 신호가 서로 다른 측면의 불확실성을 측정하는지에 대한 원칙적인 근거를 제공한다고 주장합니다. 이러한 관점들을 통합함으로써, GLU는 현재 UQ 방법들의 치명적인 사각지대인 "확신에 찬 환각" 문제를 해결하는 실용적이고 비지도 학습적인 솔루션을 제공합니다. 저자들은 GLU가 계산 효율성과 감독의 부재가 중요한 실제 배포 환경에 적합하면서도, 모든 비지도 학습 베이스라인과 대등하거나 이를 능가한다고 주장합니다. 본 연구는 로컬 불확실성과 글로벌 불확실성 사이의 상보성이 LLM의 근본적인 구조적 특성임을 시사합니다.