Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models

"대형 언어 모델의 진실성을 유도하기 위한 토큰 수준 밀도 기반 불확실성 정량화 방법"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 은 환각 (hallucinations) 과 사실과 다른 주장을 생성하는 경향이 있어 안전이 중요한 응용 분야에서 상당한 위험을 초래합니다. **불확실성 정량화 (UQ)**는 이러한 오류를 탐지하는 주요 접근법이지만, 기존 방법들은 두 가지 주요 한계에 직면해 있습니다:

• 밀도 기반 방법의 비효율성: 전통적인 밀도 기반 UQ 기법 (예: 마할라노비스 거리) 은 텍스트 분류에서는 매우 성공적이었으나, 시퀀스 수준에서 적용될 때 텍스트 생성 작업에서는 제대로 작동하지 못했습니다. 이전 시도들은 무작위 선택과 유사한 성능을 보였습니다.
• 계산 비용: LLM 을 위한 최첨단 UQ 방법들은 종종 일관성 기반 접근법(예: 시맨틱 엔트로피, 여러 생성 샘플링) 이나 딥 앙상블에 의존하는데, 이는 막대한 계산 오버헤드 (추론 시간 300~700% 증가) 를 초래하여 실시간 또는 대규모 응용 프로그램에는 실용적이지 않습니다.
• 특징의 한계: 최근 내부 LLM 상태를 활용하는 지도 학습 방법들은 단순한 특징에 의존하거나 견고하고 확립된 밀도 기반 지표를 효과적으로 통합하지 못합니다.

2. 방법론

저자들은 생성 모델을 위한 **마할라노비스 거리 (MD)**를 적용한 새로운 지도 학습 기반, 토큰 수준, 밀도 기반 UQ 프레임워크를 제안합니다. 핵심 혁신은 시퀀스 수준 임베딩에서 토큰 수준 임베딩으로 전환하고 이를 지능적으로 집계하는 데 있습니다.

주요 구성 요소:

1. 토큰 수준 임베딩 추출:

   • 단일 시퀀스 벡터를 형성하기 위해 임베딩을 평균내는 대신, 이 방법은 LLM 의 여러 레이어에서 생성된 모든 토큰에 대한 숨겨진 상태 임베딩을 추출합니다.
   • 임베딩 선택: 기준 분포 (중심과 공분산 행렬) 를 구성하기 위해, 이 방법은 고품질 (정확한) 응답만 포함하도록 훈련 데이터를 필터링합니다. 이를 통해 밀도 모델이 "진실한" 생성을 대표하도록 보장합니다.

2. 레이어별 마할라노비스 거리 (MD):

   • 각 레이어 $l$에서, 이 방법은 토큰 임베딩과 해당 레이어에서 선택된 "정확한" 토큰 임베딩의 중심 사이의 마할라노비스 거리를 계산합니다.
   • 상대적 마할라노비스 거리 (RMD): 이 방법은 배경 분포 (예: 일반적인 C4 데이터셋) 까지의 거리를 빼는 상대적 마할라노비스 거리를 구현하여, 일반 노이즈와 도메인 내 진실성을 더 잘 구분합니다.
   • 집계: 토큰 수준 점수들을 시퀀스 전체에 걸쳐 평균화하여 시퀀스 수준 점수 (평균 토큰 수준 MD 또는 ATMD / ATRMD) 를 생성합니다.

3. 지도 선형 회귀:

   • 최상위 성능을 보이는 레이어는 작업에 따라 다르므로, 이 방법은 레이어별 MD 점수를 특징으로 간주합니다.
   • 선형 회귀 모델은 이러한 레이어별 점수를 사용하여 불확실성 점수 (목표는 부정 품질 지표, 예: $-ROUGE$또는$-Accuracy$) 를 예측하도록 훈련됩니다.
   • PCA: 레이어 특징 간의 다중공선성을 처리하기 위해 상위 10 개의 주성분 (PCA) 을 회귀 모델의 입력으로 사용합니다.
   • 하이브리드 점수 (HUQ): 최종 불확실성 점수는 학습된 가중치 함수를 통해 결합된 지도 학습 MD 점수와 시퀀스 확률 (최대 시퀀스 확률, MSP) 의 하이브리드일 수 있습니다.

3. 주요 기여

• 토큰 수준 적응: 이 논문은 토큰 수준(시퀀스 수준이 아닌) 에서 밀도 기반 방법을 적용하는 것이 LLM 생성의 성공에 필수적임을 입증하여, 이전 시퀀스 수준 밀도 접근법의 실패를 극복했습니다.
• 효율적인 지도 학습 프레임워크: 그들은 비용이 많이 드는 샘플링이나 앙상블의 필요성을 피하면서 레이어별 밀도 점수와 선형 회귀를 결합하는 계산적으로 가벼운 지도 학습 방법을 도입했습니다.
• 종합적 평가: 이 방법은 11 개의 다양한 데이터셋(요약, 장/단 답변 QA, 객관식 QA 포함) 과 두 가지 작업인 시퀀스 수준 선택적 생성 및 주장 수준 사실 확인에 걸쳐 검증되었습니다.
• 일반화: 이 방법은 도메인 외 설정에서 강력한 견고성을 보여주며, 다른 작업 유형 (예: 요약/QA 로 훈련하고 객관식 QA 로 테스트) 에서 훈련되더라도 성능을 유지합니다.

4. 실험 결과

실험에는 Llama 8b v3.1, Gemma 9b v2, Mistral 7b 모델이 사용되었습니다.

• 선택적 생성 성능:

  • 제안된 방법들 (SATRMD+MSP 및 HUQ-SATRMD) 은 최첨단 비지도 방법 (시맨틱 엔트로피, SAR) 과 다른 지도 학습 방법 (SAPLMA, Factoscope) 을 포함한 모든 베이스라인을 크게 능가했습니다.
  • 지표: **예측 거부 비율 (PRR)**로 측정되었습니다. 제안된 방법들은 데이터셋 전반에 걸쳐 가장 높은 평균 순위를 달성했습니다. 예를 들어, MMLU 데이터셋에서 SATRMD+MSP 는 다음으로 좋은 방법을 크게 능가했습니다.
  • 레이어 분석: 분류 작업에서는 마지막 레이어가 종종 최상인 것과 대조적으로, 결과는 디코더 전용 LLM 에서 중간 레이어가 종종 불확실성에 대한 가장 정보적인 임베딩을 제공함을 보여주었습니다.

• 사실 확인 성능:

  • 주장 수준 사실 확인 (Mistral 7b) 에서 HUQ-SATRMD는 가장 좋은 **ROC-AUC(0.750)**를 달성하여 베이스라인 CCP 보다 3.4% 더 높은 성능을 보였습니다.

• 계산 효율성:

  • 오버헤드: 제안된 방법들은 표준 LLM 추론에 비해 **5.3% – 7.6%**의 최소한의 계산 오버헤드만 도입합니다.
  • 비교: 이는 **315% – 700%**의 오버헤드를 수반하는 시맨틱 엔트로피나 SAR 과 같은 샘플링 기반 방법보다 훨씬 낮습니다.

• 견고성:

  • 이 방법은 훈련 데이터셋 크기에 대해 견고하며 (200~500 개의 인스턴스만으로도 잘 작동함), 훈련 임베딩 필터링에 사용되는 정확도 임계값에 크게 민감하지 않습니다.

5. 의의

이 작업은 분류에서의 효과적인 밀도 기반 UQ 와 LLM 텍스트 생성이라는 까다로운 영역 사이의 간극을 메웁니다. 토큰 수준으로 세분화를 전환하고 레이어별 특징의 지도 학습 선형 결합을 활용함으로써, 저자들은 다음과 같은 솔루션을 제공합니다:

1. 더 정확한: 환각 탐지에서 현재 최첨단 UQ 방법들을 크게 능가합니다.
2. 더 효율적인: 비용이 많이 드는 샘플링을 피함으로써 생산 환경에서 실시간 불확실성 추정을 가능하게 합니다.
3. 일반화 가능: 다양한 실제 응용 프로그램에 LLM 을 배포하는 데 필수적인 요구 사항인 서로 다른 도메인과 작업 유형 간에 불확실성 추정 능력을 이전할 수 있음을 입증합니다.

이 논문은 LLM 의 토큰 수준 아키텍처에 적절히 적응된 밀도 기반 방법들이 단순한 확률 기반 베이스라인과 계산적으로 비용이 많이 드는 샘플링 방법 모두에 비해 우월한 대안임을 결론지었습니다.