1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 의료, 법률 등 고위험 분야에서 광범위하게 활용되고 있지만, 그 출력의 신뢰성을 평가하는 **불확실성 정량화 (Uncertainty Quantification, UQ)**는 여전히 큰 도전 과제로 남아 있습니다.

• 기존 방법의 한계:
  • 샘플링 기반 방법 (Semantic Dispersion): 동일한 프롬프트에 대해 여러 번 생성하여 답변의 의미적 분산 (semantic dispersion) 을 측정하는 방식은 환각 (hallucination) 탐지에 효과적이지만, 다수의 생성이 필요하여 지연 시간 (latency) 이 길어 실시간 애플리케이션에 부적합합니다.
  • 단일 스칼라 프로브 (Scalar Probes): 내부 표현을 기반으로 정답 확률 등을 예측하는 경량 모델은 빠르지만, 불확실성을 단일 숫자 (스칼라) 로 축소합니다. 이는 출력 분포의 위상 (topology) 정보를 잃게 하여, 단순한 위험 분류 외의 더 풍부한 신뢰성 신호 (예: 특정 답변의 적합성 평가) 를 추출하는 것을 제한합니다.

2. 제안 방법: 의미적 자기 증류 (Semantic Self-Distillation, SSD)

저자들은 SSD라는 새로운 프레임워크를 제안하여, 샘플링 기반 방법의 정밀함과 경량 프로브의 저지연 장점을 결합합니다.

• 핵심 아이디어:

  • LLM 이 생성한 여러 샘플 답변의 **의미적 분포 (semantic distribution)**를 경량 '학생 (student)' 모델로 증류 (distill) 합니다.
  • 학생 모델은 **혼합 밀도 네트워크 (Mixture Density Network, MDN)**로 설계되어, 프롬프트의 숨겨진 표현 (hidden representation) 을 조건으로 하여 답변 임베딩 공간에서의 가우시안 혼합 분포를 예측합니다.
  • 이는 불확실성을 단일 스칼라가 아닌 **명시적인 확률 밀도 함수 (PDF)**로 모델링합니다.

• 작동 원리:

  1. 학습 (Training): 베이스 LLM 에 프롬프트를 입력하고 $S$개의 확률적 샘플을 생성합니다. 각 샘플을 의미 임베딩 모델 (예: EmbeddingGemma) 로 변환한 후, PCA 를 통해 차원을 축소합니다. 학생 모델은 프롬프트 표현 ($h$) 을 입력받아 이 샘플들의 분포를 모방하도록 최대 우도 (Maximum Likelihood) 로 학습됩니다.
  2. 추론 (Inference):
     • 생성 전 (Pre-generation): 예측된 분포의 **엔트로피 (Rényi-2 entropy)**를 계산하여 프롬프트 수준의 불확실성 (위험도) 을 즉시 산출합니다. 추가 샘플링 없이도 의미적 분산 정도를 알 수 있습니다.
     • 생성 후 (Post-generation): 생성된 특정 답변 후보를 임베딩하여 학생 모델이 예측한 분포에서의 **로그 가능도 (log-likelihood)**를 계산합니다. 이를 통해 해당 답변이 프롬프트 컨텍스트와 얼마나 일치하는지 (Out-of-Domain 감지) 또는 여러 선택지 중 가장 적합한 답을 선택하는 데 활용합니다.

3. 주요 기여 (Key Contributions)

1. SSD 프레임워크 도입: LLM 의 샘플링된 의미적 답변 분포를 경량 프롬프트 조건 밀도 추정기로 증류하는 새로운 방법론을 제시했습니다.
2. 성능과 효율성의 균형: 여러 모델 계열 (Llama, Mistral, Qwen, Gemma 등) 에서 실험한 결과, SSD 는 샘플링 기반 베이스라인과 경쟁력 있는 환각 예측 성능을 보이면서도, 단일 패스 (single-pass) 프로브와 동일한 저지연 특성을 유지합니다.
3. 확장된 신뢰성 원시 (Reliability Primitives): 단순한 스코어링을 넘어, 생성된 답변의 검증 (Likelihood-based verification) 과 다중 선택지 문제 해결 (Answer Selection) 등 분포 기반의 새로운 기능을 가능하게 합니다.

4. 실험 결과 (Results)

저자들은 TriviaQA(지식 기반) 와 MMLU(추론 기반) 데이터셋을 사용하여 다양한 LLM 모델 (3B~8B 파라미터) 로 실험했습니다.

• 환각 예측 (Hallucination Prediction):

  • SSD 는 샘플링 기반의 Teacher Dispersion (TD) 보다 TriviaQA 에서 더 나은 AUPRC(평균 정밀도 - 재현율 곡선) 를 기록했습니다. 이는 SSD 가 샘플링 오차를 보정하고 연속적인 위험 추정을 제공하기 때문입니다.
  • MMLU 에서는 TD 보다 약간 낮았으나, 여전히 강력한 성능을 보였습니다.
  • 지연 시간: SSD 는 샘플링 기반 방법 (SE, TD) 의 $S$배에 달하는 생성 비용을 제거하고, 단일 패스 프로브 (PCP, SEP) 와 유사한 속도를 달성했습니다.

• 추가 기능 평가:

  • Out-of-Domain (OOD) 감지: 생성된 답변이 프롬프트와 무관한지 여부를 로그 가능도로 판단하는 데 매우 높은 정확도 (AUROC > 0.95) 를 보였습니다.
  • 다중 선택지 답변 선택: 학습 시에는 오픈 엔디드 데이터만 사용했음에도, 테스트 시 제공된 선택지 중 가장 높은 가능도를 가진 답을 선택하는 정확도가 랜덤 베이스라인을 크게 상회하며, 일부 모델에서는 오픈 엔디드 생성 정확도에 근접했습니다.

• 분석:

  • 증류의 충실도 (Distillation Fidelity) 와 환각 탐지 성능 간에 강한 상관관계가 있음을 확인했습니다. 즉, 학생 모델이 교사의 분포를 얼마나 잘 재현하느냐가 성능을 결정합니다.
  • PCA 차원 축소 (16 차원) 가 최적의 성능을 보였으며, 과도한 차원은 학습을 어렵게 만들었습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 불확실성 정량화를 위한 패러다임 전환을 제시합니다.

• 계산 비용의 이전: 추론 시 발생하는 고비용의 샘플링 작업을 학습 시로 이전함으로써, 배포 환경에서는 O(1) 복잡도로 정밀한 불확실성 추정이 가능해졌습니다.
• 구조적 정보 보존: 단순한 스칼라 점수가 아닌 명시적인 밀도 함수를 모델링함으로써, 생성 전 위험 예측뿐만 아니라 생성 후 답변 검증, OOD 감지, 답변 선택 등 다양한 하위 태스크에 활용 가능한 풍부한 신호를 제공합니다.
• 일반화 가능성: 이 방법은 언어 모델뿐만 아니라, 의미 있는 잠재 표현을 가지는 임의의 시퀀스 생성 모델 (예: 의료 기록 예측, 시계열 모델) 에도 적용 가능한 일반적인 프레임워크로 확장될 수 있습니다.

결론적으로, **Semantic Self-Distillation (SSD)**은 지연 시간이 중요한 실시간 에이전트 시스템에서 LLM 의 신뢰성을 보장하고, 환각을 효과적으로 탐지하며, 더 나은 의사결정을 지원할 수 있는 실용적이고 강력한 도구입니다.