📊 statistics

Toward Efficient Uncertainty in LLMs through Evidential Knowledge Distillation

이 논문은 계산 비용이 많이 드는 다회 통과(multi-pass) 교사 모델로부터 불확실성 인지 능력을 전이하기 위해 LoRA 기반 지식 증류를 사용함으로써, 전통적인 샘플링 방식의 무거운 추론 지연 시간 없이도 유사한 성능을 달성하며 거대 언어 모델의 불확실성 정량화를 위한 효율적인 방법을 제안한다.

원저자: Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lakshmana Sri Harsha Nemani, P. K. Srijith, Tomasz Kuśmierczyk

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하지만 믿을 수 없을 정도로 느린 전문가 컨설턴트(교사)가 있다고 상상해 보세요. 이 컨설턴트는 질문에 대한 정답을 맞히는 데는 천재적이지만, 매우 신중합니다. 답을 내놓기 전에 단순히 한 번 추측하는 것이 아니라, 자신과 다른 열 가지 버전의 자아에게 묻거나, 동일한 질문을 열 가지 다른 "렌즈"를 통해 검토하여 답변이 얼마나 변하는지 확인합니다.

만약 열 가지 버전이 모두 일치하면, 컨설턴트는 "100% 확신합니다"라고 말합니다.
만약 열 가지 버전이 제각각이라면, 컨설턴트는 "전혀 모르겠습니다"라고 말합니다.

이처럼 열 가지 버전의 자신에게 묻는 과정은 이 논문에서 샘플링 기반 방법(베이지안 모델이나 앙상블 등)을 설명하는 방식입니다. 이는 모델이 얼마나 확신하는지 아는 데는 훌륭하지만, 매우 느립니다. 만약 당신이 컨설턴트에게 질문을 던진다면, 답변을 듣기 위해 열 번의 시뮬레이션이 끝날 때까지 기다려야 합니다. AI의 세계에서 이것은 빠른 버스를 타고 싶을 뿐인데 느린 기차를 기다리는 것과 같습니다.

이 논문의 저자들은 다음과 같이 질문했습니다. "우리가 이 느리고 신중한 전문가로부터 배울 수 있는, 빠르고 단 한 번의 통과(single-pass)로 작동하는 똑똑한 학생을 만들 수 있을까?"

그들이 수행한 작업은 다음과 같이 간단한 개념으로 나누어 설명할 수 있습니다.

1. 목표: 빠른 학생

그들은 학생 모델이 교사와 똑같이 똑똑하면서도, 열 번의 시뮬레이션을 돌릴 필요가 없기를 원했습니다. 학생은 질문을 한 번만 보고도 즉시 답을 내놓을 수 있어야 하며, 동시에 자신이 얼마나 확신하는지도 말할 수 있어야 합니다.

학생을 빠르게 만들기 위해, 그들은 LoRA(Low-Rank Adaptation)라는 기술을 사용했습니다. 이것은 학생에게 "보조 바퀴"나 가벼운 배낭을 채워주는 것과 같습니다. 학생의 거대한 뇌 전체를 새로 만드는 대신(이는 매우 크고 비용이 많이 듭니다), 그저 아주 작고 특화된 부분만을 미세하게 조정하여 교사로부터 배우게 하는 것입니다.

2. 두 가지 유형의 학생

연구진은 학생이 불확실성을 표현하는 법을 가르치기 위해 두 가지 다른 방법을 시도했습니다.

"평균" 학생 (Softmax):
이 학생은 교사의 열 가지 버전이 낸 결과의 평균을 학습합니다. 만약 교사의 버전들이 "예" 50%, "아니오" 50%였다면, 이 학생은 "예 50%"라고 배우는 식입니다.
- 문제점: 이 학생는 평균은 말할 수 있지만, 그 평균 뒤에 숨겨진 이야기를 잊어버립니다. 교사가 혼란스러웠던 것인지(모든 버전이 불일치), 아니면 단순히 데이터 자체가 노이즈가 많았던 것인지 알지 못합니다. 그 모든 복잡한 불확실성을 하나의 숫자로 붕괴시켜 버립니다.
"증거" 학생 (Dirichlet):
이것이 이 논문의 핵심 혁신입니다. 이 학생은 단순히 평균을 배우는 것이 아니라, 증거의 관점에서 생각하는 법을 배웁니다.
- 교사의 열 가지 버전이 법정의 열 명의 목격자라고 상상해 보세요.
- Softmax 학생은 단순히 투표수를 셉니다: "6명은 유죄, 4명은 무죄."
- Dirichlet 학생은 목격자들의 확신도를 봅니다. 10명의 목격자가 모두 높은 확신을 가지고 "유죄!"라고 외쳤나요? 아니면 모두가 낮은 확신으로 "유죄일 수도 있겠는데요..."라고 중얼거렸나요?
- 이 학생은 "디리클레 분포(Dirichlet distribution)"를 출력하는데, 이는 수학적으로 "여기에 나의 최선의 추측이 있고, 이를 뒷받침할 증거가 얼마나 있는지에 대한 척도가 있다"라고 말하는 방식입니다. 증거가 적다면, 학생은 설령 추측이 명확해 보이더라도 자신이 불확실하다는 것을 압니다.

3. 마법의 기술: 지식 증류 (Knowledge Distillation)

학생을 가르치는 과정은 지식 증류라고 불립니다.

연구진은 느린 교사가 많은 연습 문제에 대해 열 번의 시뮬레이션을 실행하도록 했습니다.
그들은 이 열 번의 시뮬레이션 결과(평균적인 추측과 의견의 분포)를 가져와서 학생에게 입력했습니다.
그 후 학생은 단 한 번의 순방향 패스(forward pass)만으로 그 결과들을 흉내 내도록 훈련되었습니다.
그들은 학생이 단순히 교사의 실수를 암기하는 것이 아니라 올바른 패턴을 실제로 배우도록 하기 위해 "스톱워치" 방식(조기 종료, Early Stopping)을 사용했습니다.

4. 결과: 속도 vs. 지능

논문은 텍는 분류 작업(예: 리뷰를 "긍정적" 또는 "부정적"으로 분류하는 작업)에 대해 테스트를 진행했습니다.

속도: 교사는 많은 시뮬레이션을 실행해야 했기에 느렸습니다. 반면 학생은 단 한 번만 실행하면 되므로 11배에서 36배 더 빨랐습니다.
정확도: 학생은 정답을 맞히는 데 있어 교사와 거의 대등한 성능을 보였습니다.
불확실성: Dirichlet 학생은 특히 자신이 언제 불확실한지 아는 능력이 뛰어났습니다. 학생은 "데이터가 혼란스러워서 모르는 것인지"(인식론적 불확실성, Epistemic uncertainty)와 "질문 자체가 모호해서 모르는 것인지"(우연적 불확실성, Aleatoric uncertainty)를 구분할 수 있었습니다.

핵심 요약

이 논문은 자신들이 성공적으로 "불확실성을 위한 빠른 차선"을 구축했다고 주장합니다. 그들은 샘플링 기반의 느리고 무거운 AI(자신이 무엇을 모르는지 잘 아는 모델)를 가져와서, 이를 가볍고 단 한 번의 패스로 작동하는 모델로 지식을 증류해 냈습니다.

교사: 자신의 작업을 열 번 확인하는 느리고 신중한 전문가.
학생: 한 번의 확인만으로도 자신이 얼마나 확신해야 하는지 정확히 알 수 있도록 배운, 빠르고 효율적인 일꾼.

저자들은 이것이 텍스트 분류(텍스트을 카테고리로 분류하는 것)에 효과적이라는 점을 강조합니다. 아직 긴 이야기를 생성하거나 복잡한 추론 과제에 적용된다고 주장하지는 않지만, 막대한 계산 비용 없이도 불확실성을 인지하는 빠른 AI를 가질 수 있다는 개념을 입증했다고 믿습니다.

기술 요약: LLM의 효율적인 불확실성을 향한 증거적 지식 증류 (Evidential Knowledge Distillation)

문제 제기
정확한 불확실성 정량화는 대규모 언어 모델(LLM)의 핵심적인 과제입니다. 베이지안 신경망(BNN) 및 앙상블 기반 접근 방식(예: Bayesian Prompt Ensembles)과 같이 이론적으로 근거가 탄탄한 방법들은 인식론적 불확실성(epistemic uncertainty)을 효과적으로 모델링하고 보정(calibration)을 개선하지만, 계산 비용이 매우 높다는 단점이 있습니다. 이러한 방법들은 예측 분포를 근사하기 위해 훈련 및 추론 과정 모두에서 여러 번의 포워드 패스(샘플링)를 요구하는 몬테카를로 샘플링 방식을 사용합니다. 이러한 다중 패스 요구 사항은 추론 지연 시간을 크게 증가시켜, 실시간 또는 대규모 애플리케이션에서 불확실성을 인지하는 LLM을 실제로 배포하는 데 제약을 줍니다.

방법론
저자들은 계산 집약적인 샘플링 기반 "교사(teacher)" 모델로부터 효율적인 단일 패스 "학생(student)" 모델로 불확실성 추정치를 전이하기 위한 증거적 지식 증류(Evidential Knowledge Distillation) 프레임워크를 제안합니다.

교사 모델: 본 연구는 두 가지 구별되는 샘플링 기반 교사를 활용합니다:
- Bayesian Prompt Ensembles (BayesPE): 입력 프롬프트에 대한 앙상블 정식화입니다.
- Laplace LoRA: LoRA 가중치에 대한 라플라스 근사를 사용하는 베이지안 접근 방식입니다.
  두 교사 모델은 총 불확실성(우연적 불확실성 + 인식론적 불확실성)을 포착하기 위해 여러 샘격(프롬프트 또는 가중치 섭동)을 집계하여 예측 분포를 생성합니다.
학생 아키텍처: 학생 모델은 LoRA(Low-Rank Adaptation)를 사용하여 미세 조정된 사전 학습된 LLM(Mistral 7B Instruct)입니다. 이를 통해 전체 모델을 재학습하지 않고도 효율적인 파라미터 업데이트가 가능합니다. 증류 과정에서는 (해당하는 경우) 교사로부터 학생의 LoRA 행렬을 초기화하고, 수정된 분류 헤드를 사용하여 미세 조정합니다.
증류 전략: 본 논문은 두 가지 학생 출력 파라미터화를 비교합니다:
- Softmax 학생: 단일 범주형 분포(평균 확률)를 소프트맥스를 통해 출력하는 베이스라인 모델입니다. 이는 교사의 평균 예측에 대한 음의 로그 가능도(negative log-likelihood)를 최소화합니다. 빠르기는 하지만, 모든 불확실성을 섀논 엔트로피(Shannon entropy)로 붕괴시켜 우연적 불확실성과 인식론적 불확실성 성분을 구분하지 못합니다.
- Evidential (Dirichlet) 학생: 이 모델은 **증거적 딥러닝(Evidential Deep Learning)**을 채택하여 디리클레(Dirichlet) 분포의 파라미터( $\alpha$ )를 출력합니다. 클래스 확률을 직접 예측하는 대신, 로짓(logits)으로부터 유도된 집중 파라미터( $\alpha_c = 1 + \text{softplus}(z_c)$ )를 예측합니다. 총 증거( $\alpha_0 = \sum \alpha_c$ )는 신뢰도의 명시적인 척도로 기능합니다. 이 정식화는 단일 포워드 패스 내에서 우연적 불확실성(데이터 자체의 노이즈)과 인식론적 불확실성(모델의 무지)을 분리할 수 있게 해줍니다.
훈련 목적 함수: 학생 모델은 교사의 예측 분포를 일치시키도록 훈련됩니다. 증거적 학생을 위한 손실 함수는 교사의 샘플링된 예측에 대한 디리클레 분포 하의 음의 로그 가능도입니다.
- 정규화: 저자들은 과잉 확신을 방지하고 훈련을 안정화하기 위해 집중 파라미터 $\alpha_0$ 에 대한 다양한 정규화 전략(이를 상수로 고정하거나, 균등 사전 분포로 유도하거나, 학습 가능한 데이터셋 전체 평균에 고정하는 방식 등)을 조사합니다.
- 조기 종료: 교사의 노이즈에 과적합되는 것을 방지하기 위해 실제 레이블에 대한 음의 로그 가능도(NLL)를 기준으로 훈련을 중단합니다.

주요 결과
실험은 Mistral 7B 백본을 사용하여 네 가지 텍스트 분류 데이터셋(Amazon, SST2, Yahoo, YouTube)에서 수행되었습니다.

추론 효율성: 증류된 학생 모델은 교사 모델에 비해 추론 시간을 대폭 단축했습니다. BayesPE 교사의 경우, 디리클레 학생은 교사가 요구하는 여러 번의 패스 대신 단 한 번의 패스만 필요하므로 11배에서 36배 더 빠릅니다 (예: Yahoo 데이터셋에서 36배 가속).
예측 성능: 증류된 학생 모델은 교사의 예측 정확도와 일치하거나 때때로 이를 능가합니다. 예를 들어, 디리클레 학생은 Yahoo(+1.7 pp) 및 YouTube(+2.5 pp) 데이터셋에서 BayesPE 교사보다 높은 성능을 보였습니다.
불확실성 정량화:
- 보정(Calibration): 디리클레 학생은 일반적으로 교사와 Softmax 베이스라인보다 낮은 기대 보정 오차(ECE) 및 브라이어 점수(Brier score)를 달성합니다.
- OOD 탐지: OOD(분포 외) 실험에서 디리클레 학생은 교사 및 Softmax 학생에 비해 인도메인(in-domain) 샘플과 OOD 샘플을 구분하는 탁월한 능력(높은 AUROC)을 보여주었습니다. 이는 OOD 데이터에 대해 총 예측 엔트로피를 성공적으로 증폭시켰습니다.
- 분해: Softmax 학생과 달리, 디리클레 학생은 불확실성을 우연적 및 인식론적 성분으로 성공적으로 분해하여 더 풍부한 불확실성 신호를 제공합니다.
수렴: BayesPE 교사로부터 증류된 학생은 매우 빠르게 수렴(종종 1~~5 에폭 이내)한 반면, Laplace 교사로부터의 학생은 더 많은 에폭(20~~40)이 필요했습니다. 이는 후자가 더 복잡한 최적화 지형을 가지고 있음을 시사합니다.

의의 및 주장
본 논문은 LLM의 증류에 증거적 딥러닝을 적용한 첫 번째 사례라고 주장합니다. 이 연구의 주요 기여는 효율적인 단일 패스 불확실성 추정을 위한 토대를 마련한 것입니다.

효율성 vs. 정확도 트레이드오프: 본 연구는 계산 집약적인 샘플링 방법의 강력한 불확실성 모델링 능력을 추론 지연 시간 없이도 상속받는 것이 가능하다는 것을 입증합니다.
인식론적 모델링: 디리클레 출력을 활용함으로써, 표준 소프트맥스 증류에서 상실되는 기능인 명시적 인식론적 불확실성 모델링을 구현합니다.
범위 및 한로: 저자들은 현재의 연구를 이산 텍ex 분류 작업에 국한된 개념 증명(proof-of-concept)으로 겸허히 규정합니다. 이 프레임워크를 개방형 텍스트 생성으로 확장하는 것이 향후 연구 방향임을 인정합니다. 본 연구는 교사의 절대적인 능력을 개선하기보다는 교사의 성능을 일치시키는 데 초점을 맞추고 있으나, 증류 과정의 정규화 효과와 조기 종료 덕분에 학생 모델이 때때로 교사를 능가하는 결과가 나타나기도 했습니다.