An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 이 의료, 법률, 금융 등 중요한 분야에서 활용됨에 따라 모델이 "무엇을 알고 있는지"와 "무엇을 모르는지"를 구분하는 신뢰성 평가가 필수적입니다. 그러나 기존 불확실성 정량화 방법들은 다음과 같은 심각한 한계를 가집니다.

• 계산적 비효율성: 베이지안 프레임워크를 적용하는 정확한 방법 (예: MCMC) 은 현대의 거대 모델에는 계산적으로 불가능합니다.
• 학습 데이터 접근 불가: 라플라스 근사 (Laplace Approximation) 나 헤시안 (Hessian) 기반 방법들은 학습 데이터가 필요하지만, 대부분의 LLM 은 학습 데이터가 공개되지 않습니다.
• 실용적 제약: 딥 앙상블 (Deep Ensembles) 은 여러 모델을 학습시켜야 하므로 비용이 많이 들고, MC Dropout 은 아키텍처 수정이 필요합니다.

2. 방법론 (Methodology)

저자들은 두 가지 근사 (Approximation) 를 통해 경량화된 불확실성 추정식을 유도했습니다.

A. 1 차 테일러 전개 (First-Order Taylor Expansion / Delta Method)

예측 분포를 파라미터의 MAP (Maximum A Posteriori) 추정치 $\theta^*$ 주변에서 1 차 테일러 전개하여 근사합니다. 이를 통해 예측 분산 (불확실성) 을 파라미터의 기울기 (Gradient) 와 파라미터 공분산 (Covariance) 의 곱으로 표현합니다.
$$\text{Var}[p(y|x, \theta)] \approx \nabla_\theta p(y|x, \theta)^T \cdot \text{Cov}[\theta] \cdot \nabla_\theta p(y|x, \theta)$$

B. 파라미터 공분산의 등방성 가정 (Isotropy Assumption)

가장 핵심적인 혁신은 파라미터 공분산 행렬 $\text{Cov}[\theta]$ 를 **등방성 (Isotropic)**인 단위 행렬 $I$로 가정하는 것입니다.

• 지식적 불확실성 (Epistemic Uncertainty): 공분산을 $I$로 가정하면, 위 식은 단순히 **기울기의 제곱 노름 (Squared Gradient Norm, $\|g\|^2$)**이 됩니다. 이는 모델이 파라미터 공간에서 얼마나 민감하게 반응하는지를 나타냅니다.
• 우연적 불확실성 (Aleatoric Uncertainty): 동일한 전개를 베르누이 분산에 적용하면, 모델의 점 예측값 (Point Prediction) 에서 직접 계산된 베르누이 분산 ($p(1-p)$) 으로 도출됩니다.

결과: 이 두 가지 근사를 결합하면, 수정되지 않은 사전 훈련된 모델을 통해 단순한 순전파 (Forward) 와 역전파 (Backward) 한 번으로 완전한 불확실성 분해가 가능합니다.

C. 등방성 가정의 정당성 (Justification)

저자들은 왜 복잡한 공분산 행렬 대신 단위 행렬을 쓸 수 있는지 세 가지 이유로 설명합니다.

1. 프록시 데이터의 구조적 왜곡: LLM 의 경우 학습 데이터가 없으므로 공분산을 추정하려면 프록시 데이터 (대리 데이터) 를 사용해야 합니다. 이는 특정 영역에 편향된 구조적 왜곡 (Structured Bias) 을 일으켜 오히려 등방성 가정보다 나쁜 결과를 초래할 수 있습니다.
2. 대규모 모델의 스펙트럼 특성: 대규모 신경망의 헤시안 (또는 피셔 정보 행렬) 스펙트럼은 소수의 큰 고유값과 0 에 가까운 대다수의 고유값으로 구성됩니다. 안정화를 위한 감쇠 (Damping) 항이 지배적이 되어, 역행렬이 단위 행렬에 수렴한다는 이론적/실증적 근거가 있습니다.
3. 실증적 성공: 데이터 귀속 (Data Attribution), OOD 검출 등 인접 분야에서 등방성 가정이 복잡한 곡률 보정보다 우수한 성능을 보인 사례가 많습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 추정식 유도: 1 차 테일러 전개와 등방성 가정을 기반으로 지식적/우연적 불확실성 추정식을 유도하고, 프록시 편향 분석, 스펙트럼 이론, 실증적 사례를 통해 등방성 가정을 체계적으로 정당화했습니다.
2. MCMC 를 통한 검증: 합성 문제 (Synthetic Problems) 에서 기준이 되는 MCMC 추정치와 비교하여, 분류 문제에서 강한 상관관계 (Spearman $\rho$: 0.44~0.99) 를 보였으며, 모델 크기가 커질수록 정확도가 향상됨을 확인했습니다.
3. LLM 질문 응답에서의 유용성 분석: TriviaQA(사실 회상) 와 TruthfulQA(오개념 및 모호한 질문) 에서 불확실성 유형별 유용성을 분석했습니다.

4. 실험 결과 (Results)

A. 합성 데이터 검증

• 분류 문제: 기울기 노름 ($\|g\|^2$) 이 MCMC 기반 지식적 불확실성과 높은 상관관계를 보였습니다. 특히 모델 크기가 커질수록 (과매개변수화 영역) 등방성 가정의 정확도가 증가하는 U 자형 추세를 보였습니다.
• 회귀 문제: 비선형성이 강한 문제에서는 등방성 가정이 오차의 주 원인이 되어 라플라스 근사보다 성능이 떨어졌으나, 이는 모델이 충분히 크지 않을 때 발생하는 현상임을 확인했습니다.

B. LLM 질문 응답 (Question Answering)

• TriviaQA (사실 회상): 정답이 명확한 사실 기반 질문에서는 P(True)(모델이 스스로 정답이라고 판단하는 확률) 가 가장 성능이 좋았습니다. 지식적 불확실성은 거의 무작위 수준 (Chance) 에 머물렀습니다. 이는 사실적 오류가 파라미터 수준의 불일치와 반드시 일치하지 않음을 시사합니다.
• TruthfulQA (오개념 및 모호성): 상식적 오개념이나 모호한 답변이 공존하는 질문에서는 지식적 + 우연적 불확실성의 결합이 가장 높은 AUROC(0.63) 를 기록했습니다. 이는 모델이 " plausible answers(설득력 있는 답변)" 간의 실제 충돌을 감지할 때 파라미터 수준의 불확실성이 유용한 신호가 됨을 의미합니다.
• 계산 효율성: 제안된 방법은 생성 후 역전파 한 번으로 계산되므로, 기존 베이스라인 (샘플링 기반 또는 자기 평가) 보다 46~107 배 빠릅니다.

5. 의의 및 결론 (Significance)

• 효율성과 접근성: 별도의 학습 데이터나 추가 모델 학습 없이, 기존 LLM 에만 적용 가능한 경량 불확실성 정량화 방법을 제공합니다.
• 불확실성 유형의 구분: "사실 회상"과 "개념적 충돌/모호성"이라는 서로 다른 작업 유형에서 지식적 불확실성과 우연적 불확실성이 서로 다른 신호를 제공함을 규명했습니다. 특히 TruthfulQA 와 같은 복잡한 시나리오에서는 파라미터 수준의 불확실성 (기울기 노름) 이 모델의 자기 평가 (Self-assessment) 와 보완적인 역할을 합니다.
• 한계: 모델 간 전이 (Cross-model transfer) 가 어렵고, 중간 크기의 모델이나 회귀 문제에서는 등방성 가정이 오차를 유발할 수 있습니다. 또한, 기울기 노름의 절대적 크기는 모델 아키텍처에 따라 달라져 보정이 필요합니다.

결론적으로, 이 논문은 대규모 언어 모델의 신뢰성 평가에 있어 복잡한 베이지안 추론을 대체할 수 있는 실용적이고 이론적으로 타당한 새로운 패러다임을 제시하며, 특히 모델이 "무엇을 모르는지"를 식별하는 데 있어 기울기 기반 접근법의 잠재력을 입증했습니다.