기술 요약: 베이지안 딥러닝에서의 보정된 샘플링 프리 불확실성 추정 (Calibrated Sampling-Free Uncertainty Estimation in Bayesian Deep Learning)

1. 문제 정의

트랜스포머 아키텍처를 기반으로 하는 현대적 딥러닝 모델들은 과잉 확신(overconfidence)에 빠지기 쉬우며, 이는 질병 진단, 법률적 추론, 시각 장애인을 위한 시각 보조와 같은 고위험 애플리케이션에서의 신뢰성을 제한합니다. 베이지안 신경망(BNNs)은 파라미터 분포를 학습함으로써 원칙적인 불확실성 정량화 경로를 제공하지만, 테스트 시점에서의 심각한 병목 현상이 남아 있습니다.

표준 베이지안 추론은 가중치를 샘플링하여 여러 번의 순전파(Monte Carlo 또는 MC 샘pling)를 통해 예측을 평균화해야 하는데, 이는 대규모 아키텍처에서 계산적으로 매우 부담이 큽니다. 반대로, 평균 네트워크만을 사용하는 방식(분산을 무시하는 방식)은 효율적이지만 불확실성을 포착하지 못합니다. 기존의 분산 전파 방법들은 평균과 분산을 레이어를 통해 분석적으로 전파하지만, 역사적으로 다층 퍼셉트론(MLP)에 국한되어 왔습니다. 이들의 현대적 아키텍처(Transformer, ResNet 기반 CNN)로의 확장은 깊이 증가와 정규화 레이어의 존재로 인해 어려움이 있었습니다. "Streamlining" [30]과 같은 이전 시도들은 정규화 레이어와 활성화 함수를 선형화하였는데, 그 결과 전파된 평균이 마지막 레이어까지 평균 네트워크와 동일하게 유지되어, 추가된 계산 비용에도 불구하고 선택적 예측(selective prediction)을 개선하는 데 실패했습니다.

2. 방법론: 보정된 분산 전파 (Calibrated Variance Propagation, CVP)

저자들은 Transformer 및 CNN을 포함한 현대적 아키텍처를 위해 단 한 번의 순전파로 정확한 불확실성 추정치를 제공하도록 설계된 종합적인 프레임워크인 **보정된 분산 전파(CVP)**를 제안합니다. CVP는 결정론적 순전파를 $(\mu, \Sigma)$ 평균-분산 쌍을 네트워크를 통해 전파하는 연산 체인으로 대체하여 작동합니다.

이 방법론은 세 가지 구체적인 기술적 격차를 해결합니다:

A. 활성화 함수를 위한 정확한 모멘트 (Exact Moments for Activation Functions)

입력 분산에 대해 전파된 평균이 독립적으로 남게 되는 이전 연구의 델타 방법(1차 테일러 선형화)과 달리, CVP는 비선형 활성화를 위해 **정확한 모멘트 매칭(exact moment matching)**을 사용합니다. 가우시안 입력을 가정할 때, CVP는 GELU, sigmoid, tanh, ReLU에 대한 폐쇄형 표현식(closed-form expressions)을 활용합니다. 이를 통해 전파된 평균이 매 비선형 지점에서 평균 네트워크의 예측으로부터 벗어나게 함으로써, 입력 의존적 불확실성을 포착합니다.

B. 정규화 레이어를 위한 기댓값 기반 규칙 (Expectation-Based Rule for Normalization Layers)

핵심 기여 중 하나는 정규화 레이어(예: LayerNorm)를 위한 새로운 전파 규칙입니다. 기존 방법들은 $s^2(x)$를 $s^2(\mu_x)$로 선형화하여 해당 연산을 평균에 대한 결정론적 아핀 변환으로 축소했습니다. CVP는 $s^2(x)$를 입력 분포 하에서의 기댓값으로 대체합니다:
$$E[s^2(x)] = s^2(\mu_x) + \left(1 - \frac{1}{D}\right)\bar{\Sigma}_x$$
여기서 $\bar{\Sigma}_x$는 대각 입력 분산의 평균입니다. 이는 LayerNorm 연산을 입력 모멘트에 대해 아핀(affine)하게 만들어, 트랜스포머 아키텍처의 핵심인 정규화 레이어를 통해 불확실성을 정확하게 전파할 수 있게 합니다.

C. 레이어별 보정 (Per-Layer Calibration)

깊이가 깊어짐에 따라 발생하는 근사 오차(대각 공분산 및 가우시안 입력 가정에서 기인함)의 누적을 방지하기 위해, CVP는 학습 가능한 레이어별 스케일링 인자($\alpha_i$)를 도입합니다. 이 인자들은 주요 레이어(특히 활성화 및 정규화 레이어 직전) 이후에 전파된 분산을 곱셈적으로 재조정합니다. $\alpha_i$ 파라미터는 템퍼러처 스케일링(temperature scaling)과 유사하게, 홀드아웃 검증 세트에서 음의 로그 가능도(NLL)를 최소화함으로써 경량화된 보정 단계에서 피팅됩니다.

3. 주요 기여

1. 정규화 레이어를 위한 분산 전파 규칙: 저자들은 선형화에 비해 합성 데이터 및 실제 모델 활성화에서 훨씬 개선된 MC 샘플링 충실도를 제공하는 새로운 정규화 레이어 규칙을 개발했습니다.
2. 레이어별 보정 단계: 학습 가능한 스케일링 인자의 도입은 체계적인 오차 누적을 교정하여, 보정 성능과 결정적으로 선택적 예측 성능을 크게 향м 향상시킵니다.
3. 최적화된 구현: CVP 구현은 결정론적 순전파 대비 약 2~3배의 계산 비용만으로 단 한 번의 순전파 내에서 실행되며, 반복적인 샘플링 오버헤드 없이 상당한 신뢰성 이득을 제공합니다.

4. 실험 결과

CVP는 단일 모달(이미지 분류: CIFAR-10, CIFAR-100, ImageNet) 및 다중 모달(VQA: VQAv2; 시각적 추론: NLVR2) 벤치마크에서 IVON 변분 최적화 도구로 학습된 모델을 통해 평가되었습니다.

• 효율성-신뢰성 트레이드오프: CVP는 평균 네트워크와 MC 샘플링 모두를 **파레토 우위(Pareto-dominate)**합니다. CVP는 MC 샘플링(예: 4개 샘 샘플)에 필적하는 불확실성 품질을 달성하면서도 훨씬 적은 비용(단일 패스의 약 2.3~2.9배 vs 4개 샘플의 4배)이 소요됩니다.
• 선택적 예측: CVP는 위험 대비 커버리지(Coverage at Risk, C@R)에서 뚜렷한 개선을 보입니다. 예를 들어, BEiT-3를 사용한 NLVR2 벤치마크에서 CVP는 0.5% 리스크에서의 커버리지를 Streamlining의 8.2%에서 **14.6%**로 개선했습니다. VQAv2 (ViLT 사용)에서는 2.6%에서 **10.8%**로 개선되었습니다.
• Streamlining과의 비교: Streamlining은 평균 네트워크보다 보정 성능을 약간 개선하지만, 전파된 평균이 평균 네트워크와 동일하게 유지되기 때문에 선택적 예측을 개선하는 데 실패합니다. CVP의 조기 평균 발산과 레이어별 보정은 Streamlining을 유의미하게 능가하게 합니다.
• 절제 연구(Ablation Studies): CVP의 구성 요소(정확한 활성화 모멘트, 정규화 규칙, 또는 레이어별 보정) 중 하나라도 제거하면 성능이 저하되며, 이는 관찰된 이득을 위해 세 요소가 모두 필요함을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 CVP가 현대적이고 대규모인 아키텍처를 위한 샘플링 프리 불확실성 추정을 가능하게 함으로써 베이지안 딥러닝의 중요한 간극을 메운다고 주장합니다. 그 의의는 다음과 같습니다:

• 실용성: 반복적인 추론이 불가능한 실시간, 안전 필수 시스템을 위한 실행 가능한 대안을 제공합니다.
• 아키텍처 범용성: 이전 방법들이 MLP 구조에 국한되었던 한계를 극복하고, 다중 모달 트랜스포머 및 ResNet에 성공적으로 확장된 최초의 분산 전파 프레임워크입니다.
• 성능: 일관된 파레토 개선을 제공하며, 저비용으로도 고비용의 MC 샘플링 방법과 일치하거나 이를 능가하는 신뢰성 지표(보정 및 선택적 예측)를 제공합니다.

저자들은 CVP가 결정론적 패스의 약 두 배에 달하는 메모리 사용량(분산 저장을 위해)을 초과하며 보정을 위한 홀드아웃 세트가 필요하다는 점을 언급하며 한계를 인정합니다. 또한, 현재 실험은 분류 또는 VQA 헤드를 가진 인코더 스타일 아키텍처로 제한되어 있으며, 자기회귀 생성(autoregressive generation)은 향후 과제로 남겨두었습니다. 그러나 이 방법은 딥러닝을 위한 효율적이고 신뢰할 수 있는 불확실성 정량화의 새로운 기준을 세웁니다.