기술 요약: 마지막 레이어가 불확실성 정량화에 충분한가?

문제 정의

딥 뉴럴 네트워크(DNN)를 미션 크리티컬한 환경에 도입하는 데 있어, 신뢰할 수 있는 인식론적 불확실성 정량화(Epistemic Uncertainty Quantification, UQ)의 부재가 걸림돌이 되고 있다. 베이지안 방법론은 예측 사후 분포를 통해 불확실성을 모델링하는 자연스러운 프레임워크를 제공하지만, 딥 앙상블(Deep Ensembles, DE)이나 완전한 베이지안 뉴럴 네트워크(BNN)와 같은 기존 접근 방식은 과도한 계산 비용을 초кти 발생시킨다. 이러한 부담을 줄이기 위한 흔한 근사법은 DNN을 파라미터 주변에서 선형화하여 베이지안 일반화 선형 모델(Bayesian Generalized Linear Model, GLM)을 형성하는 것이다. 그러나 이 분야의 지배적인 가정은, 마지막 연결 레이어만을 선형화하는 것(즉, "마지막 레이어 근사")이 전체 네트워크를 선형화하는 것(전체 선형화)에 비해 UQ 성능을 크게 저하시킨다는 것이다. 본 논문은 이러한 계산 효율성과 UQ 충실도 사이의 트레이드오프가 반드시 필요한 것인지 조사한다.

방법론

저자들은 무작위로 초기화된 DNN을 통한 이론적 분석과 대규모 경험적 평가를 결합한 이중 접근 방식을 채택한다.

이론적 분석

본 연구는 무작위로 초기화된 DNN으로부터 유도된 두 가지 베이지안 GLM을 비교한다:

1. LL-GLM (Last-Layer GLM): 마지막 연결 레이어 파라미터만을 선형화하여 형성된다. 이는 **공액 커널(Conjugate Kernel, CK)**을 유도한다.
2. DNN-GLM (Full-Linearization GLM): 모든 네트워크 파라미터를 선형화하여 형성된다. 이는 **뉴럴 텐전트 커널(Neural Tangent Kernel, NTK)**을 유도한다.

저자들은 모델 품질과 UQ 능력의 핵심 척도로 사용되는 **베이즈 자유 에너지(Bayes Free Energy, BFE)**를 분석한다. BFE는 주변 가능도(marginal likelihood)의 음의 로그로 정의된다. 저자들은 네트워크 너비와 훈련 데이터 포인트 수가 비례적으로 모두 무한대로 향하는 이중 점근적 정칙(double-asymptotic regime) 하에서 BFE의 극한을 도출한다. 이 분석은 CK 및 NTK 그람 행렬(Gram matrices)의 결정론적 극한 스펙트럼을 특징짓기 위해 무작위 행렬 이론(Random Matrix Theory, RMT) 도구를 활용한다.

경험적 평가

이론적 발견을 실제 환경에서 검증하기 위해, 저자들은 경량 PyTorch 패키지인 LinearSampling을 도입한다. 이 프레임워크는 LL-GLM과 DNN-GLM의 예측 사후 분포로부터 샘플링하는 알고리즘을 제공한다. 이 알고리즘은 "샘플링 후 최적화(sample-then-optimize)" 전략을 사용하며, 훈련된 가중치 근처에서 파라미터를 초기화하고 (확률적) 경사 하강법을 사용하여 선형화된 최적화 문제를 해결한다. 이 방식은 수백만 개의 파라미터를 가진 대규모 모델까지 확장 가능하다.

경험적 평가는 회귀, 분류, 언어 모델링 작업을 아우르며, LL-GLM을 DNN-GLM 및 기타 최신 UQ 방법론(예: Deep Ensembles, SWAG, MC-Dropout, LLA)과 비교한다. 평가지표로는 기대 교정 오차(Expected Calibration Error, ECE), 가우시안 음의 로그 가능도(Gaussian Negative-Log Likelihood, NLL), 그리고 분포 내(in-distribution) 및 분포 외(out-of-distribution, OOD) 탐지를 위한 특화된 불확실성 지표인 VARROC(소프트맥스 예측의 분산을 이용한 AUC-ROC)가 포함된다.

주요 기여

1. 극한 BFE의 이론적 특성화: 저자들은 네트워크 구성 요소와 데이터 분포에 대한 완만한 가정 하에 CK 및 NTK 커널을 사용하는 GP(가우시안 프로세스)의 극한 BFE를 도출한다. 이 극한을 암시적 고정점 방정식(implicit fixed-point equations) 시스템의 유일한 해로 규명한다.
2. 강건성 및 하강 분석: 이론적으로, 두 커널 모두 입력 섭동(perturbation)과 하강 현상(이중 및 삼중 하강 현상 포함)에 대한 강건성을 보임을 입증한다. 저자들은 NTK가 초기화 시점에서 데이터 포인트가 네트워크 너비를 크게 초과하는 고밀도 샘플링 정칙(highly over-sampled regime)에서만 이론적 우위를 보이지만, 이 이점이 훈련 후에 사라짐을 확인하였다.
3. 대규모 경험적 검증: 다양한 작업에 걸친 광범위한 실험을 통해, LL-GLM이 DNN-GLM의 UQ 성능과 일관되게 일치함을 입증한다. 많은 경우에서 LL-GLM은 골드 스탠다드인 Deep Ensembles와 대등한 성능을 보인다.
4. 확장 가능한 샘플링 프레임워크: 대규모 언어 모델 및 딥 비전 아키텍처에 대해 베이지안 GLM으로부터 효율적인 사후 샘플링을 가능하게 하는 확장 가능한 알고리즘인 LinearSampling을 공개하여 기존의 계산적 병목 현상을 극복한다.

결과

• 이론적 발견: 분석 결과, 대부분의 정칙에서 전체 선형화가 마지막 레이어 선형화보다 UQ 능력(BFE로 측정)을 유의미하게 개선하지 못함을 밝혔다. NTK가 CK보다 이론적으로 우세한 유일한 정칙은 데이터 포인트 수가 네트워크 너비보다 훨씬 큰 경우인데, 저자들은 이를 근본적인 한계라기보다는 무작위 초기화의 결과물일 수 있다고 제안한다. 훈련 후에는 이 격차가 사라진다.
• 경험적 발견:
  • 회귀: UCI 회귀 데이터셋에서 LL-GLM은 RMSE, NLL, ECE 측면에서 DNN-GLM과 대등하거나 때때로 더 우수한 성능을 달았다.
  • 분류: 이미지 분류 작업(MNIST, FashionMNIST, CIF CIF-10/100, ImageNet)에서 LL-GLM은 DNN-GLM의 UQ 성능과 일치했다. 두 방법 모두 훈련 데이터에서 멀리 떨어진 지점에 대해 불확실성을 높이는 "거리 인식(distance-aware)" 분산을 성공적으로 포착했다.
  • 언어 모델링: 감성 분석을 위해 미세 조정된 GPT-2 모델에서, LL-GLM은 DNN-GLM과 통계적으로 구별할 수 없는 수준의 VARROC-ID 점수를 달성했다.
  • 효율성: 결정적으로, LL-GLM은 이러한 결과를 실질적으로 훨씬 낮은 계산 및 메모리 비용으로 달성했다. GPT-2 실험에서 LL-GLM은 DNN-GLM보다 10배 적은 실행 시간과 3.5배 적은 메모리를 사용했다.

의의 및 결론

본 논문은 마지막 레이어 근사가 고품질의 불확실성 정량화에 충분하다고 결론짓는다. 저자들은 이 결과가 DNN의 인식론적 불확실성이 특징(features) 자체(즉, 이전 레이어들이 학습한 표현)에 대한 불확실성보다는, 네트워크 특징이 어떻게 사용되는지(즉, 마지막 레이어 가중치)에 대한 불확실성에서 주로 기인한다는 점을 시사한다고 주장한다.

이 결과는 정확한 UQ를 위해 전체 네트워크 선형화가 필수적이라는 가정에 도전한다. 마지막 레이어 접근 방식이 대등한 성능을 낸다는 것을 검증함으로써, 본 연구는 특히 전체 네트워크 베이지안 추론이 불가능한 대규모 모델에서 마지막 레이어 선형화를 베이지안 딥러닝에 폭넓게 채택할 것을 권고한다. 저자들은 현실적인 가정 하에서의 훈련된 네트워크와의 이론적 연결 관계와 현재 인식론적 불확실성에 집중되어 있다는 점을 한계로 언급하며, 이를 향후 연구 과제로 제시한다.