Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

기술 요약: 가우시안 평균장 변분 추론(Gaussian Mean Field Variational Inference)은 예측 분산을 과대평가할 수 있다

문제 정의
평균장 변분 추론(MFVI)은 사후 분포의 분산을 과소평가하여 지나치게 확신에 찬 예측을 내놓는 근사법으로 문헌에서 널리 특징지어져 왔다. 이러한 성격은 MFVI가 파라미터 공간에서 모드 피팅(mode-fitting) 근사를 수행함으로써, 저확률 영역을 피하고 파라미터 분포의 분산을 축소시킨다는 관찰에서 기인한다. 그러나 본 논문은 목적이 파라미터 추론에서 예측으로 전환될 때 이러한 성격이 불완전하다고 주장한다. 저자들은 MFVI가 파라미터 공간에서는 분산을 과소평가할 수 있지만, 훈련 데이터 분포(In-Distribution 또는 ID 데이터)에서 추출된 테스트 지점에 대해서는 역설적으로 예측 분산을 과대평가할 수 있음을 입증한다. 이러한 과대평가는 훈련 데이터가 집중되는 방향에서 특히 두드러지게 나타난다.

방법론
저자들은 정확한 결과를 도출하기 위해 다루기 쉬운 설정인 **공액 베이지안 선형 회귀(Conjugate Bayesian Linear Regression, BLR)**를 사용하여 엄밀한 이론적 분석을 수행한다.

• 설정: 저자들은 가우시안 노이즈를 가진 선형 모델 $y = \theta^\top x + \epsilon$, 가우시안 사전 분포 $\theta \sim \mathcal{N}(0, \alpha^{-1}I)$, 그리고 훈련 데이터셋 $D$를 가정한다.
• 정확한 모델 vs 근사 모델: 이들은 정확한 사후 분포 $p(\theta|D)$ (공분산 $\Sigma$를 가진 다변량 가우시안)와 MFVI 사후 분포 $q(\theta) = \mathcal{N}(m, S)$ (여기서 $S$는 대각 행렬로 제약됨)를 비교한다.
• 이론적 유도:
  • 저자들은 최적의 MFVI 평균 $m^*$이 정확한 사후 평균 $\mu$와 같음을 유도한다.
  • 최적의 MFVI 공분산 고윳값 $d_p^*$가 정확한 사후 고윳값 $\delta_q$의 **가중 조화 평균(weighted harmonic means)**이며, 이때 가중치는 정확한 사후 공분사의 고유벡터를 정준 기저 벡터(canonical basis vectors)로 투영한 제곱값임을 보여준다.
  • 이 속성들을 사용하여, 다양한 테스트 포인트 분포에 따른 예측 분산 $x^\top S^* x$ 대 $x^\top \Sigma x$를 분석한다.
• 온도 스케일링(Temperature Scaling): 이러한 불일치를 해결하기 위해 저자들은 **콜드 포스테리어 효과(Cold Posterior Effect, CPE)**를 탐구한다. 이들은 템퍼링된(차가운) 사후 분포 $p_T(\theta|D) \propto p(D|\theta)^{1/T}p(\theta)^{1/T}$ ($T < 1$)에 대한 KL 발산을 최소화하는 "Cold MFVI" 사후 분포를 정의한다. 공액 가우시안의 경우, 이는 단순히 MFVI 공분사를 $T$만큼 스케일링하는 것($S^*_T = T S^*$)과 같다.

주요 기여

1. 과대평가의 이론적 증명: 본 논문은 구형 사전 분포(spherical priors)를 가진 BLR에 대해, MFVI가 훈련 데이터의 첫 번째 주성분 방향을 따라 예측 분산을 과대평가함을 증명한다. 결정적으로, 테스트 포인트가 경험적 훈련 분포에 따라 분포할 때, MFVI의 기대 예측 분산은 정확한 사후 분포보다 크다 (정리 3.7).
2. 캘리브레이션 제약(Calibration Constraint): 저자들은 "캘리브레이션" 속성(보조정리 3.6)을 확립한다: 정확한 사후 분포의 고유벡터들에 대해 평균을 낸 MFVI 분산과 정확한 분산의 비율은 1이다. 이는 MFVI가 일부 방향(일반적으로 데이터와 직교하는 방향)에서 분산을 과소평가한다면, 이를 보상하기 위해 다른 방향(일반적으로 데이터 분산이 높은 방향)에서는 반드시 과대평가해야 함을 의미한다.
3. 병리적인 고차원 극한 상황: 데이터가 랭크-1 부공간(rank-1 subspace)에 존재하는 병리적인 설정에서, 저자들은 차원 $P \to \infty$로 갈 때 MFVI 사후 분포가 사전 분포에 비해 예측 분산을 전혀 줄이지 못함을 보여준다. 단일 데이터 방향으로부터 오는 정보가 $P$개의 축 정렬된 성분들로 희석되어, MFVI의 예측이 사전 예측(prior predictive)으로 붕괴하게 된다.
4. 콜드 포테리어 효과(CPE)의 재해석: 본 논문은 모델 미스매치나 데이터 증강이 없는 상황에서의 CPE에 대한 새로운 설명을 제공한다. 저자들은 온도를 낮추는 것($T < 1$)이 ID 데이터에 대한 예측 분산의 과대평가를 교정하여, MFVI 예측을 정확한 사후 분포에 더 가깝게 만든다고 주장한다. 반대로, OOD(Out-of-Distribution) 데이터의 경우, 과소평가를 교정하기 위해 "따뜻한(warm)" 사후 분포($T > 1$)가 필요할 수 있다.

결과

• 합성 실험: 저차원 설정($P=2$)에서 $T=1$인 MFVI는 정확한 사후 분포를 잘 근사한다. 그러나 고차원 설정($P=1024$) 및 랭크 결핍 데이터 환경에서는 $T=1$인 MFVI가 사전 분포와 구별할 수 없을 정도로 변하여, 데이터의 정보를 포착하는 데 실패한다.
• 온도 튜닝: 합성 및 실제 UCI 회귀 작업(기저 함수 회귀 사용)에 대한 실험을 통해 다음을 확인한다:
  • ID 테스트 데이터의 경우, 최적의 온도 $T^*$는 일관되게 1보다 작으며, 이는 MFVI와 정확한 예측 분포 사이의 다양한 통계적 발산(KL, Wasserstein 등)을 최소화한다.
  • OOD 테스트 데이터(훈련 방향에 직교하는 방향)의 경우, 최적의 온도는 종종 1보다 크다.
• 기저 함수 회귀: RBF(Radial Basis Functions)를 통한 비선형 회귀에 이러한 통찰을 적용하면, 과대평가 병리 현상이 기저 함수의 개수(차원)에 따라 확장됨을 보여주며, 이는 선형 회귀의 결과와 일치한다.

의의 및 주장
본 논문은 MFVI가 항상 과신(overconfident)한다는 기존의 도그마에 도전하며, 왜 MFVI가 ID 데이터에 대해 저신뢰(underconfident, 즉 분산 과대평가)할 수 있는지에 대한 기계적 이해를 제공한다고 주장한다.

• 특성 기술의 완전성: 저자들은 "MFVI는 불확실성을 과소평가한다"는 서사가 불완전하다고 주장한다. 오차의 방향은 훈련 데이터에 대한 테스트 분포의 상대적 위치에 따라 달라진다.
• CPE의 정당화: 이 연구는 모델의 우도(likelihood)나 사전 분포의 오지정(misspecification)과 관련된 설명과는 별개로, CPE에 대한 새로운 정당성을 제공한다. 즉, 템퍼링(tempering)은 고차원 상관 관계 데이터 환경에서 평균장 가정이 유발하는 특정 근사 오류를 교정하기 위한 필수적인 과정임을 시사한다.
• 실무적 시사점: 이 결과는 테스트 데이터가 훈련 데이터와 유사한 작업의 경우, MFVI에 콜드 포스테리어(낮은 온도 적용)를 적용하는 것이 예측 캘리브레이션과 성능을 크게 향상시켜, 근사 사후 분포를 정확한 베이지안 해에 더 가깝게 정렬할 수 있음을 시사한다.

저자들은 자신의 이론적 결과가 공액 선형 모델에서 도출되었다는 점을 언급하며 겸손한 태도를 유지하지만, 이러한 직관이 비선형 기저 함수 회귀 및 실제 데이터셋에도 확장됨을 경험적으로 입증하였다. 이들은 모든 VI의 한계를 해결하려는 것이 아니라, 예측 설정에서 발생하는 특정하고 역설적인 MFVI의 실패 모드를 교정하고자 한다.