[기술 요약] 두 가지 분산의 이야기: 베이지안 딥러닝에서 단일 시드 벤치마크가 실패하는 지점

1. 문제 정의 (Problem Statement)

베이지안 딥러닝(Bayesian Deep Learning, BDL) 연구에서 모델의 성능은 흔히 CRPS(Continuous Ranked Probability Score)와 같은 확률적 회귀 지표의 **단일 종단 평균값(single endpoint mean)**으로 보고됩니다. 하지만 데이터가 제한적인 상황(limited-data settings)에서 이러한 지표는 학습 데이터 샘플링과 초기화 과정에 따라 변하는 **확률 변수(random variable)**입니다.

본 논문은 **"단일 시드로 보고된 벤치마크 결과가 실제 모델의 기대 성능을 얼마나 신뢰할 수 있는가?"**라는 질문을 던집니다. 특히, 특정 학습 데이터 크기($n$) 구간에서 평가 지표의 분산이 급격히 커지는 현상이 발생할 때, 단일 시드 보고가 모델의 실제 성능을 심각하게 왜곡할 수 있음을 지적합니다.

2. 연구 방법론 (Methodology)

2.1 평가 프레임워크

• 데이터셋: 합성 데이터(Synthetic) 및 6개의 실제 데이터셋(Kin8nm, Protein, Make Regression, Tetouan, Seoul Bike)을 사용.
• 방법론 분류:
  • Direct Parameterization (직접 매개변수화): 학습된 이분산(heteroscedastic) 출력 헤드를 통해 분산을 직접 학습하는 방식 (예: MAP, Deep Ensembles).
  • Implicit Uncertainty (암시적 불확실성): 별도의 분산 헤드 없이 확률적 평균화를 통해 불확실성을 얻는 방식 (예: MC Dropout, Bayes by Backprop).
• 실험 설계: 각 학습 데이터 크기($n$)에 대해 50회의 독립적인 반복 실험을 수행하여 CRPS의 분산 궤적(variance trajectory)을 추적.

2.2 분석 지표

• 분산 궤적 분석: 분산이 데이터 크기에 따라 감소하는 양상을 파워 로(power-law) 모델($Var \approx Cn^{-\alpha}$)로 피팅하여, 궤적이 규칙적인지(regular) 불규칙한지(irregular) 분석.
• 단일 시드 신뢰도 측정: 단일 실행 결과가 반복 실행 평균에서 얼마나 벗어나는지를 **상대적 RMSE(relative RMSE)**와 평균 $\pm 10\%$ 범위 내에 존재할 확률로 정량화.
• 국소 분산(Local Variance)의 진단 가치: 국소 분산이 단일 시드 추정 오차의 직접적인 신호(signal)가 될 수 있는지 Spearman 상관계수를 통해 검증.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 불규칙한 분산 스파이크 발견 (Intermediate-$n$ Spikes)

• 결과: MAP 및 Deep Ensembles와 같은 직접 매개변수화 방식은 실제 데이터셋에서 중간 규모의 학습 데이터 크기($n$) 구간에서 **급격한 분산 스파이크(variance peaks)**를 보였습니다.
• 의미: 이는 분산이 데이터 증가에 따라 매끄럽게 감소(smooth contraction)하는 암시적 방식(MCD, BBB)과 대조적입니다. 이 스파이크 구간에서는 단일 시드 보고가 모델의 실제 성능을 전혀 대변하지 못할 수 있습니다.

3.2 단일 시드 보고의 심각한 실패 사례

• 결과: Seoul Bike 데이터셋의 경우, 분산 스파이크 지점에서 MAP의 상대적 RMSE는 **93.6%**에 달했으며, 단일 시드 결과가 평균의 $\pm 10\%$ 이내에 있을 확률은 단 **5.9%**에 불과했습니다.
• 진단 도구의 유효성: 국소 분산과 단일 시드 추정 오차 사이의 Spearman 상관계수가 모든 실제 데이터셋에서 0.96 이상으로 나타나, 분산 궤적을 통해 벤치마크의 위험 구간을 정확히 예측할 수 있음을 증명했습니다.

3.3 불안정성의 원인 규명: $\beta$-NLL의 효과

• 가설: 표준 이분산 음의 로그 가능도(heteroscedastic NLL) 목적 함수가 최적화 불안정성을 유발할 것이다.
• 결과: 표준 NLL 대신 $\beta$-NLL 목적 함수를 사용했을 때, 직접 매개변수화 방식의 분산 궤적이 매우 규칙적이고 매끄러운 감소 패턴을 보였습니다($R^2$ 대폭 상승). 이는 학습 목적 함수가 벤치마크의 신뢰성을 떨어뜨리는 주요 원인 중 하나임을 시사합니다.

4. 연구의 의의 및 시사점 (Significance)

1. 벤치마크 관행의 변화 촉구: 연구자들은 단순히 최종 평균값만 보고할 것이 아니라, **궤적의 규칙성(Power-law fit quality, Monotonicity)**을 함께 보고해야 합니다.
2. 효율적인 반복 실험 전략: 모든 데이터 크기에서 반복 실험을 수행하는 대신, 국소 분산이 높은(위험한) 구간에 집중적으로 반복 실험을 배치함으로써 계산 자원을 효율적으로 사용하여 신뢰도를 높일 수 있습니다.
3. 실무적 가이드라인 제공: 직접 분산을 학습하는 모델을 사용할 경우, 불안정성을 줄이기 위해 $\beta$-NLL과 같은 수정된 목적 함수를 사용하는 것이 저비용 고효율의 해결책이 될 수 있음을 제시했습니다.

---

요약 결론: 본 논문은 베이지안 딥러닝 벤치마크가 특정 데이터 규모에서 심각하게 왜곡될 수 있음을 수학적/실험적으로 증명하였으며, 이를 진단하고 완화할 수 있는 구체적인 방법론(분산 궤적 분석 및 $\beta$-NLL)을 제시한 중요한 연구입니다.