Variational Bayesian Sparse Negative Binomial Regression

기술 요약: 변분 베이지안 희소 음이항 회귀 (Variational Bayesian Sparse Negative Binomial Regression)

문제 정의
역학, 생태학, 금융 등 현대의 응용 분야에서는 과분산(variance가 mean보다 큰 경우)과 고차원 예측 변수(변수의 수 $p$가 표본의 크기 $n$을 초과하는 경우)를 특징으로 하는 계수(count) 데이터를 자주 다룹니다. 음이항(Negative Binomial, NB) 회귀 모델은 이러한 과분산을 처리하기 위한 유연한 표준 프레임워크이지만, 기존의 희소 NB 회 regression에 대한 베이지안 접근 방식은 마르코프 체인 몬테카를로(MCMC) 방법에 크게 의존합니다. 이러한 MCMC 방법은 고차원 설정에서 계산적으로 매우 비용이 많이 들어, 대규모 데이터 분석에 실질적으로 적용하기 어렵습니다. 또한, 변분 베이지안(VB)이 희소 포아송 회귀에는 성공적으로 적용되어 왔으나, 과분산과 변수 선택을 동시에 해결하는 희소 NB 회귀를 위한 종합적인 VB 프레임워크는 부족한 실정입니다.

방법론의 핵심은 평균장 근사(mean-field approximation)를 사용하는 변분 베이지안(VB) 프레임워크를 제안하는 것입니다. 이 논문의 주요 방법론적 혁신은 다음과 같습니다:

1. 모델 공식화: NB 우도(likelihood)를 보조 변수 접근법을 사용하여 재매개변수화합니다. 즉, $y_i | g_i \sim \text{Poisson}(g_i)$ 이고 $g_i | \beta, \kappa \sim \text{Gamma}(\kappa, \kappa \exp(-X_i\beta))$ 입니다. 이는 변분 업데이트를 용이하게 합니다.
2. 희소성을 유도하는 사전 분포: 회귀 계수 $\beta$에 희소성을 강제하기 위해 두 가지 특정 사전 분포를 구현합니다:
   • 연속 스파이크 앤 슬래브(Continuous Spike-and-Slab, CS) 사전 분포: 서로 다른 분산을 가진 두 가우시안 혼합을 활용하여 이산형 스파이크 앤 슬래브 사전 분포를 연속적으로 완화한 형태입니다.
   • 호스슈(Horseshoe, HS) 사전 분포: 국소적 및 전역적 척도 매개변수에 하프 코시(Half-Cauchy) 분포를 배치하여, 노이즈는 강력하게 축소(shrinkage)하면서도 큰 신호는 보존하는 전역-국소 축소 사전 분포입니다.
3. 비켤립형 변분 추론: NB 모델에서 분산 매개변수와 회귀 계수 사이의 비켤립 관계 때문에, 저자들은 비켤립 평균장 VB 프레크레임워크(Wand et al., 2011)를 사용합니다. 이는 매개변수 블록에 대해 지수 가족 분포를 가정하고, 증거 하한(Evidence Lower Bound, ELBO)을 최대화하기 위해 자연 매개변수(평균 및 공분산)에 대한 고정점 업데이트 방정식을 도출하는 과정을 포함합니다.
4. 희소성 강제: VB 사후 평균은 본질적으로 희소하지 않으므로, 저자들은 변수를 선택하기 위해 아카이케 정보 기준(AIC)에 기반한 하드 임계값 처리(hard-thresholding) 전략을 적용합니다.
5. 사후 예측 근사: 사후 예측 질량 함수를 계산하기 위해, 저자들은 분산 매개변수의 변분 평균 주변에서 적분 함수의 2차 테일러 전개를 사용하여, 로그-노말 분포의 성질을 이용해 적분을 근사합니다.

주요 기여

• 알고리즘 개발: 비켤립성을 해결하며 NB 회귀 프레임워크 내에서 CS 및 HS 사전 분포에 대한 폐쇄형(closed-form) 변분 업데이트 방정식을 도출했습니다.
• 계산 효율성: 제안된 VB 알고리즘은 MCMC 벤치마크와 대등한 추정 정확도와 변수 선택 성능을 달성하면서도, 계산 시간은 1% 미만으로 소요됩니다.
• 강건성 분석: 본 연구는 포아송 기반 VB 방법이 과분산 상황에서 실패하는 반면, 제안된 NB 방법은 데이터가 포아송 분포로부터 생성된 경우에도 강건함을 유지함을 보여주며, 이는 NB 방법이 더 안전한 기본 선택지임을 시사합니다.
• 확장성: 제안된 프레임워크는 MCMC 방법이 다루기 힘든 고차원 상황($p \gg n$)에서도 효과적임이 입증되었습니다.

결과
제안된 방법(HS-VB-NB 및 CS-VB-NB)을 빈도주의 펜널티 방법(LASSO, SCAD), 포아송 기반 VB 방법, 그리고 MCMC 벤치마크와 비교 평가하기 위해 광범위한 시뮬레이션 연구와 실제 데이터 분석이 수행되었습니다.

• 시뮬레이션 (저차원): $n=100, p=10$ 설정에서, NB-VB 방법은 MCMC와 대등한 계수 상대 오차(CRE) 및 테스트 상대 오차(TSRE)를 달ard성했습니다. 반면, 포아송 기반 VB 방법은 모델 오지정(misspecification)으로 인해 훨씬 높은 오차를 보였습니다. 또한 NB-VB 방법은 명목 수준인 0.95에 가까운 최고 사후 밀도(HPD) 구간 커버리지 확률을 제공했으나, 포아ック슨-VB 커버리지는 심각하게 결핍되었습니다(0.14–0.29).
• 시뮬레이션 (고차원): $n=30, p=200$ 설정에서, NB-VB 방법은 모든 지표(CRE, FPR, FNR, CRPS)에서 포아송-VB 방법을 능가했습니다. NB-VB 방법은 낮은 허위 양성률과 정확한 변수 선택을 유지한 반면, MCMC는 과도한 계산 비용으로 인해 이러한 비교에서 제외되었습니다.
• 실제 데이터 적용: 방법론은 5개의 벤치마크 데이터셋(Affours, Bike Sharing, 세 개의 Arizona 병원 데이터셋)과 Fishing 데이터셋에 적용되었습니다.
  • 과분산 테스트를 통해 모든 데이터셋에서 NB 모델의 필요성을 확인했습니다.
  • NB-VB 방법은 빈도주의 LASSO 및 SCAD 방법과 경쟁력 있는 예측 성능(TRE 및 CRPS로 측정)을 보여주었습니다.
  • Fishing 데이터셋에서 VB 방법은 상당한 계산 절감 효과와 함께 MCMC 벤치마크의 예측 성능을 밀접하게 재현했습니다.
  • CS-VB-NB 방법은 일반적으로 가장 낮은 중앙값 테스트 오차를 보였으며 데이터셋 전반에 걸쳐 높은 안정성을 나타냈습니다.

의의 및 주장
본 논문은 희소 음이항 회귀를 위한 최초의 종합적인 변분 베이지안 프레임워크를 제공함으로써 문헌의 중요한 공백을 메운다고 주장합니다. 저자들은 자신들의 접근 방식이 고차원 환경에서 과분산, 변수 선택, 매개변수 추정을 위한 통합된 솔루션을 제공한다고 단언합니다.

이 연구의 의의는 MCMC와 결합된 정확도와 불확실성 정량화를 희생하지 않으면서도 계산 효율적인 추론을 제공할 수 있다는 점에 있습니다. 저자들은 과분산된 데이터에 대해 음이항 명세가 필수적임을 강조하는데, 이는 포아송 기반 접근 방식이 이러한 맥락에서 상당한 성능 저하를 겪기 때문입니다. 반대로, 제안된 NB 방법은 데이터가 포아송 분포를 따르는 경우에도 강건하므로, 실무자들에게 신뢰할 수 있는 "더 안전한 기본값(safer default)"이 될 수 있다고 주장합니다. 결론적으로, 이 프레임워크는 희소 계수 회귀를 위한 실용적인 도구를 제공하여, 이전에는 베이지안 희소 방법론으로 접근하기 어려웠던 대규모 데이터셋의 분석을 가능하게 합니다.

인정된 한계점
저자들은 평균장 가정이 강한 의존성을 가진 매개변수에 대해 사후 불확실성을 과소평가할 수 있음을 겸허히 언급했습니다. 또한, 비켤립형 NB 모델에 사용된 이차 근사가 매우 비가우시안적인 사후 형태를 포착하지 못할 수 있습니다. 또한, 성능은 희소성을 유도하는 사전 분포의 선택에 따라 달라지는데, 호스슈(Horseshoe) 사전 분포는 약간 더 나은 추정 정확도를, 연속 스파이크 앤 슬래브(Continuous Shrinkage) 사전 분포는 더 안정적인 수렴을 보여주었습니다.