기술 요약: 일반화 선형 모델에서의 베이지안 변수 선택

문제 정의

일반화 선형 모델(GLM)에서 공변량 선택은 매우 중요한 통계적 과제이다. 무관한 예측 변수를 포함하면 과적합과 해석력 저하를 초래하며, 유의미한 변수를 누락하면 추정치의 편향을 야기한다. LASSO, Ridge와 같은 빈도주의 접근 방식이나 기존의 베이지안 방식(Spike-and-Slab, 연속 수축 사전 분포 등)이 이를 다루고 있으나, 이들은 특정한 한계에 직면해 있다. 많은 베이지안 접근 방식은 완전 공액(non-fully conjugate) 정식화에 의존하거나, 선형 가우시안 모델로 제한되어 있으며, 더 넓은 범위의 GLM 맥락에서 변수 선택 지표와 모델 파라미터 모두에 대한 사후 일치성(posterior consistency)에 관한 이론적 보장을 결여하고 있다.

방법론

저자들은 모든 지수 가족(exponential family) 분포에 적용 가능한 완전 베이지안 계층적 및 공액 프레임워크를 제안한다. 이 방법론의 핵심은 다음과 같다:

1. 이진 포함 지표 (Binary Inclusion Indicators): 표준 GLM을 확장하여 이진 랜덤 벡터 $z \in \{0, 1\}^p$를 도입한다. 여기서 $z_j = 1$은 $j$번째 공변량의 포함을 나타내고, $z_j = 0$은 제외를 나타낸다. 선형 예측자는 $\eta_i = x_i^\top (\beta \circ z)$로 수정된다 (여기서 $\circ$는 원소별 곱을 의미한다).
2. 공액 사전 분포 (Conjugate Priors):
   • 지표 ($z$): 매개변수 $c$를 갖는 베타(Beta) 사전 분포를 따르는 베르누이 분포로 모델링된다.
   • 회귀 계수 ($\beta$): $z$에 조건화되어 Chen과 Ibrahim (2003)의 연구에서 파생된 공액 사전 분포를 사용한다. $\beta$에 대한 사전 분포는 $z$에 의존하도록 적응되며, 이는 계수를 활성($\beta^{(1)}$) 집합과 비활성($\beta^{(0)}$) 집합으로 효과적으로 분리한다.
   • 척도 매개변수 ($\tau$): 특정 지수 가족 구성원에 부합하는 공액 사전 분포가 할당된다.
3. 사후 추론 (Posterior Inference):
   • 본 프레임워크는 모든 파라미터($\beta, z, c, \tau$)에 대한 완전 조건부 사후 분포의 폐쇄형(closed-form) 표현식을 도출한다.
   • 결합 사후 분포로부터 샘플을 추출하기 위해 효율적인 깁스 샘플링(Gibbs Sampling) 알고리즘이 유도된다.
   • $\beta$의 공액 사후 분포가 표준 분포에 해당하지 않는 GLM(예: 포아송 모델)의 경우, 난해한 밀도로부터 샘플을 추출하기 위해 샘플링-중요도-재표집(Sampling-Importance-Resampling, SIR) 체계 내에서 **라플라스 근사(Laplace approximation)**를 채택한다.

주요 기여

1. GLM을 위한 최초의 완전 공액 베이지안 변수 선택: 본 논문은 선형 가우시안 모델뿐만 아니라 전체 지수 가족에 대해 완전 공액성을 달 achieves 하는 최초의 프레임워크를 제시한다.
2. 이론적 보장: 저자들은 변수 선택 지표($z$)와 활성 회귀 계수($\beta^{(1)}$) 모두에 대한 **사후 일치성(posterior consistency)**을 확립한다. 표본 크기 $n \to \infty$일 때, 사후 확률이 진정한 모델 $z^*$에 집중되고, 활성 계수가 진정한 파라미터 값 $\beta^*$로 점근적 정규성을 가지며 수렴함을 증명한다.
3. 계산 효율성: 공액성을 활용하고 맞춤형 깁스 샘플러(비가우시안 사례를 위한 Laplace-SIR 포함)를 사용함으로써, 고차원 문제에서 불가능한 전수 모델 탐색이나 복잡한 비공액 MCMC 기법을 피한다.
4. 구현: 제안된 깁스 샘플링 알고리즘을 구현하기 위한 대응하는 R 패키지가 개발되었다.

실증 결과

본 방법론은 포아송, 로지스틱, 선형 모델에 걸쳐 합성 데이터와 실제 데이터셋 모두에서 검증되었다.

• 합성 데이터: 실험에는 정보가 있는 경우, 노이즈가 있는 경우, 상관관계가 있는 공변량 시나리오가 포함되었다. 제안된 방법(BayesVS-GLM)은 다음과 같은 성능을 보였다:
  • 진정한 희소 패턴($z^*$)을 복구하는 데 높은 정확도를 보였으며, 종종 최대 가능도 추정(MLE) 및 표준 베이지안 GLM(선택 기능이 없는 경우)보다 우수한 성능을 보였다.
  • 활성 계수를 정확하게 추정하여, "오라클(Oracle)" 모델(진정한 포함 벡터를 알고 있는 모델)과 유사한 상대 평균 제곱 오차(RelMSE)를 기록했다.
  • 비활성 계수에 대해 올바르게 작동하였으며, 사후 분포가 사전 분포와 일치하도록 확산된 상태를 유지함으로써, 활성 집합에 편향을 유발하지 않고 무관한 계수를 효과적으로 0으로 수축시켰다.
• 실제 데이터:
  • Crabs 데이터셋 (포아송): 관련 예측 변수(너비, 척 상태)를 성공적으로 식별하는 동시에 노이즈 변수(무작위 인덱스)를 제거하여 경쟁력 있는 예측 정확도(MAE, RMSE)를 달성했다.
  • Heart Disease 데이터셋 (로지스틱): 의학 문헌과 일치하는 임상적으로 유의미한 변수(흉통 유형, 운동 유발 협심증)를 식별하였으며, 베이스라인 모델과 유사하거나 약간 더 나은 균형 잡힌 정확도 및 F1 점수를 달성했다.
  • Pollution 데이터셋 (선형): 거대한 모델 공간($2^{15}-1$)을 탐색하여 일관된 변수(예: 백인 인구 비율)를 식별하는 동시에 다른 변수들에 대한 불확실성을 드러냈으며, 베이스라인 모델과 일치하는 예측 성능을 보였다.

의의 및 주장

본 논문은 다양한 베이지안 변수 선택 관점을 지수 가족에 적용 가능한 하나의 일관된 프레임워크로 통합한다고 주장한다. 주요 의의는 GLM에서의 변수 선택에 대한 사후 일치성의 이론적 보장을 제공한다는 점에 있으며, 이는 이전에는 주로 선형 가우시안 모델이나 특정 수축 사전 분포에 대해서만 확립되었던 속성이다.

저자들은 자신들의 접근 방식이 명시적인 희소성 유도 구조를 통해서가 아니라, 공액 사전 구조 덕분에 사후 분포의 자연스러운 활성 및 비활성 구성 분해를 유도한다는 점을 강조한다. 이를 통해 이 방법은 진정으로 활성화된 공변량에 대해서만 관측치로부터 정보를 포착하고, 비활성 공변량에 대해서는 사전 분포로 되돌아갈 수 있다. 본 연구는 계산 효율성과 엄격한 이론적 토대를 균형 있게 맞춘 유효한 사후 모델 베이지안 선택 절차로 제시된다.