Objective Model Prior Probabilities in Variable Selection

1. 문제 제기 (Problem Statement)

• 배경: 베이지안 모형 불확실성 분석 (Bayesian Model Uncertainty Analysis) 에서는 오랫동안 모든 모형에 동일한 사전 확률 (Uniform Prior, $2^{-k}$) 을 부여하는 것이 관례였습니다.
• 문제점:
  • 균등 확률 (Uniform Prior) 의 한계: 변수의 개수 $k$가 매우 큰 경우 (예: 유전체학), 균등 확률은 모델 크기가 $k/2$인 모델들에 지나치게 높은 확률을 부여합니다. 이는 실제 과학적 신념 (대부분의 변수는 무관함) 과 배치되며, '다중성 통제 (Multiplicity Control)'가 결여되어 있습니다.
  • 제프리 (Jeffreys) 확률의 문제: 제프리 (Harold Jeffreys) 가 제안한 방식은 모든 가능한 모델 크기 (0 부터 $k$까지) 에 대해 동일한 확률 ($1/(k+1)$) 을 부여한 후, 각 크기 내의 모델들에 균등하게 분배합니다. 이는 다중성 통제를 제공하지만, 간명성 (Parsimony) 부족이라는 치명적인 단점이 있습니다. 특히, null model(변수 0 개) 과 full model(변수 $k$개) 에 동일한 사전 확률을 부여하여, 실제 데이터 분석에서 불필요하게 큰 모델이 최우선 사후 확률 모델 (HPM) 로 선정되는 결과를 초래할 수 있습니다.
• 목표: 균등 확률과 제프리 확률의 문제점을 극복하면서도, 지나치게 간명한 (severe parsimony) 주관을 배제하고 **객관성 (Objectivity)**을 유지하는 새로운 모델 사전 확률 분포를 탐색하는 것입니다.

2. 방법론 (Methodology)

저자들은 기존에 제안된 방법들을 검토하고, 6 가지 새로운 객관적 대안을 제안하여 비교 분석했습니다.

• 검토된 기존 방법:

  1. 균등 확률 (Uniform): 모든 모델에 $2^{-k}$.
  2. 제프리 확률 (Jeffreys): 모델 크기별 확률 $1/(k+1)$.
  3. CMG (Clyde-Mandel-Ghosh): 포아송 혼합을 통한 사전 분포.
  4. Half-p Jeffreys: 포함 확률 $p$에 대해 $[0, 0.5]$ 구간에서 균등 분포를 가정.
  5. Half-k Jeffreys: 모델 크기가 $k/2$ 이하일 때 제프리 확률, 그 이상일 때 균등하게 조정 (불연속성 제거 버전 포함).
  6. Beta 및 계층적 Beta (Hierarchical Beta): 포함 확률 $p$에 Beta(1, 2) 분포를 사용하거나, Beta 분포의 모수 $\alpha$에 계층적 사전 분포를 부여.
  7. 조화 (Harmonic) 사전: 모델 크기 $d$에 대해 $(1+d)^{-1}$에 비례하는 가중치를 부여.

• 분석 도구:

  • 일반 선형 모형 (General Linear Model): 내재적 사전 (Intrinsic Priors) 을 사용하여 베이지스 인자 (Bayes Factor) 를 계산.
  • 수치적 평가: R 패키지 (BayesVarSel, leaps) 를 활용하여 유전체 데이터 (47 개 변수의 비만 연구 등) 에 대한 사후 포함 확률, 최우선 사후 확률 모델 (HPM), 중앙 확률 모델 (MPM) 을 추정.
  • 이론적 평가: 모델 크기별 총 확률 $M(d)$와 변수 포함 확률 $Pr(x_j)$의 점근적 행동 (Large $k$ behavior) 을 분석.

3. 주요 기여 (Key Contributions)

1. 기존 방법의 한계 명확화: 균등 확률과 제프리 확률이 대규모 변수 선택 문제에서 각각 '다중성 통제 부재'와 '간명성 부재'로 인해 부적합함을 수치적 및 이론적으로 증명했습니다. 특히 제프리 사전이 비만 데이터에서 '전체 모델 (Full Model)'을 최선으로 선택하는 역설적인 결과를 초래함을 보였습니다.
2. 새로운 객관적 사전 분포 제안: 간명성을 최소한으로 유지하면서도 객관성을 확보할 수 있는 6 가지 대안 (Harmonic, CMG, Half-p, Half-k, Beta, Hierarchical Beta) 을 체계적으로 제시했습니다.
3. 다양한 기준에 따른 비교 분석:
   • 간명성 (Parsimony): 모델 크기가 커질수록 개별 모델의 확률이 감소하는지, 모델 크기별 총합이 감소하는지 등을 평가.
   • 변수 포함 확률: 변수가 증가할 때 사전 포함 확률이 어떻게 변하는지 분석 (일부 분포는 변수가 많아질수록 포함 확률을 낮춰 '쓰레기 변수'를 걸러냄).
   • 실제 데이터 적용: 유전체 및 비만 데이터를 통한 HPM 과 MPM 의 안정성 비교.

4. 결과 (Results)

• 수치적 결과 (비만 데이터 예시):

  • 균등 및 제프리 사전: HPM 이 너무 큰 모델 (15 개 이상 또는 전체 모델) 로 선정됨.
  • CMG 사전: 지나치게 간명하여 모델 크기를 14 개 이하로 제한하고, 변수 포함 확률이 지나치게 낮아짐.
  • Half-p 및 Half-k 사전: 모델 크기가 34 개 이상을 강력하게 배제하여 간명성은 확보되나, 너무 엄격할 수 있음.
  • Beta(1, 2) 및 계층적 Beta 사전: 대부분의 기준에서 균형 잡힌 성능을 보임. 특히 계층적 Beta 는 작은 모델을 더 선호하는 경향이 있음.
  • Harmonic 사전: 작은 모델을 선호하지만, 비만 데이터에서 HPM 이 전체 모델이 되는 등 간명성이 부족할 수 있음.
  • MPM (중앙 확률 모델) 의 안정성: 사전 분포의 선택과 관계없이 MPM 은 매우 안정적으로 유지됨 (변수 2 개 이내 차이). 이는 HPM 보다 MPM 을 선택하는 것이 더 견고함을 시사.

• 이론적 결과:

  • 모델 크기별 확률 $M(d)$: Harmonic 사전은 $1/\log(k)$에 비례하여 감소하고, Beta(1, 2) 는 $1/k$에 비례하여 감소함.
  • 변수 포함 확률 $Pr(x_j)$:
    • 균등/제프리: 0.5 로 고정 (간명성 부족).
    • Beta(1, 2): 약 0.33.
    • 계층적 Beta: 약 0.22.
    • Harmonic: $k$가 커질수록 $1/\log(k)$로 감소 (변수가 많아질수록 포함 확률 감소).
    • CMG: $3/(2k)$로 급격히 감소.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 "완벽한 객관적 사전 분포"는 존재하지 않으며, 연구자의 목적과 데이터의 특성에 따라 적절한 선택이 필요함을 강조합니다.

• 결론적 제언:

  • 균등 (Uniform) 과 제프리 (Jeffreys) 사전은 배제되어야 합니다.
  • Harmonic 사전: 변수가 많아질수록 포함 확률이 자연스럽게 감소하는 성질이 있어 '쓰레기 변수'가 많은 상황에서 유리하지만, 특정 데이터 (비만 예시) 에서는 간명성이 부족할 수 있습니다.
  • Half-p 사전: 완전한 간명성이 필요할 때 가장 단순하고 효과적인 선택지이나, 너무 큰 모델을 배제할 수 있습니다.
  • Beta(1, 2) 및 계층적 Beta 사전: 대부분의 상황에서 균형을 잘 이루며, 특히 Beta(1, 2) 는 계산의 간편성과 계층적 Beta 는 작은 모델 선호 측면에서 강력한 후보입니다.
  • CMG 사전: 지나치게 간명하여 객관적이라 보기 어렵습니다.

• 최종 메시지: 과학적 맥락에 따라 Harmonic, Half-p, Beta(1, 2), Hierarchical Beta 중 하나를 선택하는 것이 타당합니다. 또한, 단일 최우선 모델 (HPM) 보다 **중앙 확률 모델 (MPM)**을 사용하는 것이 사전 분포 선택에 따른 불안정성을 줄이는 더 견고한 접근법임을 재확인했습니다.

이 연구는 고차원 데이터 분석에서 베이지안 변수 선택의 기초가 되는 사전 확률 설정에 대한 표준적인 가이드라인을 마련하고, 지나친 간명성과 간명성 부족 사이의 균형을 찾는 데 중요한 이론적, 실증적 기여를 했습니다.