PliableBVS: A flexible Bayesian variable selection method for modeling interactions with mandatory modifying variables

기술 요약: PliableBVS: 필수 수정 변수와의 상호작용 모델링을 위한 유연한 베이지안 변수 선택 방법

문제 정의
고차원 상호작용 모델은 대규모 변수 집합(예: 유전자 발현과 같은 오믹스 특징)이 소규모의 수정 변수 집합(예: 임상 공변량)과 어떻게 상호작용하는지 분석하는 데 필수적이다. 비대칭적 약한 계층 구조 제약(asymmetric weak hierarchical constraint) 하에서 이러한 상호작용을 스크리닝하기 위해 효율적인 빈도주의 방법론으로 '플라이어블 라쏘(pliable lasso)'(Tibshirani and Friedman, 2020)가 제안되었으나, 이는 빈도주의 프레임워크 내에서 작동한다. 이러한 한계는 파라미터 추정치나 변수 포함 여부에 대한 불확실성 정량화(uncertainty quantification)를 직접적으로 제공하는 것을 방해한다. 또한, 표준적인 페널티 회귀 방법들은 고차원 환경(예측 변수의 수가 샘플 수보다 훨씬 많은 경우)에서 강건한 변수 선택을 제공하면서, 주 효과(main effect)와 상호작용 효과 사이의 계층적 제약을 유지하는 데 어려움을 겪는 경우가 많다.

방법론
저자들은 플라이어블 라쏘 프레임워크를 확장한 베이지안 변수 선택 접근법인 PliableBVS를 제안한다. 이 방법은 선형 및 로지스틱 회귀 설정 모두를 위해 설계되었다.

• 모델 구조: 모델은 반응 변수 $y$가 고차원 공변량 $X$의 주 효과, 필수 저차원 수정 변수 $Z$의 주 효과, 그리고 $X$와 $Z$ 사이의 상호작용 항에 의존한다고 가정한다. 모델은 비대칭적 약한 계층 구조를 강제한다. 즉, 상호작용 효과 $\theta_{jk}$는 해당 주 효과 $\beta_j$가 0이 아닐 때만 0이 될 수 있다.
• 사전 분포 지정:
  • 스파이크 앤 슬래브 사전 분포(Spike-and-Slab Priors): 희소성(sparsity)을 유도하기 위해, 저자들은 주 효과($\beta_j$)와 상호작용 효과($\theta_{jk}$) 모두에 대해 영점 집중 혼합 사전 분포(zero-inflated mixture priors, spike-and-slab)를 사용한다.
  • 계층적 결정 변수: 두 개의 잠재적 결정 파라미터 $\rho$와 $\zeta$는 주 효과와 상호작용 효과의 포함 여부를 제어하며, 이들은 베타 분포로부터 추출된 확률로 모델링된다.
  • 조건부 포함: 상호작용 항의 포함 확률은 그에 대응하는 주 효과의 포함 여부에 조건부로 결정된다. 이는 $\beta_j \neq 0$일 때만 활성화되는 다변량 영점 집중 혼합 사전 분포를 $\theta_{jk}$에 적용함으로써 달성된다.
  • 축소(Shrinkage): 사전 분포의 연속 축소 성분은 라플라스 분포(베이지안 라쏘 분산과 동일)를 따르며, 스파이크 성분은 0에서의 디라크 델타 함수(Dirac delta function)를 따른다.
• 추론:
  • 선형 회귀: 모든 파라미터(계수, 분산 성분, 포함 지표 포함)의 결합 사후 분포로부터 샘플링하기 위해 깁스 샘플러(Gibbs sampler)가 도출된다.
  • 로지스틱 회귀: 폴리아-감마 증강(Pólya-gamma augmentation)(Polson et al., 2013)을 사용하여 이진 결과값에 대해 모델을 확장한다. 이 기술은 로지스틱 가능도(likelihood)를 가우시안 혼합으로 나타내는 잠재 변수를 도입하여, 선형 모델의 경우와 동일한 계층적 사전 분포 및 깁스 샘플링 구조를 사용할 수 있게 한다.
  • 하이퍼파라미터 추정: 전역 페널티 파라미터 $\lambda$는 몬테카를로 EM 알고리즘을 이용한 경험적 베이즈(empirical Bayes) 방식으로 추정된다.
• 모델 선택: 저자들은 변수를 선택하기 위해 중앙값 확률 모델(Median Probability Model, MPM)(Barbieri and Berger, 2004)을 활용한다. 변수의 한계 사후 포함 확률(marginal posterior inclusion probability)이 0.5를 초과하면 최종 모델에 포함된다.

주요 기여

1. 플라이어블 라쏘의 베이지안 확장: 본 논문은 플라이어블 라쏘를 모사하면서도 완전한 사후 분포를 제공하여, 파라미터 추정치와 변수 선택 모두에 대한 불확실성 정량화를 가능하게 하는 일관된 확률적 프레임워크를 도입한다.
2. 구조적 희소성: 저자들은 두 단계의 결정 변수 구조를 통해 비대칭적 약한 계층 제약을 명시적으로 강제하며, 이를 통해 상호작용이 주 효과 없이 존재할 수 없다는 생물학적 및 통계적 타당성을 보장한다.
3. 알고리즘 구현: 저자들은 연속형 및 이진 결과 모두를 위한 깁스 샘플러를 제공하며, 적용을 용이하게 하기 위해 오픈 소스 R 패키지(PliableBVS)와 언어 중립적인 API를 함께 제공한다.

결과
PliableBVS의 성능은 시뮬레이션 연구와 실제 데이터 적용을 통해 빈도주의 플라이어블 라쏘와 비교 평가되었다.

• 시뮬레이션 연구:
  • 다양한 신호 대 잡음비(SNR) 및 차원(저차원 및 고차원 모두)을 포함하는 여러 시나리오에서, PliableBVS는 플라이어블 라쏘에 비해 일관되게 **더 낮은 테스트 평균 제곱 오차(MSE)**와 **더 낮은 허위 양성률(false positive rate)**을 달est했다.
  • 두 방법 모두 참인 비제로(non-zero) 계수를 식별하는 데 높은 민감도를 보였으나, PliableBVS는 가짜 변수의 포함을 줄이는 데 있어 우수한 특이도(specificity)를 입증했다.
  • 높은 SNR을 가진 고차원 설정에서 PliableBVS는 플라이어블 라쏘보다 높은 민감도를 보였다.
  • 베이지안 접근법은 계수에 대해 안정적이고 단봉형(unimodal)인 한계 사후 분포를 제공했다.
• 실제 데이터 적용:
  • 분만 시작 연구(Labor Onset Study): 단백질체 및 대사체 데이터를 적용하여 자연 분만 시작 시간을 예측하였다. PliableBVS는 생물학적으로 의미 있는 단백질(예: Angiopoietin-2, Endostatin, SLPI)과 상호작용을 식별하였으며, 종종 플라이어블 라쏘보다 더 적은 특징을 선택하면서도 더 낮은 테스트 MSE를 기록하였다. 또한 특정 단백질에 대한 시간 의존적 상호작용 효과를 성공적으로 찾아냈다.
  • 임신중독증 연구(Preeclampsia Study): 종단적 단백질체 데이터셋에 적용하여 후기 임신중독증(LOPE)의 바이오마커를 식별하였다. 모델은 알려진 바이오마커(예: CRLF1, HTRA1, FLT1)와 새로운 후보(예: FOXM1, CEACAM20)를 식별하였다. 결정적으로, 특정 단백질(예: CRLF1)과 LOPE 위험 사이의 연관성이 임신 주수에 따라 변화하는 역동적인 패턴을 감지하였는데, 이는 각 시점을 별도로 분석할 경우 놓칠 수 있는 패턴이다.

의의 및 주장
본 논문은 PliableBVS가 구조화된 상호작용을 가진 고차원 회귀를 위한 유연하고 해석 가능하며 계산 효율적인 도구를 제공한다고 주장한다. 베이지안 라쏘의 연속적 축소와 스파이크 앤 슬래브 사전 분포의 이산적 변수 선택을 결합함으로써, 이 방법은 예측 정확도를 높이고 빈도주의 대응 모델에 비해 허위 발견을 줄인다.

저자들은 식별된 특징과 상호작용이 인과적이라기보다는 **가설 생성(hypothesis-generating)**용으로 제시되었다는 점을 강조하며, 생물학적 발견에 대해 신중한 입장을 유지한다. 저자들은 다른 고차원 발견 분석과 마찬가지로, 이러한 결과가 임상적 유의성을 확립하기 전 독립적인 모집단에서 검증되어야 함을 언급한다. 또한, 라쏘 유형의 모델들과 유사하게 PliableBVS가 매우 상관관계가 높은 예측 변수 집합에서 하나의 변수를 선택하는 경향이 있음을 인정하며, 이는 향-엘라스틱 넷(elastic-net) 유형의 사전 분포를 사용하는 향후 확장 가능성을 시사한다.