Robust and Scalable Sure Screening of Fixed effects in Ultrahigh-dimensional Linear Mixed Models

기술 요약: 초고차원 선형 혼합 모델에서의 강건하고 확장 가능한 확정 효과의 확실한 스크리닝

문제 정의
게놈 와이드 연관 연구(GWAS) 및 종단적 생물 의학 연구와 같은 선형 혼합 모델(LMM)의 현대적 응용 분야에서는, 예측 변수의 수 $p$가 표본 크기 $n$에 따라 지수적으로 증가하는($\log p = O(n^\tau)$) 초고차원 확정 효과(fixed-effect, FE) 공변량을 다루는 경우가 점점 늘어나고 있다. LMM은 클러스터링되거나 종단적인 데이터에서 발생하는 무작위 효과(random effects, RE)로 인한 복잡한 의존 구조를 처리하는 데 필수적이지만, 기존의 변수 스크리닝 방법들은 이 영역에서 두 가지 결정적인 문제에 직면한다:

1. 확장성(Scalability): LMM을 위한 직접적인 페널티 가능도(penalized likelihood) 또는 베이지안 축소(Bayesian shrinkage) 방법은 $p \gg n$인 상황에서 계산적으로 매우 부담스럽다. 반면, 확실한 독립 스크리닝(Sure Independence Screening, SIS)은 주변 유용성(marginal utilities)을 기준으로 공변량을 순위화함으로써 확장 가능한 대안을 제공하지만, 표준 SIS 구현은 최소제곱법(least-squares, LS) 또는 최대우도법(maximum-likelihood, ML) 원리에 의존한다.
2. 강건성(Robustness): LS 및 ML 기반의 스크리닝 통계량은 데이터 오염(이상치, 기록 오류) 및 모델 오설정(model misspecification)에 매우 민가하다. 클러스터 데이터의 경우, 이상치는 여러 수준(피험자 내, 특정 시점, 또는 비정상적인 클러스터)에서 발생할 수 있으며, 이는 불안정한 변수 순위와 "확실한 스크리닝" 속성(모든 진정한 활성 공변량을 유지한다는 보장)의 실패를 초래한다.

기존의 강건한 스크리닝 방법들은 주로 독립적인 데이터나 특정 하위 클래스의 종단 모델에 국한되어 있으며, 계산 효율성과 강건성의 균형을 맞추면서 초고차원 LMM을 위한 일반적인 이론적 프레임워크를 갖춘 방법이 부족하다.

방법론: DPD-SISP
저자들은 의존성 처리와 강건성 고려 사항을 분리하도록 설계된 절차인 DPD-SISP(Proxy matrix 기반의 DPD 기반 Sure Independence Screening)를 제안한다. 이 방법론은 세 가지 주요 단계로 진행된다:

1. Proxy 기반 백색화 변환(Proxy-Based Whitening Transformation):
   주변 스크리닝 중에 전체 RE 공분산 구조를 처리하는 데 따르는 계산적 난해함을 해결하기 위해, 이 방법은 실제 RE 유도 공분산 $\sigma^{-2}\Psi$를 근사하는 작업 공분산(working covariance, proxy) 행렬 $P$를 사용한다.

• 데이터는 플러그인 공분산 추정량 $\hat{\Sigma}_i = Z_i P Z_i^\top + I_{n_i}$를 사용하여 변환된다.
• 구체적으로, 반응 변수와 설계 행렬은 $\hat{\Sigma}_i^{-1/2}$를 곱하여 전처리된다.
• 이 변환은 원래의 LMM을 오차가 대략적으로 구형(spherical)인 실행 가능한 선형 회귀 모델(LRM)로 변환하며, 이를 통해 의존 구조를 분리하고 주변 스크리닝 기법의 적용을 가능하게 한다.

2. 최소 DPD를 통한 강건한 주변 추정(Robust Marginal Estimation via Minimum DPD):
   변환된 데이터에 대해 단순한 상관관계나 ML 추정치를 사용하는 대신, 이 방법은 **최소 밀도 파워 다이버전스 추정량(Minimum Density Power Divergence Estimator, MDPDE)**을 사용하여 주변 유용성을 계산한다.

• 각 공변량 $j$에 대해, 가능한 주변 LRM이 적합된다: $\tilde{y}_i = \beta_{j0} + \tilde{x}_{ij}\beta_{j1} + \tilde{\epsilon}_{ij}$.
• MDPDE는 튜닝 파라미터 $\alpha \ge 0$에 의해 인덱싱되는 경험적 DPD 손실 함수 $L_{n,\alpha}(\theta)$를 최소화한다.
• $\alpha = 0$일 때, 이는 음의 로그 가능도(비강건)로 환원된다. $\alpha > 0$인 경우, 손실 함수는 이상치의 가중치를 낮추어 오염과 모델 오설정에 대한 강건성을 제공하면서도 높은 효율성을 유지한다.
• 공변량은 추정된 주변 기울기 $|\hat{\beta}_{j1,\alpha}|$의 절대값에 의해 순위가 매겨진다.

3. 확장(Extensions):

• 조건부 스크리닝(Conditional Screening, DPD-CSISP): 사전 지정된 공변량(예: 교란 변수)을 포함할 수 있도록, 후보군에 대한 집합 $C$에 대한 조건부 증분 기여도를 평가한다.
• 반복적 정교화(Iterative Refinement, DPD-ISISP): 강력한 상관관계로 인한 마스킹 효과(masking effects)를 완화하기 위해, 이전에 선택된 변수들을 바탕으로 조건부 집합을 업데이트하는 ISIS(Iterative SIS)에서 영감을 받은 반복 절차이다.
• 2단계 추정(Second-Stage Estimation): 축소된 모델에 대해 일관된 변수 선택과 효율적인 파라미터 추정을 달 Achieve 하기 위해 제안된 강건한 페널티 DPD 추정 단계이다.

주요 기여

• 이론적 보장: 논문은 일반적인 조건 하에서 DPD-SISP의 **확실한 스크리닝 속성(sure screening property)**을 확립한다. 저자들은 proxy 행렬이 스펙트럼 일관성 조건을 만족하는 한, $p$가 다항식적으로 증가하지 않는 경우에도 모든 진정한 활성 FE 공변량을 지수적 속도로 확률적으로 유지함을 증명한다. 이러한 결과는 비가우시안 RE 및 오차를 가진 일반적인 LMM에 대해서도 유효하다.
• 강건성 분석: 저자들은 MDPDE가 유계된 영향 함수(bounded influence functions)와 높은 점근적 파괴 지점(asymptotic breakdown points, 최대 50% 오염까지)을 가짐을 입증한다. 이는 데이터 오염이 심각하더라도 변수 순위가 안정적으로 유지됨을 보장하며, 이는 고전적인 SIS 방법에는 결여된 특성이다.
• 계산적 확장성: LMM을 주변 LRM으로 변환하고 MDPDE를 사용함으로써, 이 방법은 고전적인 가능도 기반 스크리닝과 유사한 계산 복잡도를 달성하며, 다른 강건한 LMM 방법에서 요구되는 RE와 FE의 반복적인 공동 추정을 피한다.
• 유연성: 이 프레임워크는 작업 밀도(working densities)를 지정함으로써 비가우시안 오차 구조에 대한 분포 불변성(distribution-free)을 가지며, 다양한 확장성을 제공한다.

결과

• 시뮬레이션 연구: 다양한 시나리오(서로 다른 공분산 구조, 신호 희소성, 오염 수준)에 걸친 광범에한 시뮬레이션을 통해 다음을 입증하였다:
  • 깨끗한 데이터 하에서, DPD-SISP는 고전적인 ML/REML 기반 SIS와 경쟁력 있는 성능을 보인다.
  • 데이터 오염(최대 20%) 하에서, 고전적 방법들은 참 양성률(TPR)과 경험적 확실한 스크리닝 확률(EmpSSP)의 급격한 하락을 겪으며, 종종 전체 활성 집합을 복구하는 데 실패한다.
  • DPD-SISP는 높은 TPR과 EmpSSP를 유지하며 우수한 안정성을 보여준다.
  • Proxy 행렬의 선택이 중요하다: 복잡한 의존 시나리오에서는 교차 검증된 proxy(cv-P)가 REML 기반 proxy(I0-P)보다 일반적으로 더 우수한 성능을 보이지만, I0-P는 계산 속도가 더 빠르다.
  • DPD-SISP는 최소 계층 $\gamma$-다이버전스(MHGDE) 기반의 강건한 대안들보다 현저히 빠르다.
• 실제 데이터 적용 (ADNI-2): 알츠하이머병 신경 이미징 이니셔티브(ADNI-2)의 고차원 종단적 유전자 발현 데이터를 사용하여 MMSE 점수를 예측하는 데 이 방법을 적용하였다.
  • DPD-SISP는 VarElect 및 GeneCards를 통한 외부 생물학적 검증 결과, ML/REML 스크리닝보다 알츠하이머병 및 관련 신경 퇴행 경로와 더 강력한 연관성을 보이는 유전자 세트를 식별하였다.
  • 구체적으로, DPD 기반 방법은 고전적 접근 방식보다 표현형 관련 점수가 더 높고 신경 퇴행(예: 시냅스 전달, 단백질 품질 관리)과 더 직접적인 연결을 가진 유전자를 우선순위에 두었다.

의의 및 주장
본 논문은 초고차원 LMM에서의 변수 스크리닝을 위한 통합적이고 강건하며 확장 가능한 접근 방식을 제공한다고 주장한다. 본 연구의 주요 의의는 복잡한 의존 구조가 존재하는 상황에서 계산 효율성과 강건성이라는 흔히 상충하는 목표를 조화시킨 데 있다.

저자들은 DPD-SISP가 다음과 같은 성과를 거두었다고 단언한다:

1. 초고차원에서 강건한 LMM 추정의 계산적 병목 현상을 극복한다.
2. 비가우시안 오차와 임의의 차원 증가를 포함한 일반적인 조건 하에서 이론적 보장(확실한 스크리닝)을 제공한다.
3. 데이터 오염과 모델 오설정이 흔한 실제 환경에서 실용적 효용성을 제공하며, 이는 ML/REML 스크리닝보다 생물학적으로 더 관련 있는 유전자 세트를 식별한 ADNI-2 적용 사례를 통해 입증되었다.

본 연구는 proxy 행렬의 품질과 튜닝 파라미터 선택에 따라 성능이 달라질 수 있지만, 이 프레임워크가 기존 방법들에 대한 원칙적인 대안으로서 클러스터링 및 종단적 데이터에 대한 고차원 추론을 위한 중요한 진전을 나타낸다고 결론짓는다. 향후 연구로는 일반화된 비선형 혼합 모델로의 확장 및 파라미터 선택을 위한 데이터 적응형 전략 탐구가 제안되었다.