Robust high-dimensional Bayesian regression with non-Gaussian errors under global--local shrinkage priors

기술 요약: 전역-지역 수축 사전 분포를 이용한 비가우시안 오차 하의 강건한 고차원 베이지안 회귀

1. 문제 정의

본 논문은 예측 변수($p$)와 반응 변수($q$)의 수가 표본 크기($n$)에 비해 큰 고차원 설정에서의 다변량 선형 회귀 문제를 다룬다. 전통적인 접근 방식은 경험 과학(예: 거시경제학, 금융, 유전체학)에서 빈번하게 위반되는 두 가지 제한적인 가정에 의존한다:

1. 가우시안 오차 법칙: 표준 추정량은 오차가 다변량 정규 분포를 따른다고 가정한다. 그러나 실제 데이터는 종종 두터운 꼬리(leptokurtosis), 급격한 이상치, 비대칭성(왜도)을 나타낸다. 가우시안 가정하에서는 소수의 극단적인 이상치가 계수 추정치를 왜곡할 뿐만 아니라, 결정적으로 조건부 의존성 그래프(정밀도 행렬 $\Omega$)의 추정을 손상시킬 수 있다.
2. 분리된 희소성 처리: 기존 방법들은 일반적으로 회귀 계수($B$)의 희소성과 역 오차 공분산($\Omega$)의 희소성을 개별적으로 다룬다. 이들은 비가우시안 오차에 대한 강건성을 유지하면서 변수 선택과 조건부 의존성 그래프 복구를 동시에 수행하는 통합된 프레임워크가 부족하다.

2. 방법론

저자들은 강건한 오차 모델링과 결합된 수축 사전 분포를 통합하는 RHS-MR(Robust Horseshoe+ Multivariate Regression)이라 명명된 통합 베이지안 프레임워크를 제안한다.

A. 스케일-위치 혼합을 통한 강건한 가능도
가우시안 오차 대신, 모델은 유연한 스케일-위치 혼합 정규 분포를 채택한다. 잠재 변수를 조건으로 할 때, 이 오차 구조는 다음과 같은 기능을 제공한다:

• 다변량 $t$-분포: 가우시안에 역 감마 가중치($w_i$)를 혼합하여 두터운 꼬리를 수용한다.
• 다변량 왜도-정규(Skew-Normal) 및 왜도-$t$(Skew-$t$): 평균을 이동시키기 위해 잠재적인 하프-노멀 벡터($t_i$)를 도입하여, 두터운 꼬리와 비대칭성을 모두 수용한다.
  이러한 정식화는 조건부 사후 분포를 공액(conjugate) 형태로 만들어 계산을 용이하게 한다.

B. 결합된 Horseshoe+ 수축
모델은 두 개의 서로 다른 희소 객체에 대해 horseshoe+ 사전 분포를 동시에 적용한다:

1. 회귀 계수 ($B$): 각 항목 $\beta_{jk}$에는 로컬 스케일 파라미터가 할당되며, 이는 표준 horseshoe와 비교하여 두 번째 하프-코시(half-Cauchy) 인자($\eta_{jk}$)에 의해 증강된다. 이는 zero 근처에서 더 높은 스파이크(공격적인 노이즈 수축)와 더 두터운 꼬리(큰 신호에 대한 거의 편향 없는 처리)를 가진 한계 사전 분포를 생성한다.
2. 정밀도 행렬 ($\Omega$): 비대각 성분(조건부 의존성을 나타냄)은 horseshoe+ 사전 분포를 받는 반면, 대각 성분은 확산된 지수 사전 분포를 받는다. 이는 회귀 맵의 희소성과 조건부 의존성 그래프의 희소성을 결합한다.

C. 사후 계산
사후 추론을 위해 두 가지 알고리즘이 개발되었다:

1. 깁스 샘플러 (Gibbs Sampler): 스케일 혼합 및 파라미터 확장 표현으로부터 유도된 완전하게 실행 가능한 샘플러이다. 이는 그래픽al horseshoe에서 영감을 받은 정밀도 행렬의 열 단위 블록 업데이트와 모든 풀 컨디셔널(full conditionals)에 대한 폐쇄형 업데이트를 활용한다.
2. 평균장 변분 추론 (Mean-Field Variational Inference): 블록 간에 분해되는 더 빠른 근사 알고 알고리즘으로, 잘 식별된 영역에서 유사한 정확도를 유지하면서 1~2 자릿수(orders of magnitude)의 속도 향상을 제공한다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 한다:

1. 모델 정식화: 가우시안 오차를 스케일-위치 혼합(t, 왜도-정규, 왜도-t 법칙을 포함)으로 대체하여, 공통의 정밀도 행렬 $\Omega$를 공유하는 강건한 다변량 회귀 모델을 정식화한다.
2. 결합 수축: $B$와 $\Omega$의 비대각 성분에 horseshoe+를 동시에 적용하여, 변수 선택과 그래프 구조 복구를 효과적으로 결합한다.
3. 계산 알고리즘: 이러한 복잡한 모델을 위한 폐쇄형 깁스 샘플러와 확장 가능한 변분 추론 알고리즘을 도출한다.
4. 이론적 보장:
   • 결합 사후 수축 (Joint Posterior Contraction): 비가우시안 오차 하에서도 $B$와 $\Omega$의 사후 분포가 진리값으로 근사 최적의(near-minimax) 속도로 수축함을 입증한다.
   • 선택 일관성 (Selection Consistency): 변수 선택($B$에서의)과 엣지 선택($\Omega$에서의)에 대한 일관성을 증명한다.
   • 리스크 우위 (Risk Dominance): 쿨백-라이블러(Kullback–Leibler) 리스크 경계를 통해, 희소 신호 영역에서 horseshoe+ 사전 분포가 큰 신호에 대한 편향을 줄이는 더 두터운 꼬리 덕분에 표준 horseshoe를 압도함을 보여준다.
   • 유계 민감도 (Bounded Sensitivity): $t$-오차 하에서, 단일 이상치가 무한대로 발산하더라도 $B$의 사후 평균은 유계로 유지되는 반면, 가우시안 추정량은 선형적으로 발산함을 증명한다.

4. 실증 결과

본 방법론은 광범의 시뮬레이션과 두 가지 실제 응용 사례를 통해 평가되었다.

시뮬레이션 연구:

• 오차 영역: 모델은 가우시안, $t_3$, 왜도-정규, 왜도-$t_4$ 오차 분포 하에서 테스트되었다.
• 성능: 가우시안 오차 하에서 강건한 모델은 가우시안 대응 모델과 구별할 수 없을 정도로 유사하게 작동했다. 두터운 꼬리와 왜도가 있는 오차 하에서, 강건한 모델은 가우시안 기반 벤치마크(MRCE 및 OLS와 같은 패널티 가능도 방법 포함)보다 유의미하게 우수한 성능을 보였다. 특히 왜도-$t_4$ 오차 하에서, 강건한 모델은 가우시안 제거 모델(ablation) 대비 계수 추정 오차를 43% 감소시켰다.
• 수축: 표본 크기($n$)가 증가함에 따라, 강건한 추정량의 오차는 예측된 속도($\sim n^{-1/2}$)로 수축한 반면, 가우시안 추정량의 정밀도 행렬 오차는 두터운 꼬리 하에서 수축에 실패했다.
• 이상치 민감도: 단일 관측치가 증가하는 크기로 오염되었을 때, 가우시안 추정량의 오차는 선형적으로 증가했으나, 강건한 추정량의 오차는 평탄하게 유지되어 유계 민감도 정리를 확인시켜 주었다.
• 계산: 변분 알고리즘은 정확도 손실을 최소화하면서 깁스 샘플러보다 10배에서 70배 빠른 속도를 달eric했다.

응용 사례:

1. FRED-MD (거시경제 데이터): 8개의 거시경제 지표와 30개의 예측 변수에 적용되었다. 모델은 2008년 금융 위기와 2020-2021년 팬데믹 기간 동안의 관측치를 자동으로 가중치를 낮추어 처리하였으며, 희소한 잔차 의존성 그래프를 복구하고 가우시안 적합보다 낮은 예측 오차를 달성했다.
2. S&P 500 (주식 수익률): 12개 주식과 31개 요인의 일일 로그 수익률에 적용되었다. 강건한 적합은 5개 중 4개의 선택된 엣지가 에너지 섹터 주식들을 연결하는 희소 잔차 그래프를 식별하였는데, 이는 원자재 가격에 대한 공통 노출을 반영한다. 또한 2007-2008년 혼란의 시작을 포함한 변동성이 큰 거래일의 가중치를 자동으로 낮추었다.

5. 의의 및 주장

본 논문은 고차원 희소성과 함께 두터운 꼬리 및 비대칭 오차에 대한 강건성을 유지하는 최초의 통합된 베이지안 프레임워크를 제공한다고 주장한다.

저자들은 다음과 같은 점을 강조한다:

• 효율성 보존: 강건성을 확보하면서도 성능을 희생하지 않는다(강건성의 비용은 "사실상 없다").
• 구조적 편향 교정: 이상치에 의해 조건부 의존성 그래프($\Omega$)가 손상되는 것을 방지하며, 이는 가우시안 절차에서 흔히 발생하는 실패 모드이다.
• 이론적 건전성: 사후 수축, 선택 일관성 및 유계 민감도에 대한 엄격한 보장을 제공하여, 강건 통계학과 고차원 베이지안 수축 사이의 간극을 메운다.
• 실용적 유용성: 사후 가중치를 통한 이상치의 자동 가중치 조절은 사전 지정된 위기 지표 없이도 데이터 품질에 대한 해석 가능한 진단을 제공한다.

결론적으로, 본 논문은 전역-지역 수축과 스케일-혼합 오차 모델의 통합이 데이터의 비정규성과 고차원성이 공존하는 경험 과학 분야에서 우월한 대안을 제공함을 보여준다.