What is your Prior Worth? Effective Sample Size and Sample Size Planning for Gaussian Graphical Models

기술 요약: 사전 가치(Prior Worth)? 가우시안 그래피컬 모델(Gaussian Graphical Models)을 위한 유효 표본 크기 및 표본 크기 계획

문제 제기
가우시안 그래피컬 모델(GGM)의 베이지안 분석에서 연구자들은 정밀 행렬(precision matrix) $\Theta$의 추정을 정규화하기 위해 이전 연구로부터 얻은 정보적 사전 분포(informative priors)를 활용하곤 한다. GGM에 대한 표준 켤레 사전 분포는 위샤트(Wishart) 분포(완전 그래프용)와 G-위샤트(G-Wishart) 분포(희소 그래프용)이다. 이러한 사전 분포는 자유도($\nu$)와 척도 행렬($\Psi$)이라는 하이퍼파라미터에 의해 결정된다.

기존 문헌에는 이러한 다변량, 제약된 분포에 대한 "사전 유효 표본 크기(prior effective sample size, ESS)"를 정량화하는 데 있어 중요한 공백이 존재한다. $\nu$는 흔히 이전 연구의 크기로 해석되지만, 이는 독립적인 관측치의 단위로 환산했을 때 사전 분포의 실제 정보량을 정확하게 반영하지 못한다. 이는 정밀 행렬의 성분들이 서로 의존적이며, 사전 분포의 정보성이 $\Psi$와 그래프 토폴로지 $G$에 인코딩된 전체 공분산 구조에 따라 달라지기 때문이다. 원칙적인 ESS 척도가 없다면, 연구자들은 표본 크기 계획을 세울 수 없다. 즉, 새로운 데이터셋이 사전 분포를 압도하기 위해 얼마나 커야 하는지 결정할 수 없으며, 정보적 사전 분포가 포함된 경우 베이즈 인자 설계 분석(Bayes Factor Design Analysis, BFDA)을 효과적으로 수행할 수 없다. 기존의 ESS 방법론은 주로 단변량 또는 제약 없는 다변량 설정에 국한되어 있으며, 위샤트나 G-위샤트 분포로는 확장되지 않는다.

방법론
저자들은 연구 설계 단계에서의 적용 가능성을 보장하기 위해, 데이터 수집 전 단계에서만 작동하는 '사전 데이터(pre-data) ESS 프레임워크'를 공식화한다. 이 방법론은 세 가지 주요 구성 요소로 이루어진다:

1. ESS 추정치의 적응: 단변량 또는 일반 다변량 설정에서 개발된 다섯 가지 사전 데이터 ESS 추정치(Neuenschwander et al., 2020)를 $\Theta$에 대한 위샤트 및 G-위샤트 사전 분포 하의 정밀 행렬에 맞게 적응시킨다. 여기에는 다음이 포함된다:

   • 분산 비율 (Variance Ratio, VR)
   • 정밀도 비율 (Precision Ratio, PR)
   • 모리타-탈-뮬러 (Morita-Thall-Müller, MTM)
   • 페넬로-톰슨 (Pennello-Thompson, PT)
   • 기대 국소 정보 비율 (Expected Local Information Ratio, ELIR)

   저자들은 이 추정치들을 위한 두 가지 집계 체계를 정의한다:

   • 전역 ESS (Global ESS): 분자 행렬(기대 정보량)과 분모 행렬(사전 분산)의 행렬식 비율을 사용하여 계산하며, $d = p(p+1)/2$에 대해 $1/d$ 승을 취한다.
   • 파라미터별 ESS (Parameterwise ESS): 분자와 분모 행렬의 촐레스키 분해(Cholesky decomposition)를 통해 도출되며, 정밀 행렬의 각 고유한 성분 $\theta_{ij}$에 대한 ESS 값을 제공한다.

   위샤트 사전 분포의 경우, 해석 가능한 폐쇄형(closed-form) 표현식이 도출된다. 비분해 가능 그래프(non-decomposable graphs)의 경우 정규화 상수를 구하기 까다로운 G-위샤트 사전 분포에 대해서는 몬테카를로 시뮬레이션을 통해 추정치를 계산한다.

2. 데이터-사전 정보 비율 (Data-to-Prior Information Ratio, DPIR): 데이터가 사전 분포를 압도하는 데 필요한 표본 크기 $n^\star$를 결정하기 위한 새로운 계획 전략을 도입한다. DPIR은 기대 피셔 정보량의 행렬식과 사전의 관측 피셔 정보량의 행렬식 사이의 비율로 정의된다. 최적의 표본 크기는 데이터 정보량이 사전 정보량을 (계수 $\xi \ge 1$만큼) 초과할 확률이 목표 임계값 $\tau$ (기본값 0.99)에 도달하는 최소 $n$이다.

3. 베이즈 인자 설계 분석 (BFDA) 확장: GGM으로 BFDA를 확장하여 엣지(edge)의 포함 또는 제외에 대한 충분한 증거를 확보하기 위해 필요한 표본 크기를 결정한다. 이는 다음 과정을 포함한다:

   • 조건부 독립성에 대한 가설 설정 ($H_0: \rho_{ij} = 0$ 대 $H_1: \rho_{ij} \neq 0$).
   • 완전 그래프를 위한 Savage-Dickey 밀도 비율 사용 및 희소 그래프를 위한 몬테카를로 정규화 상수 추정.
   • 효과 크기에 따른 필요 표본 크기의 단조성을 활용하여, 가장 약한 탐지 가능한 엣지에 대해서도 충분한 표본 크기를 확보할 수 있도록 사전 부분 상관관계(prior partial correlations)의 $q$-분위수를 기반으로 "계획 엣지(planning edge)"를 선택.

주요 결과
제안된 방법론을 검증하기 위해 두 가지 시뮬레이션 연구가 수행되었다:

• 시뮬레이션 연구 1 (ESS 거동):

  • MTM, PT, ELIR 추정치는 $\nu$와 변수의 수 $p$에만 의존하며, $\Psi$와 그래프 구조에 대해 불변(invariant)인 것으로 나타났다.
  • VR과 PR 추정치는 $\Psi$의 전체 구조와 그래프 토폴로지에 민감한 것으로 나타났다.
  • VR과 PR 사이에서 체계적인 "젠슨 갭(Jensen gap)"이 관찰되었다. VR 추정치는 일반적으로 $\nu$보다 큰 값을 갖는 반면 ($ESS_{VR} > \nu$), PR 추정치는 $\nu$보다 작은 값을 갖는다 ($ESS_{PR} < \nu$).
  • VR과 PR 사이의 격차는 네트워크 크기($p$)가 커질수록 증가하고, 사전 연구 규모($\nu$)가 커질수록 감소한다.
  • G-위샤트 사전 분포의 경우, $ESS/\nu$ 비율은 네트워크 밀도에 따라 비단조적(non-monotonic)인 거동을 보인다. $ESS_{VR}/\nu$는 중간 밀도에서 정점을 찍는 반면, $ESS_{PR}/\nu$는 밀도가 증가함에 따라 단조 감소한다. 이는 밀도가 높은 네트워크일수록 파라미터 간의 의존성 증가로 인해 $\nu$ 대비 사전 분포의 유효 정보량이 감소함을 시사한다.

• 시뮬레이션 연구 2 (표본 크기 계획):

  • DPIR 및 BFDA 전략이 다양한 그래프 구조(Erdős-Rényi, Barabási-Albert, Watts-Strogatz)와 사전 명세에 대해 검증되었다.
  • 두 전략이 상호 보완적인 목표를 목표로 함이 확인되었다: DPIR은 데이터가 사전 분포를 압도하도록 보장하고, BFDA는 특정 엣지 탐지를 위한 충분한 검정력을 보장한다.
  • 계획된 표본 크기($n^\star$)는 특히 계획 엣지의 선택과 사전 신호의 강도와 관련하여 사전 분포 오지정(misspecification)에 민데한 것으로 나타났다.
  • 본 연구는 표본 크기 계획 시 $\nu$에만 의존하는 것이 오해를 불러일으킬 수 있음을 입증했다. 즉, 실제 ESS와 그에 따른 $n^\star$는 그래프 밀도 및 사전 정밀 행렬의 구체적인 기하학적 구조에 따라 크게 달라질 수 있다.

의의 및 기여
본 논문은 GGM의 사전 ESS를 정량화하고 표본 크기 계획을 수행하기 위한 최초의 원칙적인 프레임워크를 제공함으로써 GGM의 베이지안 문헌에 존재하는 중요한 공백을 메운다고 주장한다. 구체적인 기여는 다음과 같다:

1. 사전 데이터 ESS의 공식화: 정밀 행렬에 내재된 의존 구조를 인정하면서, 위샤트 및 G-위샤트 사전 분포에 대한 전역 및 파라미터별 ESS 척도를 도출하였다.
2. 계획 전략: DPIR 절차를 도입하고 BFDA를 GGM으로 확장하여, 사전의 정보성을 고려한 두 가지 상호 보완적인 표본 크기 결정 경로를 제공하였다.
3. 소프트웨어 구현: 모든 추정치와 전체 DPIR-BFDA 파이프라인을 구현한 오픈 소스 R 패키지인 designbgm을 제공하여 연구자들이 이 방법론을 쉽게 사용할 수 있도록 하였다.

저자들은 이러한 도구 없이는 정보적 사전 분포를 도출하는 GGM 연구자들이 표본 크기를 결정할 엄격한 근거를 갖지 못하게 되며, 결과적으로 사전 분포가 사후 분포를 지배하거나 엣지 탐지력이 부족한 연구를 수행하게 될 위험이 있다고 결론짓는다. 제안된 방법론은 연구자가 계획된 연구가 사전 분포를 압도할 만큼 충분한 정보를 담고 있는지 평가하고, 특정 네트워크 엣지에 대해 결론적인 증거를 얻을 수 있도록 설계할 수 있게 해준다.