Adaptive Bayesian Structure Learning of DAGs With Non-conjugate Prior

기술 요약: 비공액 사전 분포를 이용한 적응형 베이지안 DAG 구조 학습

문제 정의
본 논문은 가우시안 DAG 모델 내에서 방향성 비순환 그래프(DAG)의 구조를 학습하는 데 있어 베이지안 프레임워크 내의 과제를 다룹니다. DAG는 조건부 독립성과 인과 관계를 나타내는 강력한 도구이지만, 최적의 그래프 구조를 결정하는 것은 계산 집약적이며 통계적 불확실성을 동반합니다. 전통적인 베이지안 접근 방식은 분석적 용이성을 위해 정규-역감마(Normal-Inverse-Gamma, NIG) 분포와 같은 공액 사전 분포(conjugate priors)에 의존하는 경우가 많습니다. 그러나 저자들은 이러한 공액 사전 분포가 생성 모델의 노드 및 엣지 포함 여부와 관련하여 항상 가장 높은 사후 확률이나 가장 정확한 구조 학습을 보장하지는 않는다고 주장합니다. 본 연구의 주요 목표는 구조 학습의 적응성을 유지하면서 사후 확률과 계산 효율성을 향상시키는 방법을 개발하는 것입니다.

방법론
저자들은 가우시안 DAG의 파라미터에 대해 비공액 정규-감마(Normal-Gamma, NG) 사전 분포를 사용하는 새로운 베이지안 구조 학습 접근 방식을 제안합니다.

1. 모델 공식화:

   • 변수의 결합 분포는 수정된 촐레스키 분해($\Omega = L D^{-1} L^T$)를 통해 재매개변수화된 평균이 0인 가우시안 DAG로 모델링됩니다.
   • 파라미터는 대각 성분 $D_{jj}$(조건부 분산)와 하삼각 계수 $L_{\prec j]}$(회귀 계수)로 구성됩니다.
   • $D_{jj}$가 역감마 분포를 따르는 표준 NIG 방식과 달리, 제안된 방법은 $D_{jj}$에 감마 분포($\Gamma$)를 할당하는 동시에, $D_{jj}$에 대한 조건부로 $L_{\prec j]}$에 정규 분포를 유지합니다.

2. 이론적 유도:

   • 저자들은 이 비공액 사전 분포 하에서의 파라미터에 대한 주변 가능도(marginal likelihood)와 결합 사후 밀도 함수를 유도합니다.
   • 핵심적인 이론적 결과는 사후 확률 및 주변 밀도 표현식에서 제3종 베셀 함수($K_\nu$)의 등장입니다. 이러한 수학적 특성은 공액성이 제공하는 일반적인 분석적 단순화 없이도 사후 확률을 계산할 수 있게 합니다.

3. MCMC 알고리즘:

   • 사후 추론을 수행하기 위해 마르코프 체인 몬테카를로(MCMC) 스킴이 개발되었습니다.
   • 알고리즘은 삽입, 삭제, 방향성 엣지 반전과 같은 국소 연산자를 사용하여 DAG 공간($S_q$)을 탐색하며, 이 과정에서 생성된 그래프가 항상 비순환 상태를 유지하도록 보장합니다.
   • DAG 간의 전이 승인 확률은 유도된 주변 가능도(정리 1)와 엣지 포함의 사전 확률을 사용하여 계산됩니다.
   • 각 반복 단계에서 파라로미터의 전체 조건부 분포를 샘플링하여 그래프 구조와 파라미터를 동시에 업데이트합니다.

주요 기여

• 비공액 사전 분포 구현: 본 논문은 표준 정규-역감마 공액 프레임워크에서 벗어나 가우시안 DAG를 위한 정규-감마 사전 분포의 사용을 도입했습니다.
• 베셀 함수를 통한 계산 효율성: 비공액 사전 분포가 계산 부담을 가중시킬 것이라는 직관과 달리, 저자들은 베셀 함수를 활용한 사후 확률 계산이 공액 NIG 모델보다 더 빠른 MCMC 계산 결과를 가져온다는 것을 입증했습니다.
• 적응형 희소성(Adaptive Sparsity): 제안된 방법은 엣지 포함에 대해 "신중하거나" 보수적인 동작을 보입니다. 즉, 엣지 포함 확률이 높을 때만 엣지를 포함하는 경 경향이 있으며, 이는 엣지 포함의 사전 확률이 낮을 때 더 희소한 DAG를 생성하게 합니다.
• 향상된 사후 확률: 본 연구는 제안된 NG 사전 분포가 NIG 사전 분포에 비해 최대 사후 확률(MAP) DAG에 대해 더 높은 사후 확률을 제공한다고 주장합니다.

결과
방법론은 시뮬레이션 연구와 실제 응용 사례를 통해 평가되었습니다.

1. 시뮬레이션 연구:

   • 성능 지표: NG 모델은 다양한 표본 크기($n=200, 300$)와 노드 수($q=40, 50$)에 대해 NIG 모델과 비교되었습니다.
   • 정확도: NG 모델은 특이도(Specificity, SP), 허위 음성율(False Negative Rate, FNR), 오설정율(Misspecification Rate, MISR) 및 정확도(Accuracy, AC) 측면에서 우수한 성능을 보였습니다.
   • 민감도 트레이드오프: NG 모델은 NIG에 비해 낮은 민감도(Sensitivity, SE)와 F1-score를 보였습니다. 저자들은 이를 모델의 보수적인 특성 때문으로 설명합니다. 즉, 엣지 포함의 사전 확률이 낮을 때 NG 모델은 더 적은 진양성(true positives)을 생성하여, 민감도는 낮지만 특이도는 높게 나타납니다.
   • 계산 시간: 변수의 수와 표본 크기가 증가함에 따라 NG 모델의 반복당 계산 시간이 일반적으로 NIG 모델보다 낮았습니다. 베셀 함수의 포함은 유의미한 계산 지연을 초래하지 않았습니다.

2. AML 데이터 분석:

   • 방법론은 급성 골수성 백혈병(AML) 환자 데이터셋($n=68, q=18$ 단백질)에 적용되었습니다.
   • 수렴: 트레이스 플롯(Trace plots)은 양호한 MCMC 혼합(mixing)과 수렴을 나타냈습니다.
   • 사후 확률: NG 모델에 의해 추정된 MAP DAG의 사후 확률은 0.769였으며, 이는 NIG 모델이 얻은 0.0016보다 현저히 높았습니다.
   • 구조적 추정: 중앙 확률 모델(Median Probability Model, MPM)과 MAP 추정치가 모두 생성되었으며, 일관된 구조 학습 능력을 보여주었습니다.

의의 및 주장
본 논문은 제안된 적응형 베이지안 구조 학습 접근 방식이 전통적인 공액 사전 분포에 대한 강력한 대안을 제공한다고 주장합니다. 비공액 정규-감마 사전 분포를 사용함으로써 본 방법은 다음을 달 수 있습니다:

• 높은 사후 확률: 결과적인 MAP DAG는 실질적으로 더 높은 사후 확률을 가지며, 이는 데이터 생성 과정에 더 잘 부합함을 시사합니다.
• 계산적 이점: 이론적 복잡성에도 불구하고, 이 방법은 공액 NIG 방식보다 계산적으로 더 빠릅니다.
• 적응성: 모델은 엣지 포함에 대해 보수적으로 행동함으로써 데이터의 실제 구조에 적응하며, 사전 확률이 낮은 엣지 밀도를 가질 때 가짜 관계를 효과적으로 필터링합니다.

저자들은 이 기술이 인과 발견 및 추정에 응용될 잠재력이 있으며, 다변량 시나리오에서 변수 간 의존성을 밝혀내는 데 있어 더 정확하고 효율적인 도구를 제공한다고 결론지었습니다.