Bayesian nonparametric models for zero-inflated count-compositional data using ensembles of regression trees

이 논문은 제로-인플레이션 (zero-inflated) 된 카운트 - 구성성분 (count-compositional) 데이터를 분석하기 위한 새로운 베이지안 비모수 (Bayesian nonparametric) 모델을 제안합니다. 특히, 회귀 트리의 앙상블 (ensembles of regression trees) 인 **BART(Bayesian Additive Regression Trees)**를 활용하여 복잡한 공변량 효과를 유연하게 포착하고, 구조적 제로 (structural zeros) 와 과분산 (overdispersion) 문제를 동시에 해결하는 두 가지 모델을 개발했습니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 데이터의 특성: 고처리량 시퀀싱 (microbiome), 생태학 조사, 고기후학 (palaeoclimate) 등 다양한 분야에서 다변량 카운트 데이터가 구성성분 (합이 일정) 으로 제한되는 형태로 자주 발생합니다.
• 주요 도전 과제:
  1. 제로-인플레이션 (Zero-inflation): 관측된 제로 (0) 가 샘플링 변동성 때문인지, 해당 사건이 발생할 수 없는 '구조적 제로'인지 구분해야 합니다.
  2. 과분산 (Overdispersion): 다항분포 (Multinomial) 가 가정하는 분산보다 실제 데이터의 변동성이 훨씬 큽니다.
  3. 복잡한 공변량 효과: 기후나 환경 변수와 구성성분 간의 관계가 비선형적이거나 상호작용을 포함할 수 있으나, 기존 방법들은 주로 선형 가정을 강요합니다.
  4. 교차 의존성: 카테고리 간 복잡한 의존 구조를 고려해야 합니다.
• 기존 방법의 한계:
  • 선형 모델 (DM, MLN 등): 공변량 효과를 선형으로 가정하여 비선형성을 놓칩니다.
  • 가우시안 프로세스 (GP) 기반 모델: 비선형성을 처리할 수 있지만, 구조적 제로를 명시적으로 모델링하지 못하거나 계산 비용이 매우 큽니다.
  • 제로-인플레이션 모델 (ZIDM 등): 구조적 제로를 고려하지만, 여전히 공변량 효과를 선형으로 가정하는 경우가 많아 유연성이 부족합니다.

2. 제안된 방법론 (Methodology)

저자들은 ZANIM (Zero-and-N-inflated Multinomial) 분포를 기반으로 하여, 비모수적인 BART를 적용한 두 가지 새로운 모델을 제안합니다.

A. 핵심 분포: ZANIM 및 ZANIM-LN

• ZANIM: 다항분포를 확장하여 구조적 제로 (structural zeros) 와 N-inflation(한 카테고리 외 모든 카테고리에서 0 인 경우) 을 처리하는 유한 혼합 모델입니다.
• ZANIM-LN (Logistic-Normal): ZANIM 에 **다변량 로지스틱 - 노멀 랜덤 효과 (multivariate logistic-normal random effects)**를 추가하여 카테고리 간 과분산과 복잡한 의존성을 더 잘 포착하도록 확장했습니다.

B. 모델 구조

1. ZANIM-BART:

   • 구성 확률 (Compositional probabilities, $\theta$): Multinomial Logistic BART (Murray, 2021) 를 사용하여 공변량에 따른 확률을 모델링합니다.
   • 구조적 제로 확률 (Structural zero probabilities, $\zeta$): Probit BART (Chipman et al., 2010) 를 사용하여 공변량에 따른 제로 발생 확률을 모델링합니다.
   • 각 카테고리별로 독립적인 BART 트리 앙상블을 할당하여 비선형성과 상호작용을 유연하게 포착합니다.

2. ZANIM-LN-BART:

   • ZANIM-BART 에 **잠재 랜덤 효과 (latent random effects)**를 추가합니다.
   • 이는 관측되지 않은 이질성 (unobserved heterogeneity) 을 설명하고 카테고리 간 의존성을 더 정교하게 모델링합니다.
   • 랜덤 효과를 제거하면 기존 MLN-BART 모델이 되며, 제로-인플레이션 성분을 제거하면 ML-BART 가 됩니다.

C. 추론 알고리즘 (Inference)

• 데이터 증강 (Data Augmentation): ZANIM 분포의 유한 혼합 특성과 BART 의 특성을 결합하기 위해 효율적인 데이터 증강 기법을 도입했습니다.
  • 구조적 제로 지시변수 ($z_{ij}$) 와 잠재 변수 ($w_{ij}$) 를 도입하여 프로빗 링크 함수를 처리합니다.
  • 감마 분포를 이용한 증강을 통해 다항분포 부분의 우도 (likelihood) 를 간소화합니다.
• MCMC 알고리즘:
  • 기존 BART 샘플링 루틴 (Chipman et al., 2010; Murray, 2021) 을 확장하여 적용했습니다.
  • 베이지안 백피팅 (Bayesian backfitting) 방식을 사용하여 트리 구조와 노드 매개변수를 업데이트합니다.
  • 랜덤 효과의 업데이트에는 Elliptical Slice Sampling을 사용합니다.
  • 공분산 행렬의 식별성 문제를 해결하기 위해 요인 분석 (Factor Analysis) 하이퍼프리오를 적용하여 차원을 축소했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 모델 프레임워크: 구조적 제로, 과분산, 비선형 공변량 효과를 동시에 처리하는 최초의 베이지안 비모수 모델 (ZANIM-BART, ZANIM-LN-BART) 을 제안했습니다.
2. 유연성: 공변량 효과에 대한 사전적인 함수 형태 (선형 등) 를 지정할 필요가 없으며, BART 를 통해 복잡한 비선형 관계와 상호작용을 자동으로 학습합니다.
3. 효율적인 추론: 기존 BART 샘플링 기법을 데이터 증강 기법과 결합하여 복잡한 모델에서도 효율적인 MCMC 추론이 가능하도록 알고리즘을 개발했습니다.
4. 새로운 모델 확장: ZANIM-LN-BART 에서 제로-인플레이션 성분을 제거하면 MLN-BART라는 새로운 모델이 도출되며, 이는 기존 문헌에 없던 확장입니다.

4. 실험 결과 (Results)

시뮬레이션 연구

• 비선형성 회복: 복잡한 비선형 함수와 상호작용을 가진 데이터에서 제안된 모델들이 기존 선형 모델 (DM-reg, ZIDM-reg) 과 GP 기반 모델 (MLN-GP) 보다 Kullback-Leibler (KL) 발산이 훨씬 낮아 참값을 더 정확하게 복원했습니다.
• 구조적 제로 처리: 구조적 제로가 있는 데이터에서 기존 모델들은 구성 확률 ($\theta$) 추정에 심각한 편향을 보였으나, 제안된 모델들은 구조적 제로를 명시적으로 모델링하여 편향을 제거하고 불확실성 정량화 (95% 신뢰구간 피복률) 를 개선했습니다.
• 견고성: 구조적 제로가 없는 데이터 (MLN DGP) 에서도 제안된 모델들은 특수한 경우 (ML-BART, MLN-BART) 와 유사한 성능을 보이며, 불필요한 혼합 성분이 성능을 저해하지 않음을 입증했습니다.

실제 데이터 분석

1. 고기후학 (Palaeoclimate) 데이터 (꽃가루 데이터):
   • 28 가지 꽃가루 종과 3 가지 기후 변수 (GDD5, MTCO, AET/PET) 간의 관계를 분석했습니다.
   • Holdout 예측 검사 (HPC) 결과, ZANIM-LN-BART가 과분산, 제로-인플레이션, 구성성분 구조를 가장 잘 설명하며 가장 우수한 적합도를 보였습니다.
   • **부분 의존도 플롯 (PDP)**을 통해 기후 변수가 꽃가루의 풍부도 (count) 와 존재 여부 (structural zero) 에 미치는 비선형적, 다중 모드 (multimodal) 효과를 발견했습니다.
2. 인간 장내 미생물군집 (Gut Microbiome) 데이터:
   • 식이 요인과 미생물 구성 간의 관계를 분석했습니다.
   • ZANIM-LN-BART 는 다른 모델들보다 과분산과 제로-인플레이션을 더 잘 설명했으며, **변수 선택 (Variable Selection)**을 통해 중요한 영양소 (탄수화물, 식물성 지방 등) 와 미생물 간의 비선형 관계를 성공적으로 식별했습니다.

5. 의의 및 결론 (Significance)

• 통계적 혁신: 카운트 - 구성성분 데이터 분석에서 구조적 제로와 비선형성을 동시에 다루는 강력한 프레임워크를 제공했습니다.
• 실무적 적용: 고기후학, 미생물군집 분석 등 실제 과학 분야에서 복잡한 환경 변수와 생물학적 반응 간의 관계를 더 정확하게 해석할 수 있게 합니다.
• 계산적 효율성: GP 기반 모델의 높은 계산 비용 문제를 BART 를 통해 완화하면서도 유연성을 유지했습니다.
• 미래 전망: 이 연구는 비모수적 베이지안 방법론이 복잡한 다변량 계수 데이터 분석에 어떻게 적용될 수 있는지를 보여주며, 향후 더 정교한 비선형 모델링과 변수 선택을 위한 표준으로 자리 잡을 가능성이 높습니다.

요약하자면, 이 논문은 ZANIM-BART와 ZANIM-LN-BART를 통해 기존 방법론이 해결하지 못했던 제로-인플레이션, 과분산, 비선형성이라는 세 가지 핵심 문제를 통합적으로 해결하는 혁신적인 통계 모델을 제시했습니다.