Finite mixture representations of zero-and-$N$-inflated distributions for count-compositional data

이 논문은 **카운트-구성 데이터 (count-compositional data)**에서 발생하는 과다 영 (excess zeros) 문제를 해결하기 위해 설계된 두 가지 다변량 확률 분포, 즉 **영 및 N-과잉 다항분포 (ZANIM)**와 **영 및 N-과잉 디리클레 - 다항분포 (ZANIDM)**에 대한 새로운 확률론적 해석과 유한 혼합 (finite mixture) 표현을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 카운트-구성 데이터의 특성: 다항분포 (Multinomial) 나 디리클레 - 다항분포 (Dirichlet-multinomial, DM) 와 같은 기존 분포는 각 범주의 합이 고정된 총 시행 횟수 $N$이 되도록 제약받습니다.
• 과다 영 (Excess Zeros) 의 복잡성: 단일 변수 (univariate) 경우와 달리, 다변량 환경에서는 영 (0) 이 한 범주뿐만 아니라 여러 범주에 동시에 발생할 수 있습니다.
  • 영 과잉 (Zero-inflation): 특정 범주에서 관측된 영의 수가 기대값보다 훨씬 많습니다.
  • N-과잉 (N-inflation): $d-1$개의 범주가 0 일 때, 나머지 한 범주의 카운트는 총 시행 횟수 $N$과 일치하게 됩니다. 이를 '엔드포인트 과잉 (endpoint-inflation)'이라고도 합니다.
• 기존 연구의 한계: 기존 연구들은 주로 잠재 공간 (latent space) 을 수정하여 영 과잉을 모델링하거나, 이론적 성질 (모멘트, 주변 분포 등) 에 대한 체계적인 분석이 부족했습니다. 특히 ZANIDM 의 경우, Koslovsky (2025) 에 의해 제안되었으나 단순한 혼합 표현을 넘어 표본 분포로서의 완전한 특성이 규명되지 않았습니다.

2. 방법론 (Methodology)

저자들은 두 분포를 **유한 혼합 분포 (finite mixture distribution)**로 재해석하는 통합 프레임워크를 개발했습니다.

• ZANIM (Zero-and-N-inflated Multinomial):
  • 기존 다항분포를 기반으로 하며, 각 범주별 영 과잉 파라미터 ($\zeta_j$) 를 도입합니다.
  • 보조 변수 $\phi$를 도입하여 포아송-다항 변환을 수행한 후, 영 과잉을 반영한 'ZI-포아송' 형태를 유도합니다.
  • 결과적으로 $2^d$개의 성분으로 구성된 유한 혼합 분포로 표현됩니다. 이는 (1) 표준 다항분포, (2) 모든 범주가 0 인 경우 (Dirac 측도), (3) $d-1$개 범주가 0 인 경우 (N-과잉), (4) 일부 범주가 0 인 경우 (축소된 차원의 다항분포) 를 포함합니다.
• ZANIDM (Zero-and-N-inflated Dirichlet-multinomial):
  • 디리클레 - 다항분포를 기반으로 하며, Koslovsky 의 ZIDM 을 확장하여 영 과잉과 N-과잉을 동시에 모델링합니다.
  • 잠재 변수 $z_j$ (Bernoulli) 와 $\lambda_j$ (Gamma) 를 사용하여 계층적 구조를 정의하고, 이를 적분하여 유한 혼합 분포 형태로 유도합니다.
  • ZANIM 과 유사하게 $2^d$개의 성분을 가지며, 비퇴화 성분은 축소된 차원의 디리클레 - 다항분포 (DM) 로 구성됩니다.
• 베이지안 추론 (Bayesian Inference):
  • ZANIM: 잠재 변수 $z$와 $\phi$를 도입하여 데이터 증강 (data augmentation) 전략을 사용하며, 켤레 사전분포 (Beta, Gamma) 를 통해 효율적인 깁스 샘플링 (Gibbs sampling) 업데이트를 유도합니다.
  • ZANIDM: 기존 연구 (Koslovsky) 의 'expand and contract' 메트롭리스 - 헤이스팅스 (MH) 업데이트 대신, **축소된 깁스 샘플링 (collapsed Gibbs sampling)**을 제안합니다. 잠재 변수 $z_j$를 $\lambda_j$에 대해 주변화 (marginalise) 하여 조건부 확률을 직접 계산함으로써, 차원 변경 없이 파라미터를 효율적으로 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 통일된 프레임워크 및 확률론적 특성화: ZANIM 과 ZANIDM 을 유한 혼합 분포로 명확히 정의하고, 이를 통해 모멘트 (평균, 분산, 공분산), 주변 분포, 특수 경우 등을 체계적으로 유도했습니다.
   • 특히 ZANIDM 을 표본 분포 (sampling distribution) 로 완전히 특성화하여, 기존 연구에서 누락된 이론적 기반을 제공했습니다.
2. 효율적인 베이지안 추론 알고리즘: ZANIDM 에 대해 기존 방법보다 계산 효율성이 뛰어난 축소된 깁스 샘플링 알고리즘을 개발했습니다. 시뮬레이션 연구에서 이 방법이 기존 MH 기반 방법보다 **유효 표본 크기 (ESS)**가 크고 수렴 속도가 빠름을 입증했습니다.
3. 과잉 분산 및 양의 상관관계 모델링: 기존 다항분포나 DM 분포는 음의 상관관계만 허용하지만, 제안된 혼합 분포 구조를 통해 양의 상관관계와 **과잉 분산 (overdispersion)**을 동시에 모델링할 수 있음을 보였습니다.

4. 결과 (Results)

• 시뮬레이션 연구:
  • 추론 효율성: 제안된 축소된 깁스 샘플링 (DA-PTN, MH-RW, SS) 이 Koslovsky 의 기존 ZIDM 알고리즘보다 파라미터 ($\alpha, \zeta$) 추정에서 더 높은 ESS 와 낮은 편향을 보였습니다.
  • 모델 적합도: ZANIM 으로 생성된 데이터에는 ZANIM 이, ZANIDM 으로 생성된 데이터에는 ZANIDM 이 더 잘 적합되었습니다. 특히 ZANIDM 으로 생성된 데이터에 ZANIM 을 적용할 때보다, ZANIDM 이 과잉 분산을 잘 포착하여 더 좋은 예측 성능 (ELPD) 을 보였습니다.
• 실제 데이터 적용 (인간 장내 미생물군집 데이터):
  • 98 명의 개인에 대한 28 종의 세균 군집 데이터를 분석했습니다.
  • 많은 세균 종에서 과잉 분산과 영 과잉이 관찰되었습니다.
  • ZANIDM 모델이 ZANIM 모델보다 더 높은 ELPD 를 보이며 데이터에 더 잘 적합되었습니다. 이는 미생물 데이터의 높은 과잉 분산 특성을 디리클레 - 다항분포 성분이 잘 설명하기 때문입니다.
  • 일부 종 (예: Prevotella) 에서는 구조적 영 (structural zeros) 이 매우 높게 나타났으며, 두 모델 모두 이를 $\zeta$ 파라미터를 통해 잘 포착했습니다.

5. 의의 및 결론 (Significance)

• 이론적 완성도: 카운트-구성 데이터의 영 과잉 문제를 해결하는 두 가지 주요 분포에 대한 엄밀한 확률론적 정립과 유한 혼합 표현을 제공함으로써, 향후 관련 연구의 기초를 마련했습니다.
• 실용적 유용성: 제안된 베이지안 추론 방법은 계산 효율성이 뛰어나 대규모 다변량 데이터 (예: 미생물군집, 생태학 데이터) 에 적용 가능합니다.
• 확장성: 이 프레임워크는 다른 구성 데이터 분포 (예: Conway-Maxwell-multinomial) 로 확장 가능하며, 공변량 (covariates) 을 포함하는 회귀 모델로 발전시킬 수 있는 잠재력을 가집니다.

요약하자면, 이 논문은 다변량 카운트 데이터의 영 과잉과 N-과잉을 동시에 처리할 수 있는 강력한 통계적 도구 (ZANIM, ZANIDM) 를 개발하고, 이를 위한 효율적인 추론 알고리즘을 제시하여 실제 응용 분야에서의 활용성을 높였습니다.