CliPS -- How to identify cluster distributions in Bayesian mixture models

1. 연구 배경 및 문제 제기 (Problem)

베이지안 기반 모델 (Model-based) 클러스터링에서 mixture model (혼합 모델) 을 사용할 때 다음과 같은 주요 문제들이 발생합니다.

• 클러스터 수의 불확실성: 실제 데이터에서 클러스터의 수 ($K^+$) 를 사전에 알기 어렵습니다. 베이지안 접근법에서는 유한 혼합 모델의 성분 수 ($K$) 와 데이터에서 실제로 채워진 (filled) 성분 수 ($K^+$) 를 구분해야 하며, $K > K^+$인 경우 (과적합) 빈 성분이 발생할 수 있습니다.
• 라벨 스위칭 (Label Switching) 문제: MCMC (Markov Chain Monte Carlo) 샘플링 과정에서 혼합 모델의 성분 라벨이 무작위로 교환되는 문제가 발생합니다. 이는 성분별 매개변수 ($\theta_k$) 의 사후 분포를 해석하거나 클러스터를 식별하는 것을 어렵게 만듭니다.
• 클러스터 분포의 식별성 부족: 단순히 사분할 (partition) 을 찾는 것을 넘어, 데이터 생성 과정의 클러스터 분포 (cluster distributions) 자체를 식별하고 검증하는 것이 중요합니다. 그러나 데이터 분포가 서로 겹치는 경우, 성분별 매개변수의 사후 분포가 명확히 분리되지 않아 클러스터 구조가 유효한지 판단하기 어렵습니다.

기존의 라벨 스위칭 해결 방법들은 대부분 최종 분할 (partition) 을 얻는 데 초점을 맞추거나, 무조건적인 재레이블링을 수행하여 모델이 클러스터링에 적합한지 여부에 대한 추가적인 검증 정보를 제공하지 못했습니다.

2. 제안된 방법론: CliPS (Methodology)

저자들은 CliPS (Clustering in the Parameter Space) 라는 새로운 절차를 제안합니다. 이 절차는 혼합 모델의 점 과정 표현 (Point Process Representation, PPR) 을 기반으로 하며, MCMC 샘플링된 성분별 매개변수를 매개변수 공간에서 클러스터링하여 라벨을 식별하고 모델의 적합성을 검증합니다.

핵심 단계

1. 모델 설정 및 MCMC 샘플링:
   • 클러스터 수가 알려진 경우: 고정된 $K$개의 성분을 가진 베이지안 혼합 모델을 설정하고 MCMC를 수행합니다.
   • 클러스터 수가 모르는 경우: 유한 혼합 모델의 혼합 (Mixture of Finite Mixtures, MFM), 디리클레 프로세스 (Dirichlet Process), 희소 유한 혼합 (Sparse Finite Mixture) 등을 사용하여 $K$에 대한 사전 분포를 설정하고, 채워진 성분 수 $K^+$의 사후 분포를 추정합니다.
2. 매개변수 공간에서의 클러스터링 (PPR 활용):
   • MCMC에서 얻은 성분별 매개변수 $\theta_k$ (또는 이를 요약하는 저차원 함수 $\phi(\theta_k)$, 예: 평균 벡터) 를 점 과정으로 간주합니다.
   • $K \times M$개의 샘플 (MCMC 반복 횟수) 을 $K$개의 그룹으로 클러스터링 (예: k-means) 합니다.
   • 중요: 이 단계에서는 각 반복 내의 성분 간 의존성을 강제하지 않고, 매개변수 공간에서의 분포만 기반으로 클러스터링합니다.
3. 라벨 식별 및 검증 (Non-permutation Rate):
   • 각 MCMC 반복 $m$에서 클러스터링 결과로 얻은 할당 순서 $\rho_m$이 $\{1, ..., K\}$의 순열 (permutation) 인지 확인합니다.
   • 비순열률 (Non-permutation rate, $\nu$): 순열이 아닌 경우의 비율을 계산합니다.
     • $\nu \approx 0$: 성분별 사후 분포가 명확히 분리되어 있어 클러스터 구조가 유효하고 라벨링이 명확함을 의미합니다.
     • $\nu$가 높음: 성분들이 겹쳐 있어 식별이 불가능하거나 모델이 적합하지 않음을 의미합니다.
4. 재레이블링 및 추론:
   • 순열인 반복들만 선별하여 역순열 ($\rho_m^{-1}$) 을 적용해 라벨을 통일합니다.
   • 식별된 모델을 통해 클러스터 분포를 특성화하고 새로운 관측치를 할당합니다.

클러스터 수를 모르는 경우의 처리

• 채워진 성분 수 $K^+$의 사후 분포에서 최빈값 (mode) 을 추정된 클러스터 수 $\hat{K}^+$로 선택합니다.
• $K^+ = \hat{K}^+$인 반복만 선별하고, 빈 성분에 해당하는 샘플을 제거한 후 위 CliPS 절차를 적용합니다.

3. 주요 기여 (Key Contributions)

1. 클러스터 분포 식별 및 검증 동시 수행: 단순히 라벨을 맞추는 것을 넘어, CliPS 는 클러스터 분포가 실제로 구별 가능한지 (separable) 를 비순열률 ($\nu$) 을 통해 정량적으로 검증합니다.
2. 일반화된 절차: 성분별 분포 (가우시안, 이항, 마르코프 체인 등) 나 사전 분포의 종류에 관계없이 적용 가능한 범용적인 방법론을 제시합니다.
3. 과적합 모델 처리: $K > K^+$인 과적합 혼합 모델에서도 빈 성분을 자동으로 식별하고 제거하여 실제 클러스터 수를 추정하고 분포를 식별하는 방법을 체계화했습니다.
4. 저차원 함수 활용: 고차원 매개변수 공간에서 클러스터링이 어려울 경우, 클러스터를 구분하는 핵심 매개변수 (예: 평균 벡터) 만을 추출하여 PPR 을 시각화하고 분석할 수 있도록 합니다.

4. 실험 결과 (Results)

논문은 다양한 시나리오에서 CliPS 의 유효성을 입증했습니다.

• 시뮬레이션 데이터 (다변량 가우시안):
  • 클러스터 수가 알려진 경우와 모르는 경우 모두에서 CliPS 는 정확한 클러스터 수 ($K^+=4$) 를 식별하고, 매개변수 공간에서 명확히 분리된 4 개의 군집을 확인했습니다. 비순열률 $\nu$는 0 으로 나타나 완벽한 식별성을 보였습니다.
• 실제 데이터 1 (당뇨병 데이터):
  • 3 가지 당뇨 유형 (화학성, 정상, 과다) 을 분류하는 문제에서, CliPS 는 $K^+=3$을 추정하고 가우시안 혼합 모델을 통해 잘 분리된 3 개의 클러스터를 식별했습니다. 기존 라벨과의 일치도 (Accuracy 0.855, Adjusted Rand Index 0.653) 가 높았습니다.
• 실제 데이터 2 (Fear 데이터 - Latent Class Model):
  • Dirichlet Process Prior 를 사용한 무한 혼합 모델에서, CliPS 는 $K^+=2$ (억제형/비억제형) 를 식별했습니다. 빈 성분을 제거한 후의 PPR 에서 두 군집이 명확히 분리되었으며, 기존 연구 (Stern et al., 1994) 와 일치하는 확률 분포를 추정했습니다.
• 실제 데이터 3 (임금 데이터 - Markov Chain Mixture):
  • 마르코프 체인 혼합 모델을 사용하여 임금 이동성 패턴을 분석했습니다. 8 개의 클러스터 ($\hat{K}^+=8$) 를 식별했으며, 비순열률은 1.4% 로 낮아 클러스터 구조가 유효함을 확인했습니다. 각 클러스터별 전이 확률 행렬을 통해 고용/실업 패턴이 명확히 다른 그룹들을 발견했습니다.

5. 의의 및 결론 (Significance)

• 모델 적합성 평가 도구: CliPS 는 단순히 클러스터링 결과를 제공하는 것을 넘어, 선택된 모델이 데이터의 클러스터 구조를 적절히 포착하는지를 판단하는 강력한 진단 도구 역할을 합니다. 높은 비순열률은 모델의 재구성이 필요하거나 데이터 내에 명확한 클러스터 구조가 없음을 시사합니다.
• 베이지안 추론의 확장: 라벨 스위칭 문제를 해결하면서도, 사후 분포의 분산과 중첩 정도를 고려하여 클러스터 분포의 고유한 특성을 보존하는 식별된 모델을 제공합니다.
• 유연성: 가우시안 혼합뿐만 아니라 이산형 데이터, 시계열 데이터 (마르코프 체인), 비모수적 모델 등 다양한 베이지안 혼합 모델에 적용 가능하여 통계적 클러스터링의 범위를 넓혔습니다.

결론적으로, CliPS 는 베이지안 혼합 모델 기반 클러스터링에서 **"클러스터가 존재하는가?", "몇 개인가?", "그 분포는 무엇인가?"**라는 세 가지 핵심 질문에 대해 체계적이고 검증 가능한 해답을 제시하는 혁신적인 절차입니다.