Clustering Matrix Variate Data using Parsimonious Mixtures of Skewed Distributions

기술 요약: 편향된 분포의 파시모니언 혼합을 이용한 행렬 다변량 데이터 클러스터링

문제 정의
본 논문은 (2차원 배열로 구조화된 관측치인) 고차원 행렬 다변량 데이터(matrix variate data)를 유한 혼합 모델을 사용하여 모델링하고 클러스터링하는 과제를 다룹니다. 유한 혼합 모델은 복잡한 데이터 구조를 포착하는 데 강력하지만, 행렬 다변량 왜도 분포(skew-t, 일반화 쌍곡선, 분산-감마, 정규 역 가우스 분포 등)에 적용할 경우 심각한 과잉 매개변수화(over-parameterization) 문제에 직면합니다. 위치, 왜도 및 행/열 공분산 행렬을 위한 전체 매개변수 세트를 추정하는 것은 특히 표본 크기가 작을 때 매우 많은 수의 매개변수를 초래합니다. 이러한 과잉 매개변수화는 모델 과적합, 계산적 불안정성 및 신뢰할 수 없는 매개변수 추정의 원인이 됩니다. 또한, 크로네커 곱(Kronecker product) 구조로 인해 제약 조건 없이는 행렬 다변량 분포의 공분산 행렬이 고유하게 식별되지 않습니다.

방법론
과잉 매개변수화를 완화하기 위해, 저자들은 행렬 다변량 왜도 분포의 유한 혼합으로부터 유도된 파시모니언 혼합 모델(parsimonious mixture models) 군을 제안합니다. 이 방법론은 스펙트럼 분해(spectral decomposition)를 통해 모델 매개변수에 구조적 제약을 부과하는 것을 포함합니다:

1. 공분산 분해: 각 성분 $g$에 대한 행 공분산 행렬($\Sigma_g$)과 열 공분산 행렬($\Psi_g$)을 고윳값 분해($\Sigma_g = \lambda_g D_g A_g D_g^T$ 및 $\Psi_g = \phi_g \Lambda_g \Delta_g \Lambda_g^T$)를 사용하여 분해합니다. 식별성 문제를 해결하기 위해 $\phi_g = 1$이라는 제약 조건을 적용합니다.
2. 매개변수 제약: 저자들은 공분산 행렬의 부피, 형태 및 방향(E: 동일, V: 가변, I: 항등 행렬로 표시)과 꼬리(tail) 거동을 제어하는 혼합 분포 매개변수($\theta_g$)에 대한 제약을 정의합니다.
   • $\Sigma_g$에 대해 14가지, $\Psi_g$에 대해 7가지의 가능한 매개변수화가 존재합니다.
   • 혼합 분포 매개변수(제약된 'E' 대 제약되지 않은 'V')에 대해서도 제약이 적용됩니다.
   • 결과적으로 총 196개의 파시모니언 모델(공분산 구조를 위한 98개 모델 $\times$ 혼합 분포 설정을 위한 2개 설정)이 도출됩니다.
3. 추정 알고리즘: 매개변수는 ECM(Expectation-Conditional Maximization) 알고 much를 사용하여 추정됩니다. 이 알고리즘은 왜도 분포의 분산-평균 혼합 표현을 활용하며, 잠재 변수(성분 지표 및 혼합 변수)는 조건부 기댓값을 통해 처리됩니다.
4. 모델 선택: 최적의 모델과 성분 수를 선택하기 위해 베이지안 정보 기준(BIC)이 사용됩니다.

주요 기여

• 파시모니언 군의 유도: 본 논문은 다변량 및 행렬 다변량 가우시안/t 혼합에 관한 기존 연구를 네 가지 특정 행렬 다변량 왜도 분포 군(FMMVST, FMMVGH, FMMVVG, FMMVNIG)으로 확장합니다.
• 매개변수 감소: 제약을 부과함으로써 추정해야 할 매개변수의 수를 크게 줄입니다. 예를 들어, 시뮬레이션 연구에서 최적의 파시모니언 모델은 4044개의 매개변수를 필요로 했던 반면, 완전히 제약되지 않은 일반 모델은 6568개의 매개변수가 필요했습니다.
• 실제 데이터의 한계 해결: 본 연구는 고차원 실제 데이터(특히 28x28 MNIST 이미지)에서 발생하는 계산 문제를 다룹니다. 일반 모델은 퇴화된 해(degenerate solutions)와 베셀 함수(Bessel function) 계산에서의 무한대 값을 발생시키지만, 파시모니언 접근 방식은 차원 축소 후 안정적인 추정을 가능하게 합니다.

결과

• 시뮬레이션 연구:
  • 데이터는 2x3 차원 및 표본 크기 100, 150, 200인 세 성분의 FMMVST 분포로부터 생성되었습니다.
  • 파시모니언 모델은 복잡한 비제약 모델(예: VII-II-V for FMMVST)보다 일관되게 더 단순한 구조를 선택했습니다.
  • 조정 랜드 지수(ARI)로 측정된 클러스터링 성능은 표본 크기에 따라 향상되었습니다. FMMVST 모델이 가장 높은 ARI(N=200에서 0.957)를 달성했으며, 그 뒤를 FMMVNIG(0.909)가 이었습니다.
  • 결과는 파시모니언 모델이 일반 모델의 계산적 부담 없이 진정한 클러스터 구조를 효과적으로 회복할 수 있음을 입증했습니다.
• 실제 데이터 적용 (MNIST):
  • 모델은 MNIST 데이터셋에서 손으로 쓴 숫자 '0'과 '1'(표본 크기 2,115)에 적용되었으며, 계산 가능성을 보장하기 위해 데이터를 10x10으로 크기를 조정했습니다.
  • 성능: 파시모니언 모델은 일반 모델보다 성능이 현저히 뛰어났습니다. 상위 5개 파시모니언 모델은 0.95 이상의 ARI 값(예: FMMVVG의 경우 0.996)을 달-성한 반면, 일반 모델은 낮은 성능을 보였습니다(FMMVGH의 0.29, FMMVVG의 0.40).
  • 매개변수 효율성: 파시모니언 모델은 약 400~420개의 매개변수를 필요로 했으나, 일반 모델은 약 620개가 필요했습니다.
  • 오분류: 최적의 파시모니언 모델은 최소한의 오분류를 보였습니다. 구체적으로 2,115개의 숫자 중 FMMVST, FMMVGH, FMMVVG, FMMVNIG의 오분류된 숫자는 각각 4개, 6개, 3개, 22개였습니다.
  • 가우시안과의 비교: 가우시안 파시모니언 혼합 모델은 매개변수가 더 적었지만, 제안된 왜도 파시모니언 모델은 (더 낮은 BIC 값으로 나타나듯) 더 나은 적합도를 제공했으며, 가우시안이 FMMVNIG를 약간 앞선 경우를 제외하고는 더 우수한 클러스터링 정확도(높은 ARI)를 제공했습니다.

의의 및 주장
본 논문은 제안된 파시모니언 혼합 모델이 데이터가 왜도와 두꺼운 꼬리(heavy tails)를 보이는 경우, 행렬 다변량 데이터를 클러스터링하기 위한 견고하고 유연한 프레임워크를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 복잡성 단순화: 추정해야 할 매개변수를 획기적으로 줄임으로써 과적합을 방지하고, 작은 표본 크기에서도 모델 안정성을 보장합니다.
2. 정확성 유지: 일반 모델과 대등하거나 더 나은 클러스터링 정확도(높은 ARI)를 달면서도, 과잉 매개변수화와 관련된 계산적 불안정성을 피할 수 있습니다.
3. 유연성 제공: 196개의 다양한 모델 변형을 제공하여, 조사자가 데이터의 특성과 가용 표본 크기에 따라 가장 적절한 구조를 선택할 수 있게 합니다.
4. 실제 시나리오 처리: 표준 일반 모델이 퇴화 및 계산적 한계로 인해 실패하는 MNIST와 같은 실제 이미지 데이터를 성공적으로 모델링합니다.

저자들은 혼합 분포 매개변수($\theta_g$)가 클러스터링 성능(BIC 및 ARI)에 미치는 영향이 미미하다고 결론지었으며, 이는 조사자들이 정확도를 희생하지 않고도 모델 복잡성을 더욱 줄이기 위해 이 매개변수들에 제약을 가할 수 있는 유연성을 가짐을 시사합니다.