Model--based clustering for spherical and hyper--spherical data using elliptically symmetric distributions

기술 요약: 타원 대칭 분포를 이용한 구면 및 초구면 데이터의 모델 기반 군집화

문제 제기
단위 노름 ($S^d$) 으로 제한된 방향성 데이터는 지질학, 환경과학, 로봇공학 등 다양한 분야에서 광범위하게 나타납니다. 이러한 데이터에 대한 모델 기반 군집화는 상당한 관심을 받아 왔으나, 대부분의 기존 방법은 회전 대칭 분포 (예: von Mises–Fisher, 투영 정규, 구면 코시) 에 의존합니다. 이러한 분포들은 등방성 공분산을 가정하므로, 군집이 원형 또는 구면 대칭이 아닌 타원형 형태를 띠는 복잡한 데이터 구조를 모델링하는 능력에 제약을 받습니다. Kent 분포와 같은 타원 대칭 분포가 제안된 바 있으나, 최근 제안된 분포들을 활용하여 계산적 이점과 유연한 등고선 형태를 제공하는 견고한 혼합 모델에 대한 필요성이 대두되고 있습니다.

방법론
본 논문은 두 가지 특정 타원 대칭 분포의 혼합을 이용한 구면 및 초구면 데이터에 대한 모델 기반 군집화를 제안합니다:

1. 타원 대칭 각 가우스 (ESAG): Paine 등 (2018) 이 제안한 이 분포는 다변량 정규 분포를 구면으로 투영하여 유도됩니다. 식별 가능성을 보장하기 위해 공분산 행렬에 제약을 부과하며, Fisher–Bingham 분포와 일치하는 타원형 등고선을 허용하면서도 폐쇄형 정규화 상수를 가집니다.
2. 구면 타원 대칭 투영 코시 (SESPC): Tsagris 와 Alzeley (2025) 가 제안한 이 분포는 유사한 타원 대칭 제약 하에 3 차원 코시 분포를 구면으로 투영하여 유도됩니다.

추정 및 구현:

• 알고리즘: 유한 혼합 모델의 매개변수를 추정하기 위해 기대값 최대화 (EM) 알고리즘이 사용됩니다. E 단계에서는 사후 소속 확률을 계산하고, M 단계에서는 혼합 비율과 분포 매개변수를 업데이트합니다.
• 최적화: 이러한 밀도 함수에 대해 평균 ($\mu$) 과 형태 ($\gamma$) 매개변수의 폐쇄형 최대화자가 존재하지 않으므로, M 단계에서 수치적 최적화 (예: Nelder–Mead) 가 사용됩니다.
• 모델 선택: 최적의 군집 수 ($K$) 를 결정하기 위해 통합 완료 가능도 (ICL) 기준이 활용됩니다.
• 초기화: 국소 최댓값을 피하기 위해 저자들은 $k$-means 와 가우시안 혼합 모델 (GMM) 을 통한 초기화를 비교하였으며, 구조화된 공분산을 가진 GMM 이 이러한 타원 분포에 대해 더 나은 성능을 보임을 발견했습니다.
• 공변량: 프레임워크는 혼합 확률 (동반 모델) 또는 평균 벡터 (회귀 혼합) 를 모델링하기 위해 공변량의 포함을 허용하지만, 이는 계산 비용을 증가시킵니다.
• 초구면 데이터: 초구면 ($d > 2$) 상에 존재하는 데이터의 경우, 저자들은 구면 혼합 모델을 적용하기 전에 주 지측선 분석 (PGA) 을 사용하여 데이터를 3 차원 구면으로 투영합니다.

주요 기여

• 군집화 프레임워크의 확장: 본 논문은 회전 대칭 분포를 넘어 ESAG 와 SESPC 를 포함하도록 모델 기반 군집화를 확장하여, 타원형 등고선을 가진 군집의 모델링을 가능하게 합니다.
• 비교 분석: 연구는 군집 탐지 정확도, 군집 형태에 대한 견고성, 그리고 계산 효율성 측면에서 ESAG 와 SESPG 혼합 모델 간의 포괄적인 비교를 제공합니다.
• 초구면 적응: SESPC 가 원래 3 차원 구면에 대해 정의되었음을 고려할 때, 투영을 통해 이러한 구면 모델을 초구면 데이터에 적용하는 문제를 다루었습니다.

결과

• 시뮬레이션 연구:
  • 정확도: 데이터가 ESAG 혼합에서 생성될 경우 두 모델 모두 유사하게 잘 수행됩니다. 그러나 데이터가 SESPC 혼합에서 생성될 경우, SESPC 모델은 특히 올바른 군집 수를 탐지하고 조정된 랜지 지수 (ARI) 값을 높게 달성하는 데 있어 ESAG 보다 우월합니다.
  • 군집 형태: SESPC 분포는 ESAG 에 비해 꼬리에서 더 "퍼져 있는" 것으로 나타납니다. 결과적으로 ESAG 는 실제 데이터 구조가 매우 분산되었거나 군집이 특정 각도에 형성될 때 더 큰 어려움을 겪습니다.
  • 표본 크기와 집중도: 성능은 더 큰 표본 크기와 더 높은 집중도 매개변수 ($\tau$) 에 따라 향상됩니다. 작은 표본 크기나 낮은 집중도 매개변수는 올바른 군집 수를 탐지하는 데 어려움을 초래합니다.
  • 계산 비용: SESPC 모델은 다양한 표본 크기 ($n=200, 500, 1000$) 에 걸쳐 ESAG 모델보다 일관되게 빠릅니다.
• 실제 데이터 적용:
  • 지진 데이터 (북미 및 피지): 두 모델 모두 북미 데이터에 대해 유사한 수의 군집 (4 개) 을 식별했으나, 하와이와 같은 특정 위치 할당은 다르게 수행했습니다. SESPC 군집은 더 선형적으로 분리 가능한 것으로 나타났습니다. 피지 지역의 경우 SESPC 는 4 개의 군집을 선택한 반면 ESAG 는 7 개를 선택했는데, SESPC 군집이 다시 한 번 분리하기 쉬웠습니다. 지진 규모를 공변량으로 포함시키는 것은 북미 데이터에는 미미한 영향을 미쳤으나, 피지 ESAG 모델의 군집 수를 줄였습니다.
  • 와인 품질 데이터: 두 모델 모두 2 개의 군집을 올바르게 식별했습니다. ESAG 는 SESPC (0.546) 보다 높은 ARI(0.700) 를 달성하여, 이 특정 데이터셋에는 ESAG 가 더 적합함을 시사합니다.
  • 도매 데이터: ESAG 는 3 개의 군집을 탐지한 반면 SESPC 는 2 개를 탐지했습니다.
  • SC 와의 비교: 와인 및 도매라는 두 가지 실제 초구면 데이터셋 모두에서, 제안된 타원 모델은 회전 대칭 구면 코시 (SC) 혼합 모델보다 ARI 측면에서 더 우수한 성능을 발휘했습니다.

의의 및 주장
저자들은 이 작업의 주요 의의는 대부분의 방향성 군집화 방법 내재된 등방성 공분산 가정을 완화하는 데 있다고 주장합니다. ESAG 와 SESPC 혼합을 활용함으로써 제안된 모델은 타원형 군집 구조를 포착할 수 있으며, 회전 대칭 분포에 비해 더 유연한 대안을 제공합니다.

본 논문은 두 분포 모두 효과적이지만, 그 선택은 근본적인 데이터 생성 과정에 달려 있다고 겸손하게 결론지었습니다. 즉, ESAG 는 더 밀집되고 분산이 적은 군집을 가진 데이터에 적합하며, SESPC 는 더 무거운 꼬리나 더 분산된 구조를 가진 데이터에 우수합니다. furthermore, 본 연구는 초구면 데이터를 구면으로 투영함으로써 이러한 구면 혼합 모델을 고차원 방향성 데이터에 효과적으로 적용할 수 있음을 보여주었으며, 경험적 테스트에서 기존 회전 대칭 접근법보다 우수한 성능을 발휘함을 입증했습니다.