Clustering data with values missing at random using scale mixtures of multivariate skew-normal distributions

기술 요약: 결측치가 무작위로 발생하는 경우의 스케일 혼합 다변량 왜도-정규 분포를 이용한 데이터 클러스터링

문제 정의
모델 기반 클러스터링은 고차원 데이터를 분석하는 표준적인 도구이지만, 데이터셋이 왜도(skewness), 두터운 꼬리(heavy tails), 그리고 결측치를 나타낼 때 상당한 어려움에 직면합니다. 가우시안 혼합 모델(GMM)은 계산 효율성은 높지만, 비대칭적인 클러스터 기하학적 구조를 포착하는 데 실패하는 경우가 많으며, 이로 인해 실무자들은 비대칭성을 보완하기 위해 클러스터 수를 과다하게 추정하는 경els을 보입니다. 유한 스케일 혼합 다변량 왜도-정규(FMSMSN) 분포군은 왜도와 과잉 첨도를 처리하기 위해 개발되었으나, 기존 문헌에는 이 모델들을 불완전한 데이터에 적용하기 위한 통합된 프레임워크가 부족합니다. 현재의 접근 방식은 대개 리스트와식 삭제(listwise deletion)에 의존하여 귀중한 정보를 버리거나 편향을 초래하거나, 계산 비용이 많이 드는 임퓨테이션(imputation) 기법을 사용합니다. 또한, FMSMSN 군 전체가 아닌 특정 구성원(예: skew-t 또는 skew-normal만 해당)에 국한되어 결측치를 처리하도록 확장된 기존 연구들은 한계가 있었습니다.

방법론
본 논문은 무작위 결측(MAR) 값이 있는 데이터에 FMSMSN 모델을 적합시키기 위한 일반적인 프레임워크를 제안합니다. 이 방법론은 세 가지 이론적 및 알고리즘적 기둥을 기반으로 합니다:

1. MAR 하에서의 분포 이론: 저자들은 관측된($X^{(o)}$) 성분과 결측된($X^{(m)}$) 성분을 명시적으로 처리하기 위해 다변량 왜도-정규(SN) 분포의 분포 이론을 확장했습니다. 이들은 MAR 가정하에서 결측 성분을 결정하는 전체 확률 분포를 도출합니다. 여기에는 위치 벡터($\mu$), 스케일 행렬($\Sigma$), 그리고 왜도 벡터($\lambda$)를 관측된 부분과 결측된 부분으로 분할하는 과정이 포함됩니다. 저자들은 관측된 성분이 주어졌을 때 결측 성분의 조건부 분포가 업데이트된 파라미터를 가진 특정 왜도-정규 형태를 따른다는 것을 입증했습니다.

2. 확률적 표현 및 모멘트: FMSMSN 군의 확률적 표현을 활용하여, 본 논문은 결측 데이터의 조건부 기대값과 공분산에 대한 폐쇄형(closed-form) 식을 도출합니다. 이러한 도출은 EM 알고리즘에 필수적이며, 수치적 적분에 의존하지 않고도 필요한 충분 통계량을 계산할 수 있게 해줍니다.

3. ECM 알고리즘: 저자들은 불완전한 관측치에 맞춤화된 기대-조건부 최대화(ECM) 알고리즘을 개발했습니다.

   • E-단계(E-step): 잠재 변수(할당 벡터, 스케일링 변수, 절단된 정규 변수)와 결측 데이터 성분의 조건부 기대값을 계산합니다. 논문은 결측값의 교차 곱을 포함한 기대값에 대한 폐쇄형 식을 제공합니다.
   • M-단계(M-step): 기대 완전 데이터 로그-우도(expected complete-data log-likelihood)를 최대화함으로써 모델 파라미터(혼합 비율, 위치, 스케일, 왜도 및 하이퍼파라미터)를 업데이트합니다. M-단계는 파라미터 간의 상호 의존성을 처리하기 위해 조건부 최대화 단계로 나뉩니다.
   • 수렴: 알고리즘은 아이트켄(Aitken) 가속 기준을 사용하여 수렴 여부를 결정하며, 관측된 로그-우도가 안정화되는지 확인합니다.

주요 기여
본 논문은 두 가지 주요 기여를 합니다:

1. 이론적 확장: MAR 메커니즘 하에서 전체 FMSMSN 군 내의 결측 성분에 대한 전체 확률 분포를 최초로 도출했습니다. 여기에는 기대값 및 공분산 구조에 대한 중요한 폐쇄형 식을 확립하는 것이 포함되며, 이를 통해 특정 사례에 국한되지 않고 이 모델군을 일반적으로 적용할 수 있게 합니다.
2. 방법론적 혁신: 불완전한 관측치와 FMSMSN 군의 잠재 변수를 동시에 처리하는 일반화된 추정 절차(ECM 알고리즘)를 제안합니다. 이 접근 방식의 뚜렷한 장점은 최소한의 추가 계산 비용으로 알고리즘 종료 시 결측 데이터에 대한 일련의 임퓨테이션 값을 제공하여 기저의 분포 구조를 보존한다는 점입니다.

결과
제안된 방법은 광범한 시뮬레이션 실험과 실제 응용 사례를 통해 평가되었습니다:

• 시뮬레이션 연구: 저자들은 네 가지 특정 분포(다변량 왜도-정규(SN), Skew-Slash(SS), Skew-t(ST), Skew-Variance-Gamma(SVG))를 사용하여 2-성분 혼합 모델로부터 이변량 데이터를 시뮬레이션했습니다. 클러스터 중첩 정도(잘 분리된 경우 vs 가까운 경우)와 결측 데이터 비율(0% ~ 80%)에 따라 성능을 테스트했습니다.

  • 클러스터링 성능: 조정 랜드 지수(ARI)로 측정했을 때, 결측 데이터 비율과 클러스터링 정확도 사이에는 역관계가 나타났습니다. 그러나 FMSMSN 군은 높은 결측률(최대 80%)에서도 견고한 성능을 유지했습니다. 복잡한 분포로부터 생성된 데이터의 경우, 더 유연한 분포(SVG 및 SS)가 단순한 SN보다 전반적으로 우수한 성능을 보였으며, 특히 클러스터 간 거리가 가까운 시나리오에서 그러했습니다.
  • 파라미터 회복: 절대 편향(AB)과 평균 제곱근 오차(RMSE)로 측정했을 때, SVG 분포가 다양한 결측 수준과 클러스터 근접도에 걸쳐 일관되게 가장 낮은 오차를 보였습니다. 왜도 파라미터($\lambda$)의 회복은 클러스터가 가까운 경우에 일반적인 경향에서 벗어나는 독특한 거동을 보였습니다.

• 실제 응용: 이 방법은 7개 경제 부문에 걸쳐 84.13%의 행이 불완전한 EDGAR 데이터베이스(2022)의 글로벌 CO2 배출 데이터에 적용되었습니다.

  • BIC(Bayesian Information Criterion)를 통한 모델 선택 결과, 2-성분 Skew-Variance-Gamma 혼합 모델이 선호되었습니다.
  • 분석은 국가들을 두 개의 뚜렷한 클러스터로 성공적으로 그룹화했습니다: 하나는 낮은 전체 배출량을 보이는 국가들(유럽 일부, 북아프리카 및 일본, 캐나다와 같은 선진국 포함)을 나타내며, 다른 하나는 높은 배출량을 보이는 국가들(글로벌 사우스, 미국, 영국, 호주, 중국, 인도 포함)을 나타냅니다.
  • 결과는 GDP 개선과 탄소 배출 증가 사이의 연결 고리, 그리고 글로벌 노스(Global North)와 사우스(Global South) 간의 서로 다른 동인(driving factors)을 강조했습니다. 리스트와식 삭제 없이 전체 데이터를 모델링할 수 있는 능력은 완전한 하위 집합이 유의미한 분석을 수행하기에 너무 작았던 상황에서 매우 중요했습니다.

의의 및 주장
본 논문은 제안된 프레임워크가 전체 FMSMSN 군을 불완전한 데이터에 적용할 수 있게 함으로써 문헌의 중요한 공백을 메운다고 주장합니다. 그 의의는 다음과 같습니다:

• 왜도와 두터운 꼬리를 모두 보이는 데이터를 결측 관측치를 버리지 않고 처리할 수 있습니다.
• 실무자가 데이터의 특성에 따라 간결성과 복잡성 사이의 균형을 맞추며 가장 적절한 분포(SN부터 SVG까지)를 선택할 수 있는 유연한 모델링 도구 세트를 제공합니다.
• 다중 임퓨테이션(multiple imputation)에 대한 계산 효율적인 대안을 제공하며, 파라미터 추정치와 함께 불완전한 데이터셋에 대한 휴리스틱 재구성을 제공합니다.

저자들은 성능이 완전한 데이터셋보다는 자연스럽게 낮아질 수 있지만, 이 방법이 그렇지 않으면 접근 불가능했을 의미 있는 결과를 산출한다고 결론지었습니다. 그들은 향후 연구가 MAR의 특수한 경우인 검열된 데이터(censored data)로 이 방법론을 확장하는 데 집중될 것이라고 언급했습니다.