Handling mild outliers and unobserved values in compositional datasets using finite mixtures of mean-parametrised Dirichlet models

기술 요약: 조성 데이터셋에서의 경미한 이상치 및 미관측 값 처리

문제 정의
단위 심플렉스(unit simplex) 상에 존재하며 합이 일정하게 유지되는 조성 데이터(compositional data)는 흔히 두 가지 동시적인 문제에 직면한다: 즉, 이례적인 지점(이상치)의 존재와 결측값의 존재이다. 전통적인 접근 방식은 조성 데이터를 실수 공간으로 변환(예: 가법적 또는 등거리 로그비 변환)하여 표준 다변량 기법인 정규 분포를 적용하는 데 의존하는 경우가 많다. 그러나 이러한 변환은 이상치의 상대적 위치를 왜곡하고, 역변환 시 편향을 도입하며, 심플렉스 상에서 결측 데이터를 직접적으로 처리하기 위한 원칙적인 프레임워크를 제공하지 못한다. 또한, 기존의 디리클레 혼합 모델(Dirichlet mixture models)은 임의의 보간(imputation)이나 변환에 의존하지 않고는 결측값과 오염(contamination)을 동시에 수용하는 데 어려움을 겪는다.

방법론
저자들은 결측치가 있는 조성 데이터를 위해 특별히 설계된, 허버(Huber)의 오염 모델 하의 **평균 매개변수화된 디리클레 분포(mean-parametrised Dirichlet distributions)**의 유한 혼합 모델을 제안한다.

1. 모델 공식화:

   • 오염(Contamination): 모델은 심플렉스 상에서 직접 오염 밀도 $f_{CD}$를 정의한다. 이 밀도는 "참조(reference)" 디리클레 성분과 변동성이 팽창된 "오염된(contaminated)" 성분의 혼합이다. 오염은 오염 비율 파라미터 $\varepsilon$(이상치 발생 확률)과 변동성 팽창 파라미터 $\eta > 1$에 의해 제어된다.
   • 결측(Missingness): 본 프레임워크는 무작위 결측(Missing At Random, MAR) 메커니즘을 가정한다. 결정적으로, 저자들은 디리클레 분포를 따르는 벡터에 대해 관측된 부분($\mathbf{X}_o$)이 주어졌을 때 미관측 부분($\mathbf{X}_m$)의 조건부 분포를 도출한다. 그들은 MAR 하에서 미관측 부분이 남은 질량에 의해 스케일링될 경우 조정된 파라미터를 가진 디리클레 분포를 따름을 증명한다. 이를 통해 보간 없이 관측 데이터의 주변 분포(marginal distribution)를 도출할 수 있다.
   • 균등 노이즈 벤치마크: 논문은 심플렉스 상의 균등 노이즈가 특정 디리클레 분포($DS_p(\frac{1}{p}\mathbf{1}; \frac{1}{p})$)를 따른다는 점을 확립하여, 이상치 탐지를 위한 이론적 벤치마크를 제공한다.

2. 추론 및 최적화:

   • 존재성 및 유일성: 저자들은 오염된 평균 매개변수화 디리클레 분포의 관측 로그 가능도(log-likelihood) 극대화가 유일한 최대 가능도 추정치(MLE)를 산출함을 입증한다. 단일 성분($G=1$)에 대해 로그 가능도가 평균 파라미터에 대해 **엄격하게 오목(strictly concave)**하고 변동성 파라미터에 대해 **코어시브(coercive)**함을 보여줌으로써 최적해의 존재와 유일성을 보장한다. 혼합 모델($G>1$)의 경우, 순열(permutation)에 대한 식별성(identifiability)을 논의한다.
   • EM 알고리즘: 맞춤형 기댓값 최대화(Expectation-Maximization, EM) 알고리즘이 개발되었다:
     • E-step: 클러스터 멤버십과 오염 상태에 대한 사후 확률을 계산한다. 이는 미관측 부분의 분포 모멘트를 포함하며, 도출된 조건부 분포를 활용하여 불완전한 관측치를 처리한다.
     • M-step: 제약된 뉴턴-라프슨(Newton-Raphson, NR) 방법을 통해 파라미터를 업데이트한다. 평균($\boldsymbol{\mu}$), 변동성($\gamma$), 팽창($\eta$) 파라미터에 대한 폐쇄형 해(closed-form solution)가 존재하지 않으므로, 저자들은 요소별 반복 업데이트를 도출한다. 알고리즘은 수렴 여부를 결정하기 위해 아이트켄(Aitken) 가속법을 사용한다.

3. 클러스터링 및 탐지:

   • 알고리즘은 최대 사후 확률(Maximum A Posteriori, MAP)을 기반으로 클러스터링(관측치를 혼합 성분에 할당)과 이상치 탐지(관측치를 전형적 또는 오염된 것으로 분류)를 동시에 수행한다.

주요 결과

• 시뮬레이션 연구: 성능은 다양한 결측률(0–90%), 오염도(10–30%), 표본 크기($n=100, 1000$)를 가진 1,000개의 데이터셋을 통해 평가되었다.

  • 클러스터링: 제안된 모델은 상당한 결측치에도 불구하고 높은 정확도와 조정 랜드 지수(Adjusted Rand Index, ARI)를 유지했다. 흥미롭게도, 높은 노이즈 시나리오에서는 적절한 수준의 결측이 이상치 구성의 영향을 줄여 클러스터링 성능을 오히려 향상시키기도 했다.
  • 이상치 탐지: 모델은 이상치 탐지에서 높은 정확도를 보였으나, 결측이 증가함에 따라 진양성률(True Positive Rate, TPR)이 감소하는 경향(희소한 행을 전형적인 것으로 분류하려는 편향)을 보였다. 큰 표본 크기는 탐지 지표를 유의미하게 개선했다.
  • 파라미터 회복: 평균 추정치는 결측 수준에 관계없이 편향되지 않았다. 변동성 파라미터 추정은 결측과 비단조적(non-monotonic) 관계를 보였으며, 이는 파라미터 회복이 가장 정확한 '스위트 스폿(sweet spot)'으로서 적절한 수준의 결측이 존재함을 드러냈다.
  • 모델 선택: AIC, BIC, ICL 등의 기준은 올바른 성분 수를 성공적으로 식별하였으며, 이는 이상치를 설명하기 위해 클러스터를 과도하게 분할하는 경향이 있는 표준(비오염) 디리클레 혼합 모델보다 우수한 성능을 보였다.

• 실제 적용 (American Time Use Survey):

  • 49.1%의 결측 셀이 있는 데이터셋에 적용했을 때, 통합 분류 가능도(ICL)를 기준으로 제안된 오염 모델($G=2$)이 표준 디리클레 혼합 모델($G=4$)보다 더 적합한 것으로 선택되었다.
  • 표준 모델은 이상치를 수용하기 위해 그룹을 인위적으로 분할하여 네 개의 클러스터를 식별했다.
  • 제안된 모델은 "업무 집중형(work-intensive)" 그룹과 "사교/레크리에이션(sociable/recreational)" 그룹이라는 두 개의 해석 가능한 클러스터를 식별했다. 또한, 이상치를 별도의 허구적인 클러스터로 강제하지 않으면서도 약 16.4%의 관측치를 이상치(비전형적인 시간 사용 구성)로 성공적으로 분류했다.

의의 및 주장
본 논문은 로그-비 변환을 거치지 않고도 심플렉스 상에서 직접 이상치를 정의하고, 오염을 고려하면서 미관측 부분의 분포를 도출하는 원칙적인 이상치 표현 방식을 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 이론적 기여: MAR 하에서 오염된 평균 매개변수화 디리클레 혼합 모델의 MLE에 대한 존재성, 유일성 및 식별성을 확립하였다.
2. 방법론적 기여: 로그-비 변환에 의한 편향을 피하면서, 요소별 반복 업데이트를 통해 결측값과 이상치를 동시에 처리하는 실행 가능한 EM 알고리즘을 개발하였다.
3. 실용적 기여: 직접적인 심플렉스 상의 이상치 모델링이 기존 방식에서 흔히 나타나는 클러스터의 인위적 분할을 방지하고, 더 해석 가능한 결과를 도출함을 입증하였다.

저자들은 이 프레임워크가 데이터를 비제약 모델에 맞추기 위해 변형하는 전통적인 관점을 뒤집어, 조성 데이터의 기하학적 구조와 제약 조건을 존중하는 추정 도구를 개발함으로써 심플렉스 기반 모델링의 새로운 길을 열었다고 결론짓는다.