A unified approach to outlier identification for mixed-type data

기술 요약: 혼합형 데이터에 대한 이상치 식별을 위한 통합적 접근법

문제 정의
실제 데이터셋은 연속형 측정값과 서열형 범주(예: 리커트 척도, 이진 지표)가 결합된 혼합형 변수를 빈번하게 포함한다. 연속형 데이터만을 위한 강건한 통계적 방법론은 잘 확립되어 있으나, 혼합형 연속-서열 데이터를 처리하면서 오염에 강건함을 유지할 수 있는 기술은 부족한 실정이다. 유클리드 또는 마할라노비스 거리에 의존하는 전통적인 이상치 정의는 범주 간의 의미 있는 수치적 거리가 결여된 서열형 변수에는 직접적으로 적용될 수 없다. 또한, 최소 공분산 결정(Minimum Covariance Determinant, MCD)과 같은 기존의 강건한 추정치들은 이러한 혼합형 설정으로 확장되지 못했다.

방법론
저자들은 MCD 추정치를 혼합형 연속-서열 데이터로 확장하는 통합 이상치 식별 방법인 MCD-omix를 제안한다. 이 방법론은 다음의 핵심 구성 요소에 기반한다:

1. 잠재 가우시안 프레임워크 (Latent Gaussian Framework): 이 접근법은 관찰된 서열형 변수가 관찰되지 않은(잠재적인) 연속 가우시안 무작위 변수를 임계값 처리(thresholding)하여 생성되었다고 가정한다. 이를 통해 저자들은 전체 데이터셋(연속형 및 서열형)을 하나의 다변량 가우시안 분포로 모델링할 수 있으며, 여기서 서열형 변수는 이산화된 잠재 가우시안으로 취급된다.
2. 강건한 추정 (MCD 적응): 이 방법은 "비이상치(non-outlier)" 다수를 나타내는 위치(평균)와 산포(공분산)를 추정하기 위해 강건한 MCD 접근 방식을 사용한다.
   • 상관관계 추정: 표준 피어슨 상관계수 대신, 잠재 가우시안 가정을 바탕으로 연속형-서열형 변수 사이의 **폴리서리얼 상관계수(polyserial correlations)**와 서열형-서열형 변수 사이의 **폴리코릭 상관계수(polychoric correlations)**를 계산한다.
   • 특이성 처리 (Handling Singularity): 범주형 변수로 인해 발생하는 문제(예: 하위 집합 내 빈 범주로 인한 특이 공분산 행렬 발생)를 해결하기 위해, 저자들은 정규화 전략(Ledoit & Wolf, 2004)을 채택하고 임계값을 하위 집합이 아닌 전체 데이터셋을 기준으로 고정한다.
   • 알고리즘: FastMCD 알고리즘(Rousseeuw & Driessen, 1999)의 변형이 사용된다. 이 알고리즘은 공분산 행렬의 행렬식(determinant)을 최소화하는 $h$-하위 집합의 데이터 포인트를 반복적으로 선택한다. 알고리즘은 소표본 상관계수 추정 문제를 피하기 위해 연속형 변수만을 사용하여 초기화한 후, 잠재 서열 값을 통합한다.
3. 이상치 정의: 표준화된 연속형 변수와 추정된 서열형 변수의 잠재 값에 대해 계산된 강건한 마할라노비스 거리를 사용하여 이상치를 식별한다. 저자들은 세 가지 잠재적 이상치 영역($out_1, out_2, out_3$)을 정의하지만, 실제 잠재 값의 관찰 불가능성에 대한 강건성을 확보하기 위해 잠재 값과 추정된 조건부 기댓값에 의해 정의된 영역의 교집합인 $out_3$를 최종적으로 활용한다.
4. 붕괴 특성 (Breakdown Properties): 저자들은 $g < n - h$만큼의 관측치가 임의로 교체되더라도, 만약 이상치 중 하나가 연속형 변수에서 극단적인 값을 가진다면 해당 극단적 이상치가 여전히 식별될 것임을 보여주는 붕괴 정리(breakdown theorem)를 제시한다.

주요 기여

• MCD의 확장: 주요 기여는 혼합형 연속-서열 데이터에 대해 MCD 추정치를 일반화한 것이며, 이는 이전에 강건하고 통합된 솔루션이 부족했던 영역이다.
• 통합된 이상치 정의: 잠재 가우시안 모델을 활용함으로써, 서열형 데이터의 기하학적 한계를 극복하고 연속형과 서열형 변수에 동시에 적용 가능한 일관된 이상치 정의를 제공한다.
• 알고리즘 구현: 폴리서리얼/폴리코릭 상관계수 추정, 임계값 고정, 공분산 정규화를 통합하여 혼합형 데이터의 계산적 및 통계적 문제를 처리하는 실용적인 알고리즘(Algorithm 1)을 제공한다.
• 이론적 보장: 데이터 교체에 대한 방법론의 회복력을 보여주는 붕괴 정리를 확립하여, 이상치가 가려지지(masking) 않고 식별됨을 보장한다.

결과
MCD-omix의 성능은 광범위한 시뮬레이션과 실제 응용 사례를 통해 평가되었다:

• 시뮬레이션: 본 방법론은 $n=500$인 합성 데이터와 네 가지 유형의 오염(이동 오염, 다중 이동 오염, 두터운 꼬리($t_2$) 오염, 혼합 상관 오염)을 대상으로 테스트되었다.
  • 탐지율: MCD-omix는 다양한 오염 비율($\epsilon$)과 하위 집합 크기($h$)에 걸쳐 높은 탐지율(이동 오염의 경우 종종 >95%, 두터운 꼬리 오염의 경우 ~90%)을 달로 달성했다.
  • 위양성 (False Positives): 높은 오염 수준에서도 비이상치가 잘못 탐지되는 평균 횟수가 0에 가깝게 유지되어 매우 낮은 위양성률을 보였다.
  • 매개변수 추정: 실제 공분산 행렬과 추정된 공분산 행렬 사이의 평균 제곱 오차(MSE)가 낮게 유지되었으며, 이는 본 방법론이 이상치가 존재하는 상황에서도 기저의 상관 구조를 효과적으로 복구함을 나타낸다.
• 실제 적용 (Airbnb 데이터): 7개의 연속형 변수와 9개의 서열형 변수를 포함하는 2021년 런던의 Airbnb 숙소 4,614개 데이터셋에 이 방법을 적용하였다.
  • 알고리즘은 33개의 이상치(데이터의 0.7%)를 식별했다.
  • 이상치 분석 결과, "관광객 함정"(예: 만족도가 낮으면서 2박에 13,000유로인 사우스워크크의 개인실) 및 일관되지 않은 특징 조합(예: 청결도 평점은 높으나 전반적인 만족도는 낮은 숙소)이 발견되었다.
  • 결과는 표준 공간 모델이 포착하지 못한 연관성, 즉 특정 구역에서의 특정 가격 이상 현상 등을 부각시켰다.

의의 및 주장
본 논문은 MCD-omix가 심리측정학, 마케팅, 사회과학 분야에서 흔히 발생하는 혼합형 데이터셋에 대한 실용적이고 강건한 이상치 식별 솔루션을 제공한다고 주장한다. 서열형 변수에 대한 잠재 가우시안 프레임워크 아래에서 연속형과 서열형 변수의 처리를 통합함으로써, 이 방법론은 변수 유형별로 별도의 처리를 하거나 임의의 변환을 수행할 필요를 없앤다.

저자들은 이 방법론이 서열형 변수의 잠재 가우시안성에 의존한다는 점을 겸허히 언급한다. 이들은 이것이 잠재 변수가 "실제로 존재한다"거나 주변 분포가 가우시안이라는 엄격한 가정이 아니라, 이상치를 정의하기 위한 모델링 선택임을 명확히 한다. 이 접근법은 보정 장치(calibration device)로 제시된다. 즉, 관측치가 다변량 가우시안 참조 모델에서 기대되는 상관 구조로부터 크게 벗어날 때 이상치로 표시되는 것이다. 결론적으로, 본 논문은 이 방법론이 효과적이지만, 향후 연구에서 명목형(nominal) 데이터로의 확장과 점근 분포(asymptotic distributions)의 도출을 탐구할 수 있음을 시사하며 마무리된다.