Unbiased mixed variables distance

기술 요약: 편향 없는 혼합 변수 거리 (Unbiased Mixed Variables Distance)

문제 정의
클러스터링, 분류, 시각화와 같은 데이터 분석 작업에서 관측치 간의 거리를 측정하는 것은 매우 기본적이다. 혼합 변수(수치형 변수와 범주형 변수의 조합)를 포함하는 데이터셋에서는 중대한 문제가 발생한다. 기존의 혼합 변수 거리 계산 방식, 가장 대표적인 것으로는 Gower의 일반 유사 계수(Gower's general coefficient of similarity)가 있는데, 이들은 "편향(bias)" 문제를 겪는 경우가 많다. 이러한 편향은 개별 변수의 기여도가 실제 관찰된 차이가 아니라, 측정 유형, 척도 또는 범주의 수에 의해 부당하게 영향을 받을 때 나타난다. 결과적으로 특정 변수 유형이 거리 계산을 지배하게 되어, 다운스트림 분석에서 왜곡된 결과를 초래할 수 있다.

방법론
저자들은 "편향 없는" 혼합 변수 거리를 구축하기 위한 일반적인 정식화를 제안한다. 이들의 접근 방식은 두 가지 이론적 속성에 근거한다:

1. 다변량 가산성 (Multivariate Additivity): 전체 다변량 거리는 단변량, 즉 변수별 거리의 합으로 정의된다. 이는 각 변수의 기여가 가산적이고 명시적으로 정의되도록 보장하며, 비가산적 메트릭(예: 차원이 증가함에 따라 변수당 기여도가 감소하는 유클리드 거리)이 갖는 암묵적인 기하학적 가정을 피한다.
2. 공통성 (Commensurability): 전체 거리에 대한 단변량 기여는 서로 공통적이어야 한다. 즉, 변수의 유형, 척도 또는 기저 분포와 관계없이 모든 변수의 기대값이 일정해야 한다.

저자들은 일반적인 거리 정식화를 도출한다:
$$d(x_i, x_l) = \sum_{j=1}^{p} w_j \delta_j(x_i, x_l)$$
여기서 $\delta_j$는 변수 $j$에 대한 비유사성을 정량화하며, $w_j$는 가중치이다. 공통성을 달ano기 위해, 가중치는 해당 변수의 기대 거리의 역수로 정의된다:
$$w_j = 1 / E[d_j(X_i, X_l)]$$

논문은 일반적인 스케일링 및 거리 선택이 이러한 속성을 어떻게 위반하는지 체계적으로 분석한다:

• 수치형 변수: 저자들은 표준 편차 스케일링, 범위 스치 스케일링(Gower 거리에 사용됨), 로버스트 범위 스케일링, 주성분 스케일링을 평가한다. 이 방법들이 척도를 표준화하기는 하지만, 서로 다른 기저 분포(예: 정규 분포 vs 균등 분포 vs 왜도 분포) 간의 공통성을 보장하지는 못함을 입증한다.
• 범주형 변수: 저자들은 다양한 범주 비유사성 행렬(예: 단순 일치, Eskin, 발생 빈도, Hennig-Liao 스케일링, 그리고 Kullback-Leibler 및 총 분산과 같은 연관 기반 척도)을 검토한다. 이들은 범주형 변수의 평균 거리가 범주의 수와 범주 확률의 분포에 크게 의존한다는 것을 보여준다.

편향 없는 거리를 구축하기 위해, 저자들은 관측된 데이터(또는 이론적 분포)로부터 각 변수의 기대 평균 거리를 추정하고, 이 값의 역수를 가중치로 적용할 것을 제안한다. 이는 "평균 거리"를 측정의 "단위"로 사용하는 편향 없는 거리 제품군을 생성한다.

주요 기여

• 일반적 정식화: 논문은 다변량 가산성과 공통성을 만족하는 혼합 변수 거리를 위한 유연하고 일반적인 프레임워크를 제공하며, 이를 통해 다양한 $\delta_j$ 구현과 스케일링 방법을 사용할 수 있게 한다.
• 편향 정량화: 저자들은 인기 있는 방법들(예: Gower 거리, Hennig-Liao 스케일링)에 의해 도입되는 편향의 크기를 도출하고, 이러한 편향이 분포 유형 및 범주의 수에 따라 어떻게 변하는지 입증한다.
• 편향 없는 구축: 이들은 각 변수의 경험적 또는 이론적 평균 거리에 따라 가중치를 부여함으로써 이러한 편향을 교정하는 구체적인 방법을 제공하여, 변수 유형이나 척도가 거리 구조를 결정짓지 않도록 보장한다.
• 평가: 저자들은 범주형 변수에 대한 독립적(변수별) 접근 방식과 연관 기반(결합 분포) 접근 방식을 모두 평가하여, 연관 기반 방식이 혼합 환경에서 거리 계산을 더욱 정교하게 만들 수 있음을 보여준다.

결과
저자들은 시뮬레이션 연구와 FIFA 선수 데이터를 이용한 경험적 적용을 통해 연구 결과를 검증한다:

• 시뮬레이션: 알려진 기저 구조를 가진 통제된 환경에서, 저자들은 비공통적 방법(예: 표준 Gower 또는 Naive Euclidean 방식)이 범주의 수나 변수 유형에 의해 왜곡된 변수 기여를 초과하게 만든다는 것을 보여준다. 예를 들어, Gower 거리는 범주형 변수를 과하게 가중하는 경향이 있는 반면, Hennig-Liao 스케일링을 적용한 유클리드 거리는 수치형 변수를 과하게 가중할 수 있다.
• 구조 회복: 다차원 척도법(MDS)을 통해 저차원 구성을 회복할 때, 편향 없는 변형 모델(특히 연관 기반 척도를 사용하는 "Unbiased Dependent" 변형)은 특히 범주의 수가 증가함에 따라 진정한 기저 구조를 회복하는 데 있어 우수한 성능을 보였다.
• 경험적 적용: FIFA 데이터셋 분석을 통해 편향된 방법들이 예측 가능한 변수 중요도 및 MDS 솔루션의 왜곡을 생성함을 확인했다. 편향 없는 방법들은 공통성 원칙에 따라 변수 기여도가 균형을 이루는 더 객관적인 기준을 제공했다.

의의 및 주장
저자들은 자신의 연구가 데이터 분석의 근본적인 문제, 즉 서로 다른 변수 유형이 전체 비유사성에 기여하는 방식의 객관성 결여 문제를 해결한다고 주장한다. 편향 없는 거리를 구축함으로써, 탐색적 분석을 위한 더 중립적인 출발점을 제공한다.

논문은 최적성(optimality)에 대해 겸손한 태도를 명시한다. 저자들은 제안된 방법이 모든 시나리오에 대한 "최적의" 거리를 제공한다고 주장하는 것이 아니다. 대신, "편향 없는" 거리란 변수 유형, 척도, 측정 수준이 거리 계산에 사소하게(trivially) 영향을 미치지 않는 거리라고 주장한다. 만약 도메인 지식이 특정 변수가 더 무겁게 가중되어야 함을 시사한다면, 이는 의도적으로 수행될 수 있다. 그러나 제안된 방법의 핵심은 그러한 가중치가 거리 계산 방식의 부산물이 아니라 의도적인 선택이 되도록 보장하는 데 있다. 이 연구의 의의는 연구자들이 내재적 구조적 편향으로부터 자유로운 혼합 변수 거리를 구축할 수 있도록 하는 이론적으로 견고하고 일반적인 정식화를 제공하는 데 있다.