Maximum-of-Differences Test for Comparing Multivariate K-Sample Distributions

1. 연구 문제 (Problem)

데이터 과학의 여러 분야 (생물정보학, 금융, 머신러닝 등) 에서 K 개의 표본 (K > 2) 이 동일한 분포를 따르는지 비교하는 문제는 근본적인 과제입니다. 기존 방법들은 다음과 같은 한계를 가집니다:

• Hotelling-type 검정: 평균과 공분산 행렬로 분포가 파라미터화된다고 가정 (예: 다변량 정규분포) 하여, 분포의 형태 자체를 비교하기 어렵습니다.
• 전통적 비모수 검정 (Kolmogorov-Smirnov 등): 다변량 데이터에 적용 시 성능이 떨어집니다.
• 그래프 기반 비모수 방법: 기존 방법들은 주로 2-표본 (K=2) 에 집중되어 있거나, 고차원 데이터 및 K-표본 회귀 모델 설정으로의 확장에 제약이 있습니다.

따라서, 고차원 (High-dimensional) 데이터와 K-표본 회귀 모델 (Multivariate Regression) 설정 모두에 적용 가능하면서 분포의 차이 (위치, 규모, 형태 등) 를 포착할 수 있는 새로운 검정 방법이 필요합니다.

2. 방법론 (Methodology)

저자들은 최대 차이 (Maximum-of-Differences, MOD) 접근법을 제안하며, 이는 다음과 같은 3 단계로 구성됩니다.

A. 기본 아이디어

1. 거리 계산 및 연결 정의: K 개의 표본에서 추출된 모든 관측치 (Pooled observations) 간의 쌍별 거리 (Pairwise distance, $L_2$ norm 사용) 를 계산합니다. 사전에 지정된 임계값 $\tau$보다 거리가 작은 두 관측치는 "연결 (Connected)"된 것으로 정의합니다.
2. 확률 계산: 각 관측치 $i$에 대해 두 가지 연결 확률을 계산합니다.
   • Within ($\hat{p}_{in}$): 같은 표본 내의 다른 관측치들과 연결될 확률.
   • Between ($\hat{p}_{bet}$): 다른 표본의 관측치들과 연결될 확률.
3. 차이 최대화: 귀무가설 ($H_0$: 모든 표본 분포 동일) 하에서는 Within 과 Between 확률의 차이가 0 에 가까워야 합니다. 대립가설 하에서는 이 차이가 발생합니다. 따라서 모든 관측치에 대해 표준화된 $(\hat{p}_{bet} - \hat{p}_{in})^2$의 최대값을 구하여 검정 통계량을 구성합니다.

B. 주요 검정 통계량

1. MOD 검정:
   $$T_\tau = \max_{1 \le i \le n} \frac{(\hat{p}_{bet, i} - \hat{p}_{in, i})^2}{\text{Var}(\hat{p}_{bet, i} - \hat{p}_{in, i})}$$

   • 이 통계량의 점근적 분포는 $K$개의 상관된 가중합과 Type I 극값 분포의 혼합 형태를 띠며, 해석적 형태가 복잡합니다. 따라서 수치적 시뮬레이션 (Replication method) 을 통해 임계값을 구합니다.

2. CA-MOD 검정 (Covariance-Adjusted MOD):

   • MOD 검정 통계량들 간의 복잡한 공분산 구조로 인한 계산적 불편을 해소하기 위해 제안되었습니다.
   • 검정 통계량 벡터에 공분산 행렬의 제곱근 역행렬 ($\hat{\Sigma}^{-1/2}$) 을 곱하여 공분산을 조정 (Whitening) 한 후, 다시 최대값을 구합니다.
   • 점근적 성질: 조정된 통계량은 **Type I 극값 분포 (Type I Extreme Value Distribution)**로 수렴합니다. 이는 임계값을 직접 계산할 수 있게 하여 계산 효율성을 크게 높입니다.

C. 회귀 모델 설정 (Regression Setting)

• 설명 변수 (Covariates) 가 있는 다변량 회귀 모델 ($X_i = \beta W_i + \epsilon_i$) 에서 오차항 ($\epsilon_i$) 의 분포가 K 개 표본 간에 동일한지 검정하기 위해 확장되었습니다.
• 최소제곱법 (OLS) 으로 잔차 ($\hat{\epsilon}_i$) 를 구한 후, 위 MOD/CA-MOD 절차를 잔차에 적용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 검정 프레임워크: K-표본 분포 비교를 위해 "Within vs Between 연결 확률"의 차이를 최대화하는 새로운 비모수적 접근법을 제시했습니다.
2. 고차원 및 K-표본 확장: 표본 수 ($K$) 와 차원 ($p$) 에 대한 제약이 없으며, $p > n$인 고차원 상황에서도 유효합니다.
3. 회귀 모델 적용: 다변량 회귀 모델의 오차항 분포 비교를 가능하게 하여, 공변량 보정이 필요한 실제 데이터 분석에 직접 적용 가능합니다.
4. 이론적 성립 증명:
   • 귀무가설 하에서 MOD 와 CA-MOD 의 점근적 분포를 증명했습니다 (MOD 는 혼합 분포, CA-MOD 는 Type I 극값 분포).
   • 대립가설 하에서 두 검정이 일관성 (Consistency) 을 가짐을 보였습니다.
5. 초매개변수 선택: 임계값 $\tau$를 선택하는 이론적 근거를 제시하며, 실증적으로는 관측치 간 거리의 **중앙값 (Median)**을 사용하는 것이 가장 강력함을 보였습니다.

4. 실험 결과 (Results)

시뮬레이션 연구와 실제 데이터 분석을 통해 제안된 방법의 성능을 평가했습니다.

• 크기 (Size) 제어: MOD 와 CA-MOD 모두 귀무가설 하에서 유의수준 (Type I error) 을 잘 통제했습니다.
• 검정력 (Power) 비교:
  • 평균 이동 (Mean Shift): 기존 그래프 기반 방법 (WEC, GEC 등) 과 비슷하거나 약간 낮은 성능을 보였으나, 고차원 ($p$가 큰 경우) 에서는 성능이 감소하는 경향이 있었습니다.
  • 공분산 이동 (Covariance Shift) 및 분포 이동 (Distribution Shift): CA-MOD 가 모든 기존 방법 (EC, GEC, WEC, GLP, MMCM) 보다 월등히 높은 검정력을 보였습니다. 특히 분포의 형태가 다른 경우 (예: 정규분포 vs t-분포) 에 강건했습니다.
  • K=6 경우: 기존 방법 중 GLP 는 K 가 커질 때 불안정해지는 반면, MOD 와 CA-MOD 는 안정적인 성능을 유지했습니다.
• 실제 데이터 분석 (실제 주식 시장 데이터):
  • 중국 주식 시장의 요일 효과 (Day-of-the-week effect) 를 검증하기 위해 월~금요일의 주식 수익률 분포를 비교했습니다.
  • 시장 수익률 (Hushen 300 지수) 을 보정한 잔차에 대해 CA-MOD 를 적용한 결과, 귀무가설 (분포 동일) 을 기각하지 못했습니다. 이는 시장이 효율적이며 요일 효과가 존재하지 않음을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 다음과 같은 점에서 중요한 의의를 가집니다:

• 범용성: 고차원 데이터, 비정규 분포, K-표본 비교, 회귀 모델 보정 등 다양한 복잡한 데이터 환경에 적용 가능한 강력한 비모수 검정 도구를 제공합니다.
• 계산 효율성: CA-MOD 를 통해 복잡한 공분산 구조를 고려하면서도 Type I 극값 분포를 이용해 임계값을 쉽게 구할 수 있게 하여 실용성을 높였습니다.
• 실무 적용: 금융 데이터 분석 등 실제 응용 분야에서 분포의 미세한 차이 (특히 공분산 구조나 꼬리 부분의 차이) 를 탐지하는 데 매우 유용합니다.

결론적으로, 제안된 MOD 및 CA-MOD 검정은 기존 방법들의 한계를 극복하고, 특히 공분산 변화나 복잡한 분포 이동을 탐지하는 데 있어 우수한 성능을 보이는 새로운 표준이 될 수 있는 방법론입니다.