Non-asymptotic two-sample kernel testing with the spectrally truncated normalized MMD

논문 개요

이 논문은 커널 기반 두 표본 검정 (Two-sample kernel testing) 문제에서 **스펙트럼 절단 정규화 최대 평균 불일치 (Spectrally Truncated Normalized MMD, st-nMMD)**를 기반으로 한 새로운 비점근적 (non-asymptotic) 통계적 검정 절차를 제안합니다. 저자들은 기존 MMD 검정의 한계를 극복하고, 정규화된 통계량의 분산을 고려하여 더 강력한 검정력을 확보하면서도 데이터 분할 (data-splitting) 없이도 엄밀한 유의수준 제어가 가능한 방법을 개발했습니다.

1. 연구 배경 및 문제 제기

• 배경: 고차원 데이터의 증가로 인해 비모수적 통계 검정의 필요성이 대두되었습니다. 커널 방법 (Kernel methods) 은 확률 분포를 재생성 커널 힐베르트 공간 (RKHS) 에 임베딩하여 두 분포의 동질성을 검정하는 강력한 도구로 사용됩니다.
• 기존 방법의 한계:
  • MMD (Maximum Mean Discrepancy): 기존 MMD 검정은 평균 임베딩의 차이를 측정하지만, 데이터의 변동성 (variability) 을 고려하지 않아 검정력이 낮을 수 있습니다.
  • 정규화 MMD (Normalized MMD): 데이터의 공분산 연산자를 역행렬로 나누어 정규화하면 검정력이 향상되지만, 공분산 연산자는 특이 (singular) 하므로 정규화 (예: 릿지 정규화) 가 필요합니다.
  • 비점근적 문제: 기존 정규화 MMD 는 점근적 분포가 복잡하여 (무한 가중 합), 실제 적용 시 데이터 분할 (data-splitting) 이나 순열 검정 (permutation test) 을 통해 임계값을 추정해야 합니다. 이는 계산 비용을 증가시키고, 특히 작은 표본 크기에서는 점근적 근사 (예: 카이제곱 분포) 가 잘 맞지 않아 유의수준 (Type-I error) 이 통제되지 않는 문제가 발생합니다.

2. 제안 방법: st-nMMD

저자들은 **스펙트럼 절단 (Spectral Truncation)**을 정규화 전략으로 사용하여 새로운 통계량을 정의했습니다.

• 통계량 정의:
  • 그룹 내 공분산 연산자 (Within-group covariance operator) 의 고유벡터 (eigenvectors) 를 기반으로 한 기저를 사용합니다.
  • 평균 임베딩의 차이를 이 기저 방향으로 투영하고, 해당 방향의 고유값 (eigenvalues) 으로 나누어 정규화합니다.
  • $T$개의 주성분 (spectral components) 만을 선택하여 합산하는 방식으로, $\hat{D}^2_T = \frac{n_X n_Y}{n_X + n_Y} \sum_{t=1}^T \frac{\langle \hat{f}_t, \hat{\mu}_X - \hat{\mu}_Y \rangle^2}{\hat{\lambda}_t}$ 형태를 가집니다.
• 핵심 아이디어:
  • 스펙트럼 절단은 공분산 연산자의 역행렬을 계산할 때 발생하는 불안정성을 방지하면서도, 데이터의 변동성을 직접적으로 반영합니다.
  • 이는 Hotelling's $T^2$ 검정의 커널 버전으로 해석될 수 있으며, 비선형 판별 분석에서의 마할라노비스 거리 (Mahalanobis distance) 와 유사합니다.

3. 주요 이론적 기여 (Key Contributions)

1. 비점근적 지수 상한선 유도 (Exponential Upper Bound):

   • 귀무가설 하에서 st-nMMD 통계량의 확률적 변동에 대한 엄밀한 지수 집중 부등식 (Concentration inequality) 을 유도했습니다.
   • 이를 통해 통계량이 임계값을 초과할 확률을 $9Te^{-\delta}$로 상한화하여, 엄밀하게 보정된 (properly calibrated) 비점근적 임계값을 제공합니다.
   • 이 결과는 자기 정규화 과정 (self-normalized processes) 에 대한 집중 부등식 (Bertail et al., 2008) 을 커널 두 표본 검정 프레임워크에 적용하여 얻어졌습니다.

2. 데이터 적응형 임계값 추정 (Data-Adaptive Quantile Estimation):

   • 이론적으로 유도된 임계값은 고유값과 고유벡터의 간격 (spectral gaps) 에 의존하므로, 이를 실제 데이터로 추정하는 알고리즘을 제안했습니다.
   • 데이터 분할 불필요: 기존 방법과 달리 데이터를 훈련/테스트 세트로 나누지 않고, 전체 데이터를 사용하여 임계값을 조정합니다.
   • 하이퍼파라미터 튜닝: 절단 수준 $T$와 정규화 상수 $\rho$를 데이터에 기반하여 자동으로 선택하는 알고리즘을 개발했습니다.

3. 점근적 최적성 및 비점근적 보정:

   • 점근적 regime (표본 크기 $n \to \infty$) 에서 제안된 임계값이 카이제곱 분포 ($\chi^2(T)$) 의 임계값과 일치함을 보였습니다.
   • 유한 표본 (finite sample) 에서는 카이제곱 근사가 과소평가하는 경향이 있으므로, 제안된 임계값은 이를 보정하여 상향 조정 (upward adjustment) 된 값을 제공합니다.

4. 실험 결과 (Numerical Experiments)

• 시뮬레이션 설정: 가우시안, 균일, 코시, von Mises-Fisher 등 다양한 분포와 차원 ($d=2, 10, 100$), 표본 크기 ($n=100, 1000, 5000$) 를 사용했습니다. 또한 MNIST 데이터셋 (손글씨 숫자) 을 사용하여 실제 이미지 데이터에서도 검증했습니다.
• 유의수준 통제 (Calibration):
  • 기존 점근적 카이제곱 기반 검정은 작은 표본 ($n=100$) 에서 유의수준이 과도하게 높아지는 (Type-I error inflation) 문제를 보였습니다.
  • 반면, 제안된 st-nMMD 비점근적 절차는 모든 분포, 차원, 표본 크기에서 명목 유의수준 (nominal level, e.g., 0.05) 을 엄격하게 준수했습니다.
• 검정력 (Power):
  • 제안된 방법은 귀무가설 하에서 약간 보수적 (conservative) 이지만, 대립가설 하에서는 데이터 적응형 임계값 덕분에 검정력이 크게 떨어지지 않았습니다.
  • 특히 MNIST 실험에서 두 분포의 차이가 작아질수록 검정력이 감소하는 경향을 보였으나, 큰 표본 ($n=5000$) 에서는 점근적 방법과 유사한 높은 검정력을 유지했습니다.
• 절단 파라미터 선택: 제안된 알고리즘에 의해 선택된 $T$는 일반적으로 작았으며, 이는 고차원 데이터에서 불필요한 노이즈 성분을 제거하여 검정의 효율성을 높임을 시사합니다.

5. 의의 및 결론

• 계산 효율성: 데이터 분할이나 순열 검정이 필요 없어 계산 비용이 낮고 실용적입니다.
• 이론적 엄밀성: 유한 표본에서도 통계적 보장이 보장되어, 고차원 데이터 분석에서 신뢰할 수 있는 검정 도구로 자리 잡을 수 있습니다.
• 적용 가능성: 단일 세포 데이터 분석 등 복잡한 생물학적 데이터에서 두 군의 차이를 탐지하는 데 유용하게 적용될 수 있으며, 커널 방법의 표현력 (representation) 을 통계적 검정과 효과적으로 결합했습니다.

요약하자면, 이 논문은 정규화된 MMD 검정의 비점근적 이론적 기반을 확립하고, 데이터 적응형 알고리즘을 통해 실제 적용 시 발생할 수 있는 보정 문제를 해결함으로써, 고차원 데이터에 대한 강력하고 신뢰할 수 있는 두 표본 검정 방법을 제시했습니다.