Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics

문제 정의
이표본 검정(Two-sample testing)은 두 분포 $P$와 $Q$로부터 추출된 표본을 바탕으로 두 분포가 서로 다른지를 결정하는 통계적 추론의 근본적인 문제입니다. 최대 평균 불일치(Maximum Mean Discrepancy, MMD) 기반 검정은 그 유연성과 이론적 특성 덕분에 인기를 얻고 있으나, 기존 기법들은 대개 동일한 표본 크기($n_X = n_Y$)를 가정합니다. 실제 상황에서는 표본 크기가 불균등한 경우가 빈번합니다. 이러한 시나리오에서 표준 MMD 추정량을 적용할 때는 U-통계량의 이론적 틀을 유지하기 위해 (예: 더 작은 집단에 맞춰 서브샘플링하는 방식 등으로) 귀중한 데이터를 폐기해야 하며, 이는 테스트의 검정력(test power)을 불필요하게 감소시킵니다. 또한, 불균등한 표본 크기(특히 $n_X/n_Y$가 상수로 수렴하지 않는 비비례적 영역)에서의 MMD 추정량의 점근적 거동은 그동안 충분히 연구되지 않았습니다.

방법론
저자들은 일반화된 U-통계량(generalized U-statistics) 이론을 MMD 추정량으로 확장함으로써 이러한 한계를 해결합니다.

• 일반화된 U-통계량: 표준적으로 불편한(unbiased) MMD 추정량($\widehat{\text{MMD}}^2$)은 $c=2$개의 표본과 커널 차수 $m_1=m_2=2$를 갖는 일반화된 U-통계량으로 식별됩니다. 동일한 표본 크기를 요구하는 표준 U-통계량과 달리, 일반화된 U-통계량은 $n_X \neq n_Y$인 경우를 수용할 수 있습니다.
• 스케일링 및 점근적 거동: 본 논문은 귀무가설($P=Q$)과 대립가설($P \neq Q$) 하에서의 MMD 추정량의 점근적 분포를 도출합니다. 핵심적인 방법론적 변화는, 이전의 비례적 영역 결과에서 사용되었던 $n_X + n_Y$ 대신 $\min(n_X, n_Y)$를 수렴을 위한 올바른 스케일링 인자로 식별한 것입니다. 이를 통해 비비례적 영역(예: $n_Y = n_X^2$)에서도 이론이 성립할 수 있게 됩니다.
• 분산 특성화: 저자들은 불균등한 표본 크기를 가진 MMD 추정량의 분산을 더욱 명확하게 규명하는 새로운 방식을 제공합니다. 이는 분산을 분포의 평균 임베딩($\mu_P, \mu_Q$) 및 공분산 연산자($C_P, C_Q$)를 포함하는 항들로 분해하는 과정을 포함합니다.
• 퇴화성 분석: 본 논문은 추정량의 "퇴화(degeneracy)"를 엄밀하게 분석합니다. 저자들은 MMD가 0이면 퇴화된 추정량임을 의미하지만, 그 역은 항상 성립하지 않는다는 점을 명확히 합니다. 즉, 특정 조건(예: 특정 커널을 가진 서로 소인 지지집합) 하에서는 MMD가 0이 아님에도 퇴화된 추정량이 존재할 수 있지만, 일반적인 설정(예: 연속 커널을 가진 중첩된 지지집합)에서는 불가능함을 밝힙니다.
• 검정력 최적화: 퇴화되지 않은 경우의 도출된 점근적 정규성을 활용하여, 저자들은 커널 선택을 최적화하기 위한 기준을 제안합니다. 이들은 분산 $\sigma^2$에 대한 플러그인(plug-in) 추정량을 사용하여 신호 대 잡음비($\text{MMD}^2 / \sigma$)를 최대화하며, 이를 통해 특정 표본 크기 비율에 대해 검정력을 극대화하는 커널을 선택할 수 있게 합니다.

주요 기여

1. 이론적 확장: 본 논문은 일반화된 U-통계량을 적용하여 불균등한 표본 크기에 대한 MMD의 점근적 이론을 확장함으로써, 데이터를 폐기할 필요성을 제거했습니다.
2. 올바른 스케일링 인자: 비례적 및 비비례적 영역 모두에서 수렴을 위한 적절한 스케일링 인자가 $\min(n_X, n_Y)$임을 확립하여, $n_X + n_Y$에 의존했던 기존의 가정을 바로잡았습니다.
3. 분산 및 퇴화성에 대한 통찰: 저자들은 불균등한 표본 크기에 대한 명시적인 분산 공식을 제공하고, 추정량 퇴화에 대한 정교한 이해를 제시합니다. 저자들은 MMD가 0이면 퇴화가 발생하지만, 퇴화가 반드시 MMD가 0임을 의미하지는 않는다는 미묘한 차이를 증명하였으며, 이는 기존 문헌에서 자주 간과되는 부분입니다. 또한 일반적인 조건(Setting B: 실수 해석적 커널, 중첩된 지지집합) 하에서는 $\mu_P = \mu_Q$일 때만 퇴화가 발생함을 증명했습니다.
4. 최적화 프레임워크: 본 논문은 추정된 신호 대 잡음비를 최대화함으로써 커널 파라미터를 최적화하는 실용적인 방법을 도출하였으며, 이 방법이 모집단 최적값으로 균등하게 수렴함을 보여줍니다.
5. 실증적 검증: CIFAR-10 및 CIFAR-10.1에 대한 실험을 통해, 제안된 $\widehat{\text{MMD}}^2$ 추정량과 분산 기반 최적화를 사용하여 모든 가용 데이터를 활용하는 것이 표본 크기를 동일하게 맞추기 위해 서브샘플링하는 방식(Ratio/Equal)이나 표준 U-통계량을 사용하는 방식보다 훨씬 높은 검정력을 얻음을 입증했습니다.

결과

• 점근적 분포: 귀무가설($MMD=0$) 하에서, 스케일링된 추정량$\min(n_X, n_Y)\widehat{\text{MMD}}^2$는 중심화된 카이제곱 분포들의 무한 혼합(infinite mixture)으로 수렴합니다. 대립가설($MMD > 0$) 하에서 추정량이 퇴화되지 않는다면,$\sqrt{\min(n_X, n_Y)}(\widehat{\text{MMD}}^2 - \text{MMD}^2)$는 정규 분포로 수렴합니다.
• 분산 감소: 이론적 분석에 따르면, 불균등한 표본 크기에서 일반화된 추정량 $\widehat{\text{MMD}}^2$의 분산은 표준 U-통계량 추정량 $\widehat{\text{MMD}}^2_U$보다 엄격히 낮으며, 한 쪽의 표본 크기가 점근적으로 압도적인 경우 최대 2배까지 낮아질 수 있습니다.
• 실험적 성능: CIFAR-10과 CIFAR-10.1을 다양한 표본 크기 비율($r$)로 구분하는 실험에서, 모든 데이터를 사용하고 신호 대 잡음비를 최적화하는 제안된 "Ratio/Ratio" (RR) 방식이 "Ratio/Equal" (RE) 베이스라인보다 일관되게 우수한 성능을 보였습니다. 불균형이 심해질수록($r=8$), RR 방식의 검정력은 1.0에 근접한 반면, RE 방식은 약 0.82에서 정체되었습니다.

의의
본 논문은 불균등한 표본 크기에 대한 이론적으로 엄밀한 프레임워크를 제공함으로써, MMD 기반 이표본 검정의 오랜 한계를 해결했다고 주장합니다. 제안된 방법은 가용 가능한 모든 데이터를 보존함으로써, 데이터 수집이 비대칭적인 실제 환경에서의 테스트 정확도와 적용 가능성을 높입니다. 이 프레임워크의 통합은 표본 크기가 같을 때 기존 방법론으로 환원됨을 보장하여, 이론적 일관성을 유지하면서도 효용성을 확장합니다. 또한, 본 연구는 MMD 값과 추정량 퇴화 사이의 관계에 대한 오해를 바로잡음으로써, 커널 선택 및 테스트 설계에 대한 더욱 견고한 토대를 제공합니다.