Neural Wasserstein Two-Sample Tests

기술 요약: 뉴럴 와서스타인 이표본 검정 (Neural Wasserstein Two-Sample Tests)

문제 정의
본 논문은 두 독립적인 표본이 동일한 분포에서 유래했는지를 결정하는 것을 목표로 하는 이표본 동질성 검정(two-sample homogeneity testing) 문제를 다룹다. 이 과업은 고차원 설정에서 특히 까다로운데, 고전적인 검정 방법들은 종종 상당한 검정력 손실을 겪기 때문이다. 커널 기반 방법(예: Maximum Mean Discrepancy, MMD)이 대중적이지만, 이들은 고차원에서 차원의 저주와 같은 내재적 한계에 직면하며, 차원과 표본 크기가 모두 증가하는 복잡한 점근적 체계에 의존한다는 단점이 있다. 반면, 와서스타인 거리(Wasserstein distance)는 분포의 기하학적 구조를 보존하지만, 차원의 저주로 인해 직접 적용 시 수렴 속도가 느려진다는 문제가 있다. 기존의 투영 기반 와서스타인 방법들은 단일 투영에 의-존하거나 p-값을 보정하기 위해 계산 비용이 많이 드는 재표집(순열/부트스트랩)을 필요로 한다.

방법론
저자들은 투영 1-와서스타인 거리(projection 1-Wasserstein distance)에 기반한 학습 보조 절차인 "뉴럴 와서스타인 검정(Neural Wasserstein Test)"을 제안한다. 핵심 방법론은 투영 와서스타인 거리를 1-립시츠(1-Lipschitz) 함수와 투영 방향에 대한 상한(supremum)으로 표현하는 칸토로비치-루빈(Kantorovich–Rubinstein) 쌍대성을 활용한다.

절차는 다음과 같은 주요 구성 요소로 이루어진다:

1. 데이터 분할: 추정과 검정 사이의 의존성을 분리하기 위해, 데이터셋을 훈련 서브셋($D_{fit}$)과 테스트 서브셋($D_{test}$)으로 나눈다.
2. 2단계 추정:
   • 1단계 (투영 방향): $D_{fit}$ 상에서, 방법론은 스티펠 다양체(Stiefel manifold) $S_{d,k}$ 상의 판별적인 투영 방향 $U$를 학습한다. 알려지지 않은 희소성(sparsity) 수준에 적응하기 위해, 저자들은 규제되지 않은 추정과 $\ell_1$ 및 $\ell_0$ 희소성 제약 조건 하에서의 추정을 모두 고려한다. 이 최적화는 다양체 최적화를 위한 근사 구배 방법(ManPG)을 사용하여 수행된다.
   • 2단계 (위트니스 함수): 추정된 투영 $\hat{U}$를 사용하여, ReLU 활성화 함수를 가진 심층 신경망(DNN)을 통해 투영된 데이터 상의 1-립시츠 위트니스 함수 $f$를 학습한다. 네트워크 구조는 충분한 근사 능력을 보장하기 위해 표본 크기에 따라 성장하도록 설계되었다.
3. Max-Type 집합(Aggregation): 투영 차원 $k$와 희소성 파라미터(규제 강도)의 정밀한 튜닝을 피하기 위해, 방법론은 후보 파라미터 집합에 대해 통계량을 집합한다. 후보 설정 전체에 걸친 표준화된 통계량의 최댓값을 취함으로써 max-type 검정 통계량을 구성한다.
4. 피벗(Pivotal) 보정: 순열 기반 접근 방식과 달리, 제안된 검정 통계량은 피벗 성질을 가진 점근적 영 분포(null distribution)를 갖는 것으로 입증되었다. 구체적으로, 귀무가설 하에서 집합된 통계량은 표준 가우시안 벡터의 절대 최댓값으로 수렴한다. 이를 통해 재표집 없이도 점근적 보정이 가능하다.

주요 기여

• 투영 와서스타인 거리의 뉴럴 근사: 본 논문은 투영 방향을 위한 다양체 최적화와 최적의 1-립시츠 위트니스 함수를 근사하기 위한 심층 신경망을 결합한 프레임워크를 도입한다. 이 전략은 쌍대성 공식의 상한을 효과적으로 추정한다.
• 튜닝이 필요 없는 적응성: 투영 차원과 희소성 파라미터의 후보 집합에 대한 max-type 집합을 사용함으로써, 명시적인 파라미터 선택 없이도 알려지지 않은 투영 차원과 희소성 수준에 적응하며, 이를 통해 검정력을 높이고 방법론적 복잡성을 줄인다.
• 점근적 분포 불변 유효성: 저자들은 검정 통계량의 가우시안 근사에 대한 Berry–Esseen 유형의 경계(bound)를 확립하였다. 결정적으로, 극한 영 분포는 피벗(distribution-free)이며, 차원 $d$나 기저 모집단 분포가 아닌 후보 집합의 차원에만 의존한다. 이는 차원과 표본 크기가 발산하는 체계에 의존하는 studentized MMD 검정과 대조된다.
• 계산 효율성: 검정 통계량의 피벗 성질은 재표집(순열 또는 부트스트랩)의 필요성을 제거하여, 고차원 순열 검정의 주요 병목 현상인 계산 집약적인 과정을 우회하고 상당한 계산 절감 효과를 제공한다.

결과

• 이론적 보장: 본 논문은 제안된 검정의 유효성과 일관성을 증명한다. 귀무가설 하에서 검정 통계량은 $Z \sim N(0, I_m)$인 $Z$에 대해 $\max_{j} |Z_j|$로 분포 수렴한다. 검정력 분석은 신호(투영 와서스타인 거리로 측정됨)가 표본 크기, 차원 및 네트워크 복잡성에 의존하는 특정 임계값을 초과할 경우 본 검정이 일관적임을 보여준다.
• 시뮬레이션 연구: 네 가지 모델(평균 이동, 분산 이동, 서로 다른 주변 분포, 서로 다른 결합 분포)에 대한 광범위한 시뮬레이션 결과, 제안된 방법이 MMD, 딥 커널을 사용한 MMD, 에너지 거리(Energy Distance), 커널 피셔 판별 분석(KFDA), 표준 투영 와서스타인 검정을 포함한 기존 접근 방식들을 일관되게 능가함을 보여준다. 특히, 제안된 방법은 차원이 증가함에 따라 높은 검정력을 유지하는 반면, 경쟁 방법들은 종종 급격한 검정력 감소를 보인다.
• 실제 데이터 적용: 본 방법론은 TCGA의 DNA 메틸화 데이터에 적용되어 저등급 신경교종(LGG)과 다형성 신경교종(GBM)을 구분하는 데 사용되었다. 검정은 기존 생물학적 문헌과 일치하게 두 그룹 간의 유의미한 차이를 감지하였으며(p-value < 0.001), 평균 및 공분산 구조에서의 뚜렷한 패턴을 밝혀냈다.

의의 및 주장
본 논문은 뉴럴 와서스타인 검정이 학습된 투영과 딥러닝을 통해 차원의 저주를 효과적으로 완화함으로써 고차원 이표본 검정에 대한 강력한 솔루션을 제공한다고 주장한다. 그 의의는 다음 세 가지 측면에 있다:

1. 확장성(Scalability): 피벗 극한 분포는 재표집을 우회함으로써 계산 가능한 확장성을 제공하며, 이는 고차원 순열 검정의 주요 병목 현상을 해결한다.
2. 차원에 대한 강건성(Robustness to Dimension): 본 방법의 성능은 커널 기반 방법들이 흔히 겪는 것과 달리, 차원이 증가함에 따라 크게 저하되지 않는다.
3. 적응성(Adaptivity): max-type 집합 전략은 핵심 하이퍼파라미터(투영 차원 및 희소성)에 대한 수동 튜닝의 필요성을 제거하여, 방법론을 더욱 실용적이고 사용자 지정에 덜 민감하게 만든다.

저자들은 데이터 분할이 유효한 추론을 보장하지만, 추정을 위한 유효 표본 크기를 감소시킨다는 점을 인정한다. 또한, 이러한 손실이 고차원 모델에서 불가피한 것인지 여부는 향후 조사를 위한 열린 문제로 남겨두었다. 이 방법은 위트니스 함수를 근사하기 위한 신경망의 표현 능력과 판별적인 방향을 찾기 위한 다양체 최적화의 능력을 활용하며, 이러한 도구들이 엄격한 통계적 검정 프레임워크에 성공적으로 통합될 수 있음을 보여준다.