Semiparametric KSD test: unifying score and distance-based approaches for goodness-of-fit testing

이 논문은 반모수적 커널화 스타인 불일치 (Semiparametric Kernelized Stein Discrepancy, SKSD) 검정을 제안하며, 점수 기반 (score-based) 접근법과 거리 기반 (distance-based) 접근법을 통합하는 새로운 틀을 제시합니다. 특히, 우도 함수 (likelihood) 를 계산하기 어려운 (intractable) 모델에 대한 적합도 (Goodness-of-Fit, GoF) 검정 문제를 해결하는 데 초점을 맞추고 있습니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

• 적합도 검정의 중요성: 통계적 추론 (신뢰구간, 가설 검정 등) 은 데이터 생성 과정이 가정된 모수 모델과 일치한다는 전제하에 이루어집니다. 따라서 추론 전에 모델의 적절성을 평가하는 적합도 검정이 필수적입니다.
• 기존 방법의 한계:
  • 우도비 검정 (LRT): 비모수적 대립가설 하에서 최적이지 않거나 검정력 (power) 이 부족할 수 있습니다.
  • 거리 기반 검정 (K-S, Wasserstein, MMD 등): 비모수적 설정에서 강력하지만, 다변량 데이터에서 계산 비용이 매우 높거나 (예: $O(n^3)$ 이상), 우도 함수가 계산 불가능한 모델 (intractable likelihood) 에 적용하기 어렵습니다.
  • 점수 기반 검정: 우도 함수를 한 번만 피팅하면 되므로 계산 효율이 좋지만, 비모수적 설정으로 확장하기 어렵고 적절한 점수 함수를 정의하는 것이 난제였습니다.

2. 방법론 (Methodology)

2.1 점수 기반 검정과 IPM 의 통합 (Unification)

저자들은 지수 기울어진 모델 (Exponentially Tilted Models, ETM) 클래스를 도입하여 점수 기반 검정과 적분 확률 거리 (Integral Probability Metrics, IPM) 기반 검정이 본질적으로 동일함을 증명했습니다.

• 특정 함수 클래스 $\mathcal{F}$로 인덱스된 ETM 하에서, 모델의 점수 (score) 는 IPM 과 동치임을 보였습니다.
• 이를 통해 콜모고로프 - 스미르노프 (K-S), Wasserstein-1 거리, 최대 평균 불일치 (MMD) 와 같은 기존 거리 기반 검정들이 사실은 특정 함수 클래스에 기반한 비모수적 점수 기반 검정으로 재해석될 수 있음을 밝혔습니다.

2.2 SKSD 검정 제안

이 통찰을 바탕으로, **커널화 스타인 함수 클래스 (kernelized Stein function class)**로 유도된 IPM 을 사용하여 새로운 비모수적 점수 기반 검정인 **SKSD (Semiparametric KSD)**를 제안했습니다.

• 핵심 아이디어: 스타인 항등식 (Stein's identity) 을 활용하여 우도 함수 없이 오직 **점수 함수 (score function)**와 커널 함수만 사용하여 검정 통계를 구성합니다.
• 통계량: $T_n = \sup_{g \in \mathcal{H}_d} (\mathbb{E}_{\hat{L}_n} [A_{\hat{\theta}_n} g(X)])^2$ 형태로 정의되며, 재현 커널 힐베르트 공간 (RKHS) 의 성질을 이용해 **닫힌 형태 (closed-form)**로 계산 가능합니다.
• 계산 효율성: 일반적인 IPM 기반 검정 ($O(n^3)$) 과 달리, SKSD 는 $O(n^2)$ 시간 복잡도로 계산 가능하며, 특정 커널 선택 시 $O(n)$ 까지 줄일 수 있습니다.

2.3 모수 추정 및 부트스트랩 절차

• 일반적인 모수 추정기 수용: SKSD 는 null 가설 하의 모수 $\theta_0$를 추정하는 데 사용되는 추정기 $\hat{\theta}_n$에 대해 유연합니다. M-추정기, 최소 거리 추정기 등 균일 점근적 선형 추정기 (Uniform Asymptotic Linear Estimator, UALE) 조건을 만족하는 일반적인 추정기를 사용할 수 있습니다.
• 모수적 부트스트랩 (Parametric Bootstrap): 검정 통계량의 점근적 분포가 복잡한 무한 가중 $\chi^2$ 합이기 때문에, null 가설 하에서 데이터를 재표본추출하여 p-value 를 계산하는 모수적 부트스트랩 절차를 제안했습니다. 이 절차는 추정 방법과 무관하게 유효함을 증명했습니다.

3. 주요 기여 및 이론적 결과 (Key Contributions & Theoretical Results)

1. 이론적 통합: 점수 기반 검정과 IPM 기반 검정의 이중성 (duality) 을 명확히 규명하여, 기존 거리 기반 검정들을 점수 기반 관점에서 재해석했습니다.
2. 계산 효율성: 우도 함수가 불필요하고, 수치적 적분 없이 $O(n^2)$ (또는 $O(n)$) 로 계산 가능한 검정 통계량을 제공하여 고차원 및 복잡한 모델에 적용 가능하게 했습니다.
3. 보편적 일관성 (Universal Consistency): null 가설이 거짓인 모든 고정된 대립가설에 대해 검정력이 1 로 수렴함을 증명했습니다.
4. 피트만 효율성 (Pitman Efficiency): 국소 대립가설 (local alternatives) 하에서 검정 통계량의 점근적 분포를 유도하여, SKSD 검정이 피트만 효율성을 가진다는 것을 보였습니다.
5. 불가능한 우도 모델 대응: 우도 함수는 계산 불가능하지만 점수 함수는 계산 가능한 모델 (예: 지수족 그래프 모델, 에너지 기반 모델) 에 대한 GoF 검정을 가능하게 했습니다.

4. 실험 결과 (Results)

• 정규성 검정 (Normality Test): Anderson-Darling, Lilliefors 와 같은 전문 정규성 검정들과 비교했을 때, SKSD 는 유사하거나 더 높은 검정력을 보였습니다.
• 커널 지수족 (Kernel Exponential Family): 차수 (order) 검출 문제에서 SKSD 는 모델 복잡도가 증가함에 따라 점진적으로 모델 선택 능력을 보여주었습니다.
• 조건부 가우시안 모델 (Conditional Gaussian Models): 우도 함수가 불규칙한 (intractable) 조건부 가우시안 그래프 모델에서 그래프 구조를 효과적으로 탐지했습니다.
• 계산 비용 비교: K-S, Wasserstein-1, MMD 기반 검정들과 비교 시, SKSD 는 다변량 데이터에서 훨씬 낮은 계산 비용으로 유사하거나 더 나은 검정력을 달성했습니다.

5. 의의 (Significance)

이 논문은 계산 효율성과 통계적 강력함 (power) 을 모두 갖춘 새로운 GoF 검정 프레임워크를 제시했습니다.

• 이론적 통찰: 점수 기반과 거리 기반 검정의 경계를 허물어 통계적 검정 방법론에 대한 새로운 관점을 제공합니다.
• 실용적 가치: 현대 머신러닝 및 통계 모델링에서 흔히 발생하는 **우도 함수가 계산 불가능한 모델 (intractable likelihood models)**에 대한 진단 도구로 매우 유용합니다.
• 확장성: 다양한 모수 추정 방법과 결합 가능하며, 고차원 데이터에서도 확장성 (scalability) 을 갖춥니다.

결론적으로, SKSD 검정은 복잡한 모델의 적합성을 평가할 때 기존 방법들의 계산적 한계와 이론적 제약을 극복한 강력한 대안으로 평가됩니다.