기술 요약: Conformal C2ST

문제 정의

본 논문은 두 집합의 샘플이 각각 기저 분포 $p$와 $q$로부터 추출되었을 때, 이들이 동일한 분포를 갖는지($p=q$)를 판별하는 통계 및 머신러닝의 근본적인 과제인 두-표본 검정(two-sample testing problem) 문제를 다룹니다. 주요 응용 분야는 생성 모델(generative models) 및 신경 후험 추정(Neural Posterior Estimation, NPE) 모델의 평가이며, 여기서 $p$는 실제 데이터 생성 과정(또는 실제 사후 분포)을, $q$는 학습된 근사치를 나타냅니다.

표준적인 접근 방식인 **분류기 두-표본 검정(Classifier Two-Sample Test, C2ST)**은 $p$와 $q$ 사이를 구분하도록 분류기를 학습시킵니다. 만약 분류기가 높은 정확도를 달성하면 두 분포가 서로 다르다고 판단합니다. 그러나 본 논문은 C2ST의 신뢰성과 검정력(power)이 **근사-베이즈 최적 분류기(near-Bayes-optimal classifier)**의 가용성에 달려 있다는 결정적인 한계를 지적합니다. 실제로 분류기는 데이터가 제한적이거나 모델 용량이 부족할 경우 약하거나, 편향되거나, 과적합되거나, 보정(calibration)이 제대로 되지 않을 수 있습니다. 이는 모호함을 생성합니다: 만약 어떤 모델이 C2ST를 "통과"했다면, 그것이 정말로 분포가 동일하기 때문인지, 아니면 단순히 분류기가 차이를 감지할 능력이 부족하기 때문인지 불분명해집니다. 기존의 C2ST에 대한 이론적 보증은 종종 최적 또는 점근적으로 일관된(asymptotically consistent) 분류기에 접근할 수 있다는 가정을 전제로 하지만, 이는 NPE와 같은 실제 시나리오에서는 좀처럼 충족되지 않는 조건입니다.

방법론

저자들은 어떠한 학습된 분류기라도(그것이 얼마나 약하거나 편향되었는지에 관계없이) 정확한 유한-표본 $p$-값(finite-sample $p$-values)으로 변환하는 프레임워크인 Conformal C2ST를 제안합니다. 이 방법은 Hu & Lei (2024)의 컨포멀 예측(conformal prediction) 프레임워크를 기반으로 하되, 주변 분포(marginal distributions)가 동일할 수 있는 가용 생성 모델 평가를 위한 특정 체계에 맞게 조정되었습니다.

핵심 메커니즘은 하드 임계값 설정(hard thresholding) 대신 **컨포멀 보정(conformal calibration)**을 사용하는 것입니다:

1. 스코어링(Scoring): 분류기 $f$가 $p$와 $q$를 구분하도록 학습되어, 임의의 입력 $x$에 대해 점수(예: log-odds) $s(x)$를 생성합니다.
2. 컨포컬 $p$-값(Conformal $p$-value): 테스트 지점 $\tilde{X} \sim q$에 대하여, 해당 점수를 $p$에서 추출된 보정 점수 세트와 비교함으로써 컨포럴 $p$-값 $U$를 계산합니다. $p$-값은 보정 세트 내에서 테스트 지점의 점수가 가지는 상대적 순위를 나타냅니다.
3. 집계(Aggregation): 전역 가설 $H_0: p=q$를 검정하기 위해, 이 절차를 여러 개의 독립적인 테스트 지점 $q$에 대해 반복합니다. 생성된 $p$-값들의 집합은 균등 분포(uniformity)로부터의 편차를 평가하기 위해 집계됩니다(예: Kolmogorov–Smorsanov 검정 사용).

논문은 두 가지 구체적인 변형을 소개합니다:

• Conformal Uniform Test: 각 테스트 지점마다 새로운 보정 세트를 사용합니다. 이는 정확한 유한-표본 타당성을 제공하고 검정력을 극대화하지만, $p$로부터의 추가적인 샘플링을 요구합니다.
• Conformal Multiple Test: 모든 테스트 지점에 대해 하나의 공유된 보정 세트를 사용합니다. 이는 표준 C2ST의 계산 예산(쌍당 $p$에서 하나, $q$에서 하나 추출)과 일치하면서도 강건성(robustness)을 유지합니다.

주요 기여

1. 이론적 타당성: 저자들은 Conformal C2ST가 결정론적 스코어링 함수(deterministic scoring function)의 품질에 관계없이 귀무 가설($p=q$) 하에서 **정확한 유한-표본 제1종 오류 제어(Type-I error control)**를 제공함을 입증했습니다. 이 타당성은 분류기의 성능과 무관하게 유지되며, 효과적으로 오류 제어를 판별 정확도와 분리합니다.
2. 약한 분류기에 대한 강건성: 본 논문은 대립 가설($p \neq q$) 하에서도 분류기가 약하거나 잘못 지정되었을 때 Conformal C2ST가 **비자명한 검정력(non-trivial power)**을 유지함을 증명합니다. 이론적 결과에 따르면, 분류기가 적절한 순위 신호(AUC로 측정됨)를 보존하는 한, 검정력은 밀도 비율(density ratio)의 추정 오차에 따라 완만하게($O(\epsilon^{2/3})$) 저하됩니다.
3. 정확도보다 순위(Ranking over Accuracy): 이 방법론은 초점을 분류 정확도(0.5에서의 임계값 설정)에서 **순위 품질(ranking quality)**로 전환합니다. 테스트는 절대적인 확률 추정치보다 상대적인 점수 순서(AUC)에 의존하며, 이는 미보정(miscalibration)이나 약한 결정 경계에 대해 더 강건합니다.
4. 실용적 변형: "Multiple" 테스트의 도입은 표준 C2ST와 비교하여 시뮬레이션 예산을 늘리지 않고도 강건한 두-표본 검정을 가능하게 하여, 비용이 많이 드는 시뮬레이터에서도 실행 가능하게 합니다.

실험 결과

저자들은 여러 벤치마크에 걸쳐 표준 C2ST, SBC(Simulation-Based Calibration), TARP(Test of Accuracy with Random Points), DC(Discriminant Calibration), 그리고 커널 기반 검정(MMDFuse)을 포함한 베이스라인들과 Conformal C2ST를 비교 평가했습니다:

• 제어된 섭동(Controlled Perturbations): 섭동된 가우시안 사후 분포(평균 이동, 공분산 스케일링, 헤비 테일) 실험에서, Conformal C2ST 변형들은 미세한 불일치를 감지하는 데 있어 표준 C2ST 및 다른 베이스라인들을 일관되로 능가했습니다. 특히, DC는 이러한 설정에서 제1종 오류 제어에 실패했습니다.
• 분류기 성능 저하(Classifier Degradation): 저자들은 학습된 파라미터를 무작위 초기값과 보간함으로써 분류기 품질을 체계적으로 저하시켰습니다. 결과는 표준 C2ST의 검정력이 분류기가 약해짐에 따라 급격히 붕괴됨을 보여주었습니다. 반면, Conformal C2ST는 높은 검정력을 유지하여 편향되거나 잘못 학습된 분류기에 대한 회복력을 입증했습니다.
• 고차원 이미지: 다양한 손상(블러, 스월, 노이즈)이 가해진 CIFAR-10 데이터셋에서, Conformal C2ST는 최첨단(state-of-the-art) 수준의 검정력을 달려 성취했으며, 기저 분류기가 약할 때도 강건함을 유지했습니다.
• 실제 과학적 역문제(Real-World Scientific Inverse Problem): 중력 렌즈 벤치마크에서, Conformal C2ST는 경쟁 모델들보다 낮은 수준의 편향을 감지하였고 분류기 저하 하에서도 유효성을 유지한 반면, DC와 같은 다른 방법들은 팽창된 제1종 오류로 인해 유효하지 않았습니다.

의의 및 주장

본 논문은 Conformal C2ST가 모델 검증을 위한 실용적이고 이론적으로 근거가 확실한 진단 도구를 구축한다고 주장합니다. 주요 의의는 "약한 분류기"의 모호성을 해결하는 데 있습니다: Conformal C2ST 테스트를 통과한 모델은 표준 C2ST를 통과한 모델보다 분포적 동일성을 나타내는 더 신뢰할 수 있는 지표가 되는데, 이는 전자의 타당성이 분류기가 최적에 가까울 필요가 없기 때문입니다.

저자들은 신뢰할 수 있는 모델 검증을 위해 근사-베이즈 최적 분류기가 엄격하게 요구되는 것은 아니며, 유익한 순위 신호(informative ranking)만으로도 충분하다는 점을 강조합니다. 이는 완벽한 분류기를 얻는 것이 종종 불가능한 NPE 및 생성 모델 평가에서 이 방법을 특히 가치 있게 만듭니다. 저자들은 또한 이 연구의 범위가 (시뮬레이터 자체를 실제 데이터와 비교하는 $M$-open 문제보다는) 학습된 사후 분포 $q$를 실제 사후 분포 $p$에 대해 검증하는 것($M$-closed 설정)에 집중되어 있다는 점을 명시하며, $p$로부터의 샘플링이 비싼 경우의 계산 비용과 같은 한계점도 언급하였습니다.