기술적 요약: 완전한 데이터 효율성을 갖춘 통합된 컨포멀 다중 검정

1. 문제 제기

컨포멀 다중 검정 (Conformalized multiple testing) 은 관심 있는 미관측 라벨을 가진 테스트 샘플을 식별할 때 (예: 이상치 탐지, 샘플 선택) 거짓 발견률 (FDR) 을 통제하기 위한 모델 프리 (model-free) 프레임워크를 제공합니다. 표준 절차는 비-컨포멀리티 점수 (non-conformity score) 를 구축하고, 이를 널 (negative) 샘플 집합에 대해 보정하여 컨포멀 p-값을 생성한 후, 다중 검정 규칙 (예: Benjamini-Hochberg) 을 적용하는 것을 포함합니다.

기존 방법들은 데이터 활용과 관련하여 두 가지 주요 한계에 직면해 있습니다:

1. 부분적 데이터 활용: 많은 접근법들은 사용 가능한 널 (null) 데이터 ($D_0$) 를 학습 세트와 보정 세트로 분할하여 가치 있는 정보를 폐기합니다. 다른 방법들은 점수 구축 시 사용 가능한 비-널 (positive) 라벨 데이터 ($D_1$) 나 라벨 없는 테스트 데이터 ($D_u$) 를 활용하지 못합니다.
2. 분열된 프레임워크: 분할 컨포멀 (split conformal), 통합 컨포멀 (integrative conformal), 지역화 컨포멀 (localised conformal) 등 다양한 방법들이 특정 설정과 데이터 활용 체계 하에 개발되었습니다. 이러한 방법들을 포괄하거나 모든 사용 가능한 데이터 ($D_0, D_1, D_u$) 를 완전히 활용하면서도 엄격하게 FDR 을 통제하는 새로운 방법들을 설계하기 위한 체계적인 원리를 제공하는 통합된 이론적 프레임워크는 존재하지 않습니다.

핵심적인 과제는 유한 표본 FDR 통제를 위한 교환성 (exchangeability) 가정을 위반하지 않으면서 점수 구축과 보정 모두에 사용 가능한 모든 데이터를 활용하여 통계적 검정력 (statistical power) 을 극대화하는 통합된 접근법을 개발하는 것입니다.

2. 방법론: ECOT 프레임워크

저자들은 완전한 순열 전략 (full permutation strategy) 을 기반으로 한 통합 프레임워크인 강화된 컨포멀 테스트 (Enhanced COnformal Testing, ECOT) 를 제안합니다. 핵심 통찰은 컨포멀 다중 검정을 순열 테스트의 관점에서 바라보는 것으로, 테스트 샘플 $j$의 p-값은 데이터의 모든 가능한 순열에서 얻은 점수와 비교하여 계산됩니다.

2.1 핵심 구성 요소

ECOT 절차는 세 단계로 구성됩니다:

1. 점수 구축: 각 테스트 샘플 $j \in U$에 대해, 사용 가능한 모든 데이터 ($D_0, D_1, D_u$) 를 사용하여 개별화된 점수 함수 $S^{(j)}$를 구축합니다. 높은 점수는 널 가설에 대한 더 강력한 증거를 나타냅니다.
2. p-값 계산: 완전한 순열을 통해 컨포멀 p-값을 계산합니다:
   $$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$$
   여기서 $\Omega_j$는 보정 세트 $C \subseteq L_0$와 테스트 샘플 $j$의 순열 집합이며, 이 집합 외부의 인덱스는 고정됩니다. $S^{(j)}_\sigma$는 순열된 데이터셋에서 구축된 점수 함수를 나타냅니다.
3. 테스트 절차: 데이터 재사용과 개별화된 점수로 인해 발생하는 p-값 간의 종속성을 처리하기 위해, ECOT 는 조건부 보정 (conditional calibration) 단계를 도입합니다 (Fithian and Lei, 2022 에서 영감). 이는 점수들의 순열 불변 요약 (예: 중앙값) 을 사용하여 수정된 p-값 $\tilde{p}^{(j)}_\ell$을 정의한 후, 유한 표본 FDR 통제를 보장하는 거부 절차를 수행하는 것을 포함합니다.

2.2 계산적 단순화

완전한 순열은 계산적으로 무겁습니다 ($O((|C|+1)!)$). 이 프레임워크는 절차가 크게 단순화되는 두 가지 대칭 조건을 식별합니다:

• 보정 대칭 점수 (Calibration-Symmetric Scores): $S^{(j)}$가 보정 세트와 $j$의 순열에 대해 불변인 경우, p-값은 $C \cup \{j\}$에 대한 간단한 순위 기반 계산으로 축소되어 반복적인 모델 재학습이 필요하지 않습니다.
• 결합 대칭 점수 (Joint-Symmetric Scores): 모든 샘플에 대해 단일 점수 함수 $S$를 사용하며 이 함수가 모든 널 및 테스트 샘플에 대해 대칭인 경우, 조건부 보정 단계가 불필요해지며 단순화된 p-값에 적용된 표준 Benjamini-Hochberg (BH) 절차로 충분합니다.

2.3 강화된 접근법

통합 프레임워크를 활용하여 저자들은 두 가지 구체적인 강화된 방법을 제안합니다:

• ECOT-bi (이진 분류): $D_0, D_1$, 그리고 $D_u$를 공동으로 활용하여 이진 분류기를 학습합니다. 이 분류기는 비-널 샘플 ($D_1$) 과 풀된 널/라벨 없는 샘플 ($D_0 \cup D_u$) 을 구분합니다. 이는 $D_0$를 분할하지 않고 최적의 밀도 비율을 근사합니다.
• ECOT-oc (일-클래스 분류): 이진 분류기가 비효율적인 시나리오 (예: 분산 차이) 를 위해 설계되었습니다. 이는 널 ($D_0 \cup D_u$) 과 대안 ($D_1$) 에 대해 각각 일-클래스 분류기를 학습한 후 이를 통합하여 점수를 형성합니다.

2.4 적응적 선택

이 프레임워크는 적응적 접근법 선택 (ECOT-as) 을 가능하게 합니다. 단일 방법을 고정하는 대신, 알고리즘은 여러 후보 접근법 (예: ECOT-bi, ECOT-oc, FullND) 을 평가하여 각 샘플에 대해 가장 높은 검정력 (거부 수) 을 제공하는 방법을 선택합니다. 결정적으로, 선택 단계는 완전한 순열 전략을 통해 점수 구축에 내장됩니다. 이는 선택을 점수 생성의 일부로 취급하여 교환성을 보존하고, 사후 선택 추론에서 일반적으로 FDR 을 과대평가하는 "이중 딥핑 (double dipping)" 문제를 방지합니다.

3. 주요 기여

1. 통합 프레임워크: 본 논문은 특정 대칭 구조 하의 특수한 경우로 기존 컨포멀 다중 검정 방법들 (분할 컨포멀, 통합, 지역화 등) 을 포괄하는 일반적 프레임워크인 ECOT 를 소개합니다.
2. 완전한 데이터 효율성: 이 프레임워크는 보정을 위해 전체 널 집합을 유지하면서 점수 구축에 사용 가능한 모든 데이터 ($D_0, D_1, D_u$) 를 활용하기 위한 원칙적인 설계 전략을 제공합니다. 이는 점수 품질을 향상시키고 보정 세트 크기를 극대화함으로써 통계적 검정력을 향상시키는 것으로 입증되었습니다.
3. FDR 통제를 갖춘 적응적 선택: 저자들은 후보 집합에서 가장 적합한 컨포멀 테스트 접근법을 자동으로 선택하기 위한 데이터 기반 전략을 개발했습니다. 순열 기반 점수 구축에 선택을 통합함으로써 추가적인 데이터 분할 없이 유한 표본 FDR 통제를 달성했습니다.
4. 이론적 보장: 본 논문은 표준 데이터 교환성 가정 하에서, 사용된 점수 함수의 복잡성과 관계없이 ECOT 절차가 유한 표본에서 원하는 수준 $\alpha$에서 FDR 을 통제함을 증명합니다.

4. 실험 결과

합성 데이터와 실제 세계 이상치 탐지 데이터셋 (신용카드, 위성, 셔틀, CovType, 유방촬영) 에 대해 광범위한 수치 실험이 수행되었습니다.

• 검정력 향상: 이진 분류가 최적인 시나리오에서 ECOT-bi와 ECOT-as는 FDR 통제를 유지하면서 더 높은 검정력을 달성함으로써 기존 베이스라인 (AdaDetect, CP-bi, Integ 등) 일관적으로 우월한 성능을 보였습니다. 이는 $D_1$의 완전한 활용과 데이터 분할의 회피에 기인합니다.
• 시나리오에 대한 강건성: 일-클래스 분류가 우월한 설정 (예: 분산 변화) 에서 ECOT-oc은 점수 구축에 $D_u$를 활용함으로써 통합 방법들을 크게 능가했습니다.
• 적응적 선택: ECOT-as는 다양한 시나리오에 걸쳐 가장 성능이 좋은 방법을 성공적으로 추적하여 많은 경우 이론적 오라클에 가까운 검정력을 달성했습니다.
• 실제 데이터 성능: 실제 데이터셋에서 ECOT 방법들 (특히 ECOT-bi 와 ECOT-as) 은 제한된 라벨 데이터나 부적절한 점수 구축으로 인해 종종 낮은 검정력을 보였던 베이스라인에 비해 우수한 검정력을 입증했습니다.
• 계산 비용: 완전한 순열 접근법은 분할 방법보다 계산적으로 더 무겁지만, 조정된 적응적 선택 (알고리즘 3) 과 대칭성 축소는 실행 시간을 실용적인 범위 내 (적당한 샘플 크기의 경우 약 1 분) 에 유지하며, OptCS 와 같은 경쟁 프레임워크의 완전한 컨포멀 구현보다 훨씬 빠릅니다.

5. 중요성과 주장

본 논문은 컨포멀 다중 검장의 분열된 지형을 통합함으로써 ECOT 가 중요한 진전을 이루었다고 주장합니다. 그 주요한 중요성은 다음과 같습니다:

• 체계적 설계: 데이터 효율성을 극대화하는 새로운 컨포멀 절차를 설계하기 위한 명확하고 원칙적인 경로를 제공합니다.
• 자동 적응: 사후 선택 추론의 일반적인 함정인 FDR 통제를 훼손하지 않고 최적의 테스트 전략을 선택하는 문제를 해결합니다.
• 실용적 효율성: 완전한 데이터 활용이 다양한 실제 및 합성 시나리오에서 검정력에 실질적인 향상을 가져온다는 것을 입증하여, 이상치 탐지 및 샘플 선택과 같은 응용 분야에서 컨포멀 테스트를 더 효과적으로 만듭니다.

저자들은 이 프레임워크가 데이터 교환성에 의존하며 완전한 순열은 계산적으로 무거울 수 있음을 인정하며, 가정 완화 (예: 비교환성 데이터) 와 순열 기반 추론 가속화에 대한 향후 연구를 제안합니다.