Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference

기술적 요약: 컨포멀 추론에서 거짓 발견 비율에 대한 전역 유효 상한

문제 제기
이상치 탐지 및 신약 개발에서의 후보 물질 선정과 같은 컨포멀 추론의 현대적 응용은, 종종 컨포멀 $p$-값이 특정 임계값 미만인지 여부에 따라 테스트 샘플을 선택하는 과정을 포함합니다. 이러한 선택의 신뢰성은 거짓 발견 비율 (FDP) 로 정량화되며, 이는 선택된 단위 중 잘못된 선택이 차지하는 비율로 정의됩니다.

기존 방법들, 예를 들어 Benjamini–Hochberg (BH) 절차는 주로 거짓 발견율 (FDR) 을 통제합니다. FDR 은 반복적인 데이터 실현에 걸친 FDP 의 기댓값입니다. 본 논문은 현재 최첨단 기술의 두 가지 중요한 한계를 지적합니다:

1. 실현된 보장 (Realized Guarantees) 의 부재: 기댓값으로서의 FDP 를 통제하는 것은 특정 데이터셋에서의 FDP 가 작음을 보장하지 않습니다. 실현된 FDP 는 기댓값을 크게 초과할 수 있으며, 이는 실무자에게 사례별 (instance-wise) 보호를 제공하지 못합니다.
2. 사후 선택 (Post Hoc Selection) 에 대한 경직성: 기존 보장들은 유의수준 $\alpha$ 를 사전에 고정해야 합니다. 만약 실무자가 데이터를 검토하고 임계값을 조정 (예: 발견 수를 늘리기 위해) 한다면, FDR 통제는 무효화됩니다.

저자들은 모든 가능한 기각 임계값 $t \in [0, 1]$에 대해 동시에 성립하는 유한 표본, 분포 무관한 FDP 상한을 확립하고자 합니다. 이를 통해 엄격한 통계적 보장을 유지하면서 임계값을 임의의 사후적으로 선택할 수 있게 됩니다.

방법론
제안된 프레임워크의 핵심은 교환성 (exchangeability) 가정에 의해 유도된 "null" 컨포멀 $p$-값들의 다루기 쉬운 결합 분포에 의존합니다.

1. 컨포멀 균일 변수: 저자들은 보정 집합에 대한 테스트 점수의 정규화된 순위로 정의된 컨포멀 균일 변수 $u_j$를 정의합니다. 교환성 하에서, 이러한 변수들의 벡터는 근본적인 데이터 생성 메커니즘과 무관한 알려진 결합 분포 $P_{n,m}$을 허용합니다.
2. 샘플링을 통한 포락선 구성: Dvoretzky–Kiefer–Wolfowitz 와 같은 집중 부등식에 의존하여 보수적인 선형 상한을 도출하는 대신, 저자들은 null $p$-값들의 경험적 누적 분포 함수 (CDF) 에 대한 고확률 포락선을 구성하기 위해 결합 분포 $P_{n,m}$으로부터 샘플링을 제안합니다.
   • 그들은 경험적 CDF 에 적용되는 요약 통계량 $T(F)$ (예: Kolmogorov–Smirnov, Higher-Criticism, 또는 Berk-Jones 통계량) 를 정의합니다.
   • $P_{n,m}$으로부터 $B$개의 몬테카를로 샘플을 생성하여 통계량의 $(1-\delta)$-분위수를 계산하고, 이를 통해 절단값 $\hat{T}$를 결정합니다.
   • 이 절단값을 역변환하여 포락선 함수 $G(t)$를 생성하며, 이는 $P(\hat{F}_{n,m}(t) \leq G(t), \forall t) \geq 1-\delta$를 만족합니다.
3. 이상치 탐지를 위한 정제 전략: 이상치 탐지의 경우, 참 null(정상치) 의 수가 알려져 있지 않으므로, 저자들은 두 가지 강화 기법을 통합합니다:
   • 자기 정제 (Self-Refinement): [HSG19] 의 기법을 적응시켜 선택 집단의 단조성을 활용하여 거짓 발견 수에 대한 상한을 반복적으로 개선합니다.
   • Null-비율 강화 (Null-Proportion Tightening): 참 null 의 수 ($m_0$) 에 대한 상한을 추정하고, $P_{n,m}$ 대신 분포 $P_{n,m_0}$를 기반으로 포락선을 구성하여 보수성을 현저히 줄입니다.
4. 컨포멀 선택에의 적용: 컨포멀 선택 (예: 신약 개발) 의 경우, 저자들은 미지의 참 결과에 의존하는 "오라클" 컨포멀 $p$-값을 활용하여 거짓 발견 수를 상한 짓습니다. 그들은 특정 단조 점수 함수 (예: 클리핑된 점수) 하에서 거짓 발견의 수가 이러한 오라클 변수들의 경험적 CDF 로 상한 지어짐을 증명하며, 이를 통해 동시 포락선 방법을 직접 적용할 수 있음을 보입니다.

주요 기여

1. 경험적 CDF 에 대한 새로운 상한: 본 논문은 컨포멀 균일 변수의 경험적 CDF 에 대한 새로운 고확률 상한을 확립합니다. 경험적으로, 이 상한은 특히 $t$에 따라 변하는 경험적 CDF 의 이분산성 (heteroskedasticity) 에 적응함으로써 DKW 유형의 부등식에 기반한 기존 상한보다 더 엄격합니다.
2. 이상치 탐지를 위한 동시 FDP 상한: 저자들은 모든 임계값에 걸쳐 이상치 탐지의 FDP 를 동시에 상한 짓는 방법을 개발했습니다. 이는 개선된 CDF 상한과 자기 정제 및 null-비율 강화 기법을 결합한 것입니다.
3. 컨포멀 선택을 위한 최초의 유한 표본 FDP 상한: 본 논문은 컨포멀 선택 문제에 대해 모든 기각 임계값에 걸쳐 균일하게 성립하는 최초의 유한 표본 FDP 상한을 제공합니다.
4. 일반 프레임워크: 이 연구는 null $p$-값들의 결합 분포로부터 샘플링하여 확률 함수에 대한 고확률 상한을 유도하는 일반 프레임워크를 제시하며, 집중 부등식 기반 접근법보다 더 날카로운 상한을 제공하면서도 유한 표본 유효성을 유지합니다.

결과
저자들은 합성 데이터 및 실제 데이터 실험을 통해 프레임워크를 검증했습니다:

• 합성 이상치 탐지: 가우시안 혼합 모델에 대한 실험은 제안된 FDP 상한 (특히 Truncated Higher-Criticism 통계량을 사용한 경우) 이 100 번의 반복에 걸쳐 유효한 커버리지 (목표 90% 신뢰도 초과) 를 유지함을 보여줍니다. 특히 작은 기각 임계값의 경우, 이 상한은 기준이 되는 선형 상한보다 훨씬 덜 보수적인 것으로 나타났습니다. 자기 정제와 null-비율 강화의 결합은 가장 날카로운 상한을 산출했습니다.
• 실제 신약 개발: 약물 - 표적 상호작용 예측을 위한 DAVIS 데이터셋을 사용하여, 이 방법은 유망한 약물 후보를 선정하는 데 적용되었습니다. 결과는 동시 상한이 92% 의 독립 실행에서 모든 선택 임계값에 걸쳐 실제 FDP 위에 일관되게 위치함을 보여주었습니다.
• 사후 적응성: 본 논문은 실무자가 선택 임계값을 적응적으로 변경 (예: 더 많은 후보를 찾기 위해 $\alpha$ 증가) 할 수 있으며 제안된 상한이 유효하게 유지됨을 보여줍니다. 반면, BH 수준을 표준적으로 사후 조정하는 것은 실현된 FDP 를 상한 짓는 데 실패합니다.

의의 및 주장
본 논문은 "실현된 FDP" 문제에 대한 해결책을 제공하여, 단순한 평균 사례 보장이 아닌 실무자에게 사례별 보장을 제공한다고 주장합니다. 임의의 사후 임계값 선택을 가능하게 함으로써, 이 프레임워크는 통계적 엄밀성을 희생하지 않으면서 유연하고 데이터 주도적인 탐색을 지원합니다. 저자들은 기존 방법들에 비해 "현저히 덜 보수적인" 상한을 도출한다고 강조하며, 이는 후속 조치 비용이 높은 과학적 발견 및 의학적 스크리닝과 같은 고위험 응용 분야에서 컨포멀 추론을 더 실용적으로 만든다고 말합니다. 이 연구는 null $p$-값들의 결합 분포를 시뮬레이션할 수 있는 모든 문제에 적용 가능한 통합 전략으로 제시되며, 이상치 탐지 및 컨포멀 선택이라는 구체적인 예시를 넘어 확장됩니다.